KR102628325B1 - POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 - Google Patents
POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102628325B1 KR102628325B1 KR1020210099678A KR20210099678A KR102628325B1 KR 102628325 B1 KR102628325 B1 KR 102628325B1 KR 1020210099678 A KR1020210099678 A KR 1020210099678A KR 20210099678 A KR20210099678 A KR 20210099678A KR 102628325 B1 KR102628325 B1 KR 102628325B1
- Authority
- KR
- South Korea
- Prior art keywords
- surgical
- image
- surgery
- virtual
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001356 surgical procedure Methods 0.000 claims abstract description 143
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 210000004204 blood vessel Anatomy 0.000 claims description 19
- 210000000056 organ Anatomy 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 9
- 210000003484 anatomy Anatomy 0.000 claims description 6
- 210000003205 muscle Anatomy 0.000 claims description 6
- 210000001519 tissue Anatomy 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 210000001367 artery Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 210000003462 vein Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000035606 childbirth Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 208000005646 Pneumoperitoneum Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000006032 tissue transformation Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Gynecology & Obstetrics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 장치에 의해 수행되는, 장치에 의해 수행되는, 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법에 있어서, 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 설정하는 단계, 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭하는 단계-상기 가상 기복모델은 UI(User Interface) 상에 표시되는 것인-, 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하는 단계 및 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 단계를 포함할 수 있다.
출원번호 : 10-2021-0099678
과제번호 : CY200023
과제명 : 수술 단계 표준화를 통한 인공지능 기반 환자 맞춤형 수술 내비게이션 시스템
출원번호 : 10-2021-0099678
과제번호 : CY200023
과제명 : 수술 단계 표준화를 통한 인공지능 기반 환자 맞춤형 수술 내비게이션 시스템
Description
본 발명은 실제 수술 영상과 3D 기반의 가상 수술 모의 영상을 정합하는 것이다. 보다 상세하게는, 본 발명은 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법에 관한 것이다.
최근 들어 병원에서 수술하는 경우, 바로 수술을 진행하지 않고, 수술 전 환자의 수술 조건과 동일한 3D 가상 모의 수술 환경을 만든 뒤에, 실제 수술과 동일한 조건 하에 가상 모의 수술을 시행할 수 있다.
이러한, 가상 모의 수술의 경우, 정밀한 진단을 사전에 세울 수 있다. 그러므로, 전문의의 감에 의존하는 것이 아니라 가상 모의 수술을 통해 계획을 세우고, 아주 작은 오차까지도 줄여 나갈 수 있다.
하지만, 이러한 가상 모의 수술시에는 사람의 시야로 파악하지 못하는 부분도 쉽게 파악할 수 있지만 사실 실제 수술 시에는 가상 모의 수술과는 달리 사람의 시야로 파악하지 못하는 부분이 그대로 존재할 수밖에 없는 실정이다.
특히, 실제 수술 시 해당 수술을 많이 진행해보지 않은 전문의의 경우 장기 뒤에 위치한 혈관이나 수술시 건들이면 안되는 신체 내부의 부분들에 대해 임상경험이 부족함으로 이런 정보를 충분히 인지하지 못하면 수술시 위급상황이 발생하게 되는 경우가 발생하게 된다.
따라서, 실제 수술시 육안으로는 보이지 않는 환자의 신체 내 정보를 가상 모의 수술에서 제공되는 것처럼 실시간으로 수술을 수행하는 전문의에게 제공해줄 필요가 있다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 수술 영상 내의 수술 단계를 인식하고 상기 수술 단계 별 POI(Point Of Interest) 정보의 위치를 3D 기반의 가상 수술 모의 영상에서 획득하고 이를 수술 영상과 함께 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 환자의 실제 기복 상태가 예측된 상기 가상 기복 모델을 기반으로 3D 기반의 가상 수술 모의 환경을 제공하고, 상기 3D 기반의 가상 수술 모의 환경과 실제 수술 영상을 정합함으로써, 상기 3D 기반의 가상 수술 모의 환경이 실제 수술에 훌륭한 리허설 역할을 할 수 있도록 하는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 장치에 의해 수행되는, 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법에 있어서, 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보(Point of Interest)를 설정하는 단계, 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭하는 단계-상기 가상 기복모델은 UI(User Interface) 상에 표시되는 것인-, 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하는 단계 및 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 단계를 포함할 수 있다.
여기서, 상기 POI 정보 설정 단계는, 상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 하나 이상의 기본 단계로 분할하는 단계, 상기 수술 객체에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할하는 단계 및 상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할하는 단계를 포함할 수 있다.
또한, 상기 POI 정보 설정 단계는, 상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정할 수 있다.
또한, 상기 POI 정보 위치 판단 단계는, 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식하는 단계, 상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계에 해당하는 제1 하위섹션을 인식하는 단계, 상기 제1 하위섹션에 대한 복수의 분할섹션 중 상기 실시간 수술 단계에 해당하는 하나의 분할섹션에 대해 상기 영상 정보가 필요한 시점으로 판단하는 단계, 상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단하는 단계 및 상기 인식한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계를 포함할 수 있다.
여기서, 상기 영상 정보 획득 단계는, 상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계, 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계 및 상기 획득한 영상 정보를 상기 시점에 상기 UI 상에 표시하는 단계를 포함할 수 있다.
또한, 상기 POI 정보 매칭 단계는, 상기 환자에 대한 상기 가상 기복 모델을 획득하는 단계, 상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시하는 단계, 상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입하는 단계 및 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하는 단계를 포함할 수 있다.
또한, 상기 POI 정보 위치 판단 단계는, 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하는 단계, 상기 인식한 수술 단계 별 상기 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 POI 정보의 위치를 판단하는 단계 및 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계를 포함할 수 있다.여기서, 상기 영상 정보 획득 단계는, 상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계, 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계 및 상기 획득한 영상 정보를 실시간으로 상기 UI 상에 표시하는 단계를 포함할 수 있다.
그리고, 상기 UI 상에 표시 단계는, 상기 가상 기복 모델의 해당 위치에 상기 영상 정보 표시하되, 상기 영상 정보의 설명을 나타내는 인디케이터를 추가로 더 표시할 수 있다.
또한, 상기 UI 상에 표시 단계는, 상기 UI 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시할 수 있다.
또한, 상기 가상 기복 모델은, 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 장치에 있어서, 상기 실제 수술 영상과 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상을 획득하는 획득부, 상기 실제 수술 영상과 상기 가상 기복 모델을 표시하는 디스플레이부 및 상기 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보를 설정하고, 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하고-상기 가상 기복모델은 UI(User Interface) 상에 표시되는 것인-, 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하고, 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 프로세서를 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 본 발명은 수술 영상 내의 수술 단계를 인식하고, 상기 수술 단계 별 POI 정보의 위치를 3D 기반의 가상 수술 모의 영상에서 획득하고, 이를 수술 영상과 함께 제공함으로써 해당 수술에 대한 경험이 부족한 전문의의 경우에도 훌륭한 수술 가이드를 실시간으로 제공받음으로써 수술의 성공률과 수술시 발생될 위험을 현저히 줄일 수 있는 효과가 있다.
또한, 본 발명은 환자의 실제 기복 상태가 예측된 상기 가상 기복 모델을 기반으로 3D 기반의 가상 수술 모의 환경을 제공하고, 상기 3D 기반의 가상 수술 모의 환경과 실제 수술 영상을 정합함으로써 수술을 수행하는 전문가에게 훌륭한 가이드를 제공해줄 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 장치(10)를 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 과정을 설명한 도면이다.
도 3은 본 발명에 따른 가상 기복 모델에서의 혈관 정합을 나타낸 예시도이다.
도 4는 본 발명에 따른 3D 기반의 가상 수술 모의 환경을 나타낸 UI의 예시도이다.
도 5는 본 발명에 따른 실제 수술 영상에서 수술 단계의 POI 정보의 위치로 상기 가상 기복 모델에 삽입된 카메라의 위치를 이동시키는 것을 설명한 도면이다.
도 6은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상과 함께 실시간으로 표시되는 것을 설명하기 위한 예시도이다.
도 7은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상에 오버레이되어 표시되는 것을 설명하기 위한 예시도이다.
도 8은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 과정을 나타낸 흐름도이다.
도 9는 본 발명에 따른 프로세서가 POI 정보 위치를 판단하는 과정을 설명하기 위한 예시도이다.
도 2는 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 과정을 설명한 도면이다.
도 3은 본 발명에 따른 가상 기복 모델에서의 혈관 정합을 나타낸 예시도이다.
도 4는 본 발명에 따른 3D 기반의 가상 수술 모의 환경을 나타낸 UI의 예시도이다.
도 5는 본 발명에 따른 실제 수술 영상에서 수술 단계의 POI 정보의 위치로 상기 가상 기복 모델에 삽입된 카메라의 위치를 이동시키는 것을 설명한 도면이다.
도 6은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상과 함께 실시간으로 표시되는 것을 설명하기 위한 예시도이다.
도 7은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상에 오버레이되어 표시되는 것을 설명하기 위한 예시도이다.
도 8은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 과정을 나타낸 흐름도이다.
도 9는 본 발명에 따른 프로세서가 POI 정보 위치를 판단하는 과정을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 장치(10)를 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 과정을 설명한 도면이다.
도 3은 본 발명에 따른 가상 기복 모델에서의 혈관 정합을 나타낸 예시도이다.
도 4는 본 발명에 따른 3D 기반의 가상 수술 모의 환경을 나타낸 UI의 예시도이다.
도 5는 본 발명에 따른 실제 수술 영상에서 수술 단계의 POI 정보의 위치로 상기 가상 기복 모델에 삽입된 카메라의 위치를 이동시키는 것을 설명한 도면이다.
도 6은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상과 함께 실시간으로 표시되는 것을 설명하기 위한 예시도이다.
도 7은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상에 오버레이되어 표시되는 것을 설명하기 위한 예시도이다.
이하, 도 1 내지 도 7을 참조하여, 본 발명에 따른 실제 수술 영상과 가상 수술 모의 영상을 정합하기 위한 장치(10)에 대해서 설명하도록 한다.
의료진은 실제 수술 전에 미리 수술을 가상 모의(시뮬레이션)하여 실제 수술 시에 발생할 수 있는 다양한 변수에 대한 대비책을 확보하길 원하고, 이에 대한 대비책으로써, 실제 수술과 동일한 가상 수술 환경 내에서 가상의 3D 기반의 가상 수술 모의를 제공할 수 있다.
이러한 가상의 3D 기반의 가상 수술 모의를 통해서는 사람의 시야로 파악하지 못하는 부분도 쉽게 파악할 수 있다.
하지만 실제 수술시에는 사람의 시야로 파악하지 못하는 부분이 그대로 존재할 수밖에 없다.
특히, 실제 수술 시 해당 수술을 많이 진행해보지 않은 전문의의 경우 장기 뒤에 위치한 혈관이나 수술시 건들이면 안되는 부분들에 대해 임상경험이 부족함으로 이런 정보를 충분히 인지하지 못하면 수술시 위급상황이 발생하게 되는 경우가 발생하게 된다.
따라서, 장치(10)는 실제 수술시 육안으로는 보이지 않는 환자의 신체 내 정보를 가상 3D 기반의 가상 수술 모의에서 제공되는 것처럼 실시간으로 수술을 수행하는 전문의에게 제공해줄 수 있다.
이러한, 장치(10)는 수술 영상 내의 수술 단계를 인식하고, 상기 수술 단계 별 POI 정보의 위치를 3D 기반의 가상 수술 모의 영상에서 획득하고, 이를 수술 영상과 함께 제공함으로써 해당 수술에 대한 경험이 부족한 전문의의 경우에도 훌륭한 수술 가이드를 실시간으로 제공받을 수 있고, 이로 인해 수술의 성공률과 수술시 발생될 위험을 현저히 줄일 수 있는 효과를 가질 수 있다.
또한, 장치(10)는 환자의 실제 기복 상태가 예측된 상기 가상 기복 모델을 기반으로 3D 기반의 가상 수술 모의 환경을 제공하고, 상기 3D 기반의 가상 수술 모의 환경과 실제 수술 영상을 정합함으로써 수술을 수행하는 전문가에게 훌륭한 가이드를 제공해줄 수 있는 효과를 가질 수 있다.
여기서, 장치(10)는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
즉, 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 상기 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD 장치가 컴퓨터가 될 수 있다.
또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
그리고, 도 1과 도 2를 보면, 장치(10)는 획득부(110), 메모리(120), 디스플레이부(130) 및 프로세서(140)를 포함할 수 있다. 여기서, 장치(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다.
획득부(110)는 장치(10)와 외부 장치(미도시), 장치(10)와 외부 서버(미도시) 사이 또는 장치(10)와 통신망(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
여기서, 획득부(110)는 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한, 획득부(110)는 3D 기반의 가상 수술 모의에 이용되는 상기 가상 기복 모델을 상기 외부 서버(미도시) 또는 메모리(120)로부터 획득할 수 있다.
여기서, 외부 장치(미도시)는 의료영상데이터(이하, 복부 3D 영상데이터)를 촬영하는 의료영상 촬영장비일 수 있다. 여기서, 의료영상데이터는 상기 환자의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함할 수 있다.
또한, 의료영상데이터는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 중 적어도 하나를 포함할 수 있다.
또한, 외부 서버(미도시)는 복수의 환자에 대한 환자별 가상 기복 모델, 환자별 의료 데이터, 환자별 수술 영상 등을 저장하는 서버일 수 있다. 여기서, 환자별 의료 데이터는 상기 환자의 나이, 성별, 키, 몸무게, 체질량지수(Body Mass Index) 및 출산 유무 중 적어도 하나에 대한 데이터를 포함할 수 있다.
또한, 통신망(미도시)은 장치(10), 외부 장치(미도시) 및 외부 서버(미도시) 간의 다양한 정보를 송수신할 수 있다. 통신망은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.
한편, 통신망은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
메모리(120)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(120)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 장치(10) 상에 설치되어, 프로세서(140)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 메모리(120)는 본 발명에 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 복수의 프로세스를 구비할 수 있다. 여기서, 상기 복수의 프로세스는 프로세서(140)에 대한 동작을 설명할 때 후술하도록 한다.
이러한, 메모리(120)는 복수의 환자 별 가상 기복 모델, 수술 영상 등을 저장할 수 있다. 여기서, 가상 기복 모델은 상기 프로세서(140)를 통해 생성되어 저장되거나 상기 외부 서버(미도시)로부터 획득하여 저장될 수 있다.
또한, 가상 기복 모델은 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함할 수 있다.
디스플레이부(130)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 장치(20)와 사용자 사이의 입력 인터페이스를 제공할 수 있다.
이러한, 디스플레이부(130)는 상기 실제 수술 영상과 상기 가상 기복 모델을 표시할 수 있다.
프로세서(140)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(140)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(140)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(140)는 상기 응용 프로그램의 구동을 위하여, 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
프로세서(140)는 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 전문가로부터 입력받아 설정할 수 있다.
여기서, POI 정보는 수술시 중요하게 확인해야 하는 혈관, 장기, 피부 중 적어도 하나에 대한 정보를 포함할 수 있으며, 전문가의 입력에 따라 설정될 수 있다.
보다 상세하게는, 상기 POI 정보는 실시간 수술 영상 및 가상 기복 모델 중 적어도 하나에서 POI를 나타내는 인디케이터의 종류(일 예로, 화살표, 별표, 원형 등등), 실시간 수술 영상 및 가상 기복 모델 중 적어도 하나에서 POI 정보의 표시되는 위치(좌표), POI 정보에 대한 세부정보(전문가가 설정한 해당 수술단계에서 수술시 유의사항, 수술과 관련된 주의사항, 알림 등이 텍스트 이미지로 표시됨) 중 적어도 하나를 포함할 수 있다.
특히, 상기 혈관에 대한 POI 정보는 혈관의 분기점, 동맥의 분기점, 정맥의 분기점 중 적어도 하나를 포함할 수 있다.
즉, 상기 전문가는 수술 종류에 따른 기 저장된 수술 영상을 바탕으로 수술 단계를 정의할 수 있고, 상기 수술 단계별 관심 지점인 POI 정보를 지정할 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제1 프로세스를 기반으로 상기 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보를 상기 전문가로부터 입력받아 설정할 수 있다.
보다 상세하게는, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 상기 수술 단계에 대해 하나 이상의 기본 단계로 분할할 수 있다. 여기서, 수술 객체는 수술동작이 수행되는 장기 또는 병변일 수 있다.
구체적으로, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 객체에 대한 상기 수술 동작의 목적에 따라 장기 단위로 상기 수술 영상을 분할하고, 상기 수술 객체에 대한 상기 수술 동작의 목적에 따라 수술 유형으로 상기 수술 영상을 분할할 수 있다.
또한, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 객체에 대한 상기 수술 동작의 목적에 따라 상기 수술 영상에 포함된 방향성을 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 기본 단계 내에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 객체에 대한 수술을 어떻게 진행할 것인지에 대한 구체적인 기준, 정의 또는 목표에 따라 수술도구들의 위치가 정해지므로 이에 따라 상기 기본 단계에 포함된 상기 복수의 단위 영상을 상기 메인섹션으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 메인섹션에 대해 상기 수술 객체에 대한 수술 목적에 대응하는 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정할 수 있다.
보다 상세하게는, 프로세서(140)는 수술도구에 의해 동작이 수행되는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할할 수 있다.
즉, 프로세서(140)는 특정한 타겟 조직(Target Anatomy) 또는 특정한 타겟 오브젝트(Target Object)에 대해 수행되는 상기 수술 동작의 목적에 따라 조직변형(Tissue transformation) 또는 기본조작(Basic action)으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 각각의 하위섹션(SUB SECTION) 내에 포함된 상기 단위영상을 상기 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할할 수 있다.
여기서, 타겟 조직(Target Anatomy)은 수술 중 조작되는 해부학적 부분이고, 타겟 오브젝트(Target Object)는 수술에 필요한 수술 현장에 사용되는 재료 예를 들어, 금속 클립, 혈소판 클립, 봉합사, 바늘, 거즈 및 배수구 중 적어도 하나를 포함할 수 있다.
이후, 프로세서(140)는 상기 전문가의 입력에 따라 상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할할 수 있다.
보다 상세하게는, 프로세서(140)는 상기 전문가의 입력에 따라 상기 각각의 하위섹션(SUB SECTION) 내에 포함된 하나 이상의 단위영상을 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하고, 단일 수술기구의 단일 동작을 단위 동작으로 판단하여 상기 분할섹션으로 분할할 수 있다.
구체적으로, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 공간 좌표 이동에 따라 제1 단일동작으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 상기 공간 좌표 내의 관절의 움직임에 따라 제2 단일동작으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 움직임에 따라 제3 단일동작으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 분할된 분할섹션을 기반으로 상기 수술 단계별 수술시 POI 정보를 설정할 수 있다.
이처럼, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 영상의 수술 단계를 세분화하고 세분화된 상기 수술 단계 중 상기 하위섹션 별로 수술시 POI 정보를 설정할 수 있다.
프로세서(140)는 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭할 수 있다. 이러한, 상기 가상 기복모델은 UI(User Interface) 상에 표시될 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제2 프로세스를 기반으로 상기 환자의 가상 기복 모델에 상기 POI 정보를 매칭할 수 있다.
보다 상세하게는, 먼저, 프로세서(140)는 상기 환자에 대한 상기 가상 기복 모델을 메모리(120) 또는 외부 서버(미도시)를 통해 획득하거나 생성하여 획득할 수 있다.
이러한, 상기 가상 기복 모델은 상기 프로세서(140)가 상기 환자의 상태 데이터, 복수의 랜드마크 데이터 및 신체 데이터를 기반으로 상기 환자의 실제 기복(pneumoperitoneum) 상태를 예측하기 위해 생성한 것일 수 있다.
여기서, 상기 상태 데이터는, 상기 환자의 나이, 성별, 키, 몸무게, 체질량지수(Body Mass Index) 및 출산 유무 중 적어도 하나에 대한 데이터를 포함할 수 있다.
또한, 상기 복수의 랜드마크 데이터는 상기 환자의 복부 3D 영상데이터에 표시되는 것일 수 있다.
또한, 상기 복수의 단면 영상데이터는, 상기 복수의 랜드마크 데이터가 표시된 위치의 단면이고, 상기 신체 데이터는 상기 복수의 단면 영상데이터 내의 상기 환자의 신체에 대한 높이와 넓이의 비율, 피부 둘레, 상기 신체의 전방-후방에 대한 방향 및 거리, 지방 영역 및 근육 영역 중 적어도 하나를 포함할 수 있다.
여기서, 프로세서(140)는 상기 가상 기복 모델 생성시 상기 환자의 실제 기복된 상태에서의 상기 혈관의 상태와 동일한 혈관을 구현할 수 있다.
구체적으로, 프로세서(140)는 상기 가상 기복 모델 생성시 상기 CT 영상 상에서 동맥을 분할/복원하기 위해서는 EAP 영상을 사용할 수 있고, 상기 CT 영상 상에서 정맥을 분할/복원하기 위해서는 PP 영상을 사용할 수 있다.
여기서, 상기 EAP와 PP 각각 촬영시 환자의 위치가 다를 수 있어 정합이 필요한 경우가 발생할 수 있다.
따라서, 프로세서(140)는 상기 정맥 분할/복원시 동맥의 주요 부분을 추가로 분할/복원을 수행하고, 상기 정맥상의 상기 동맥의 주요부분이 일치하도록 상기 동맥의 위치를 조정할 수 있다.
여기서, 도 3을 보면, 프로세서(140)는 상기 동맥의 주요부분(301)에 따라 전문가의 조작을 입력받아 상기 정맥과 상기 동맥을 정합하거나 자동으로 상기 정맥과 상기 동맥을 정합할 수 있다.
여기서, 상기 동맥의 주요 부분(301)은 POI 정보가 될 수 있으며, 상기 동맥의 분기점일 수 있다.
이처럼, 상기 가상 기복 모델은 혈관의 모습까지도 상기 환자의 실제 기복 상태에서와 동일하게 구현될 수 있다.이에 따라, 프로세서(140)는 수술 단계 별 POI 정보(일 예로, 혈관의 분기점)에 대해 상기 가상 기복 모델에 삽입된 카메라로부터 획득한 영상 정보를 전문가에게 제공하여 수술시 사고를 예방할 수 있다.
그리고, 프로세서(140)는 상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시할 수 있다.
여기서, 도 4를 보면, UI(400)는 메인 화면 영역(410)과 프리뷰 화면 영역(420)을 포함할 수 있다.
구체적으로, 메인 화면 영역(410)은 실제 수술시 환자의 신체 내부에 삽입되는 카메라(Endoscope)를 통해 실시간으로 촬영되는 실제 수술 영상이 표시되는 영역일 수 있다.
또한, 프리뷰 화면 영역(420)은 상기 가상 기복 모델이 평면 뷰(view)로 표시되는 제1 영역(421)과, 상기 가상 기복 모델의 기준 트로카를 통해 삽입된 상기 카메라(Endoscope)를 통해 촬영된 상기 가상 기복 모델의 내부 영상이 표시되는 제2 영역(422)을 포함할 수 있다.
즉, 프로세서(140)는 UI(400) 상에 상기 기복 모델의 표면을 위에서 바라보는 제1 영역(421)과 삽입된 카메라(내시경)를 통해 바라보는 제2 영역(422)을 동시에 출력할 수 있다.
여기서, 제1 영역(421)은 상기 기복 모델의 표면을 위에서 바라보는 화면일 수 있다. 또한, 제1 영역(421)은 상기 가상 기복 모델의 적어도 하나의 트로카를 통해 삽입되는 도구의 정보가 표시될 수 있다.
제2 영역(422)은 상기 기준 트로카를 통해 삽입된 상기 카메라를 통해 촬영된 상기 가상 기복 모델의 내부 영상이 표시되는 영역일 수 있다.
또한, 제2 영역(422)은 상기 적어도 하나의 트로카에 삽입되는 도구가 상기 가상 기복 모델의 내부로 진입되는 모습이 상기 카메라를 통해 촬영되어 실시간으로 표시될 수 있다.
다음으로, 프로세서(140)는 상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입할 수 있다.
구체적으로, 프로세서(140)는 상기 가상 기복 모델의 배꼽 하단에 기 설정된 간격 떨어진 위치에 삽입된 트로카(Trocar)를 통해 상기 카메라를 삽입할 수 있다.
그 다음으로, 프로세서(140)는 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭할 수 있다.
구체적으로, 프로세서(140)는 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 카메라를 통해 획득되는 영상 정보를 기반으로 상기 수술 단계 별 상기 POI 정보를 순차적으로 매칭할 수 있다. 프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단할 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제3 프로세스를 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단할 수 있다.
도 5를 보면, 먼저, 프로세서(140)는 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식할 수 있다.
여기서, 딥러닝 모델은, 콘볼루션 뉴럴 네트워크(CNN, Convolutional Neural Network, 이하 CNN이라고 명칭함)를 포함할 수 있으나 반드시 이에 한정되지 않고, 다양한 구조의 신경망으로 형성될 수 있다.
일 예로, 프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계(제1 단계 내지 제N 단계) 중 현재 시점이 제3 단계인 것을 상기 딥러닝 모델을 기반으로 인식할 수 있다.
다음으로, 프로세서(140)는 현재 시점에 해당하는 실시간 수술 단계가 인식되면, 기 저장된 수술 영상에 대해 설정된 각 수술 단계 별 POI 정보들 중에서 상기 인식된 실시간 수술 단계에 해당하는 POI 정보 또는 상기 인식된 실시간 수술 단계의 다음 수술 단계에 해당하는 POI 정보를 검색하고, 상기 검색된 POI 정보를 추출하고, 상기 가상 기복 모델에서 상기 추출된 POI 정보에 해당하는 부분을 표시할 수 있다.여기서, 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내에는 복수의 수술 단계들이 포함되고, 상기 복수의 수술 단계 각각(또는 일부)에는 POI 정보가 설정되어 세팅될 수 있다.
프로세서(140)는 상기 실제 수술 영상으로부터 각 실시간 수술 단계를 구별할 수 있다.
즉, 프로세서(140)는 상기 실제 수술 영상으로부터 현재 또는 한 단계 앞의 수술 단계를 인식할 수 있다.
이후, 프로세서(140)는 상기 기 저장된 수술 영상 내에서 상기 인식된 수술 단계에 해당하는 수술 단계에 POI 정보가 설정되어 있는지 판별할 수 있다.
그 다음으로, 프로세서(140)는 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭할 수 있다.
여기서, 프로세서(140)는 상기 판단한 POI 정보의 위치에 대한 정보를 상기 카메라(내시경)를 통해 바라보는 화면이 표시되는 제2 영역(422) 상에 원형 모양의 인디케이터가 상기 POI 정보의 위치에 매칭될 수 있다.
또는, 프로세서(140)는 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식할 수 있다.
그리고, 프로세서(140)는 상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계에 해당하는 제1 하위섹션을 인식할 수 있다.
이후, 프로세서(140)는 상기 제1 하위섹션에 대한 복수의 분할섹션 중 상기 실시간 수술 단계에 해당하는 하나의 분할섹션에 대해 상기 영상 정보가 필요한 시점으로 판단할 수 있다.
그리고, 프로세서(140)는 상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단할 수 있다.
이후, 프로세서(140)는 상기 인식한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭할 수 있다.
프로세서(140)는 상기 UI(400)를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시할 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제4 프로세스를 기반으로 상기 UI(400) 상에서 상기 판단한 POI 정보의 위치와 동일한 위치로 이동된 상기 카메라(Endoscope)로부터 촬영된 영상 정보를 획득하여 표시할 수 있다.
보다 상세하게는, 먼저, 프로세서(140)는 상기 UI(400) 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시킬 수 있다.
다음으로, 프로세서(140)는 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득할 수 있다.
그 다음으로, 프로세서(140)는 상기 획득한 영상 정보를 실시간으로 상기 UI(400) 상에 표시할 수 있다.
이에 따라, 프로세서(140)는 실제 수술 영상에서는 볼 수 없는 부분에 대한 영상을 상기 가상 기복 모델에 삽입된 상기 카메라를 통해 획득할 수 있다.
여기서, 도 6을 보면, 프로세서(140)는 상기 UI(400) 상에 상기 가상 기복 모델의 해당 위치에 상기 카메라로부터 획득한 상기 영상 정보를 표시하되, 상기 영상 정보의 설명인 "혈관"을 나타내는 인디케이터를 추가로 더 표시할 수 있다.
또는, 도 7을 보면, 프로세서(140)는 상기 UI(400) 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시할 수 있다.
여기서, 프로세서(140)는 도 6의 메인 화면 영역(410) 상에 장기 뒤에 위치하는 혈관을 상기 가상 기복 모델에 삽입된 상기 카메라로부터 획득한 영상 정보를 기반으로 렌더링(혈관의 위치와 형상을 점선으로 표시, 화살표로 해당 부분 지시)하여 표시할 수 있다.
도 8은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 과정을 나타낸 흐름도이다. 여기서, 프로세서(140)의 동작은 장치(10)에서 수행 가능할 수 있다.
프로세서(140)는 상기 전문가의 입력에 따라 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 설정할 수 있다(S801).
구체적으로, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 영상을 상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 상기 수술 단계에 대해 하나 이상의 기본 단계로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 기본 단계에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 객체에 대한 수술을 어떻게 진행할 것인지에 대한 구체적인 기준, 정의 또는 목표에 따라 수술도구들의 위치가 정해지므로 이에 따라 상기 기본 단계에 포함된 상기 복수의 단위 영상을 상기 메인섹션으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 메인섹션에 대해 상기 수술 객체에 대한 수술 목적에 대응하는 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정할 수 있다.
프로세서(140)는 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭할 수 있다(S802).
구체적으로, 프로세서(140)는 상기 환자에 대한 상기 가상 기복 모델을 상기 메모리(120) 또는 외부 서버(미도시)로부터 획득하고, 상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시할 수 있다.
여기서, 상기 가상 기복모델은 UI(User Interface) 상에 표시될 수 있고, 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(140)는 상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입하고, 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭할 수 있다.
프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단할 수 있다(S803).
구체적으로, 프로세서(140)는 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하고, 상기 인식한 수술 단계 별 상기 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 POI 정보의 위치를 판단할 수 있다.
이후, 프로세서(140)는 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭할 수 있다.
프로세서(140)는 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시할 수 있다(S804).
구체적으로, 프로세서(140)는 상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키고, 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득할 수 있다.
그리고, 프로세서(140)는 상기 획득한 영상 정보를 실시간으로 상기 UI 상에 표시할 수 있다.
이때, 프로세서(140)는 상기 가상 기복 모델의 해당 위치에 상기 영상 정보 표시하되, 상기 영상 정보의 설명을 나타내는 인디케이터를 추가로 더 표시할 수 있다.
또는, 프로세서(140)는 상기 UI 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시할 수 있다.
도 8은 단계 S801 내지 단계 S804를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 8에 기재된 순서를 변경하여 실행하거나 단계 S801 내지 단계 S804 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.
도 9는 본 발명에 따른 프로세서(140)가 POI 정보 위치를 판단하는 과정을 설명하기 위한 예시도이다.
먼저, 프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식할 수 있다.
그리고, 프로세서(140)는 상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계인 제4 단계에 해당하는 제1 하위섹션을 인식할 수 있다.
이후, 프로세서(140)는 상기 제1 하위섹션에 대한 복수의 분할섹션에서 중 상기 실시간 수술 단계에 해당하는 제3 분할섹션에 대해 가상 기복 모델을 통해 획득되는 영상 정보가 필요한 시점으로 판단할 수 있다.
여기서, 상기 시점은, 수술 중에 상기 POI 정보가 위치된 지점이 나오기 바로 전 시점일 수 있다.
그리고, 프로세서(140)는 상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단할 수 있다. 여기서, 상기 POI 정보는 정맥의 분기점일 수 있다.
이후, 프로세서(140)는 상기 제1 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 실시간으로 상기 가상 기복 모델에 삽입된 상기 카메라로부터 획득된 영상 정보를 UI 상에 표시할 수 있다.
즉, 프로세서(140)는 상기 영상 정보가 필요한 시점인 상기 제3 분할섹션에서 상기 제1 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 획득된 상기 영상 정보를 실시간으로 상기 UI 상에 표시할 수 있다.
따라서, 프로세서(140)는 실제 수술시 실시간으로 바로 필요한 POI 정보 기반의 상기 가상 기복 모델을 통해 획득한 상기 영상 정보를 전문가에게 제공함으로써 실시간 필요한 영상을 통해 수술의 성공률을 높일 수 있다.
또는, 프로세서(140)는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 실시간으로 상기 가상 기복 모델에 삽입된 상기 카메라로부터 획득된 영상 정보를 UI 상에 표시할 수 있다.즉, 프로세서(140)는 상기 영상 정보가 필요한 시점인 상기 제3 분할섹션에서 상기 제2 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 획득된 상기 영상 정보를 실시간으로 상기 UI 상에 표시할 수 있다.
따라서, 프로세서(140)는 실시 수술시 미리 다음 단계의 수술 과정에 필요한 POI 정보 기반의 상기 가상 기복 모델을 통해 획득한 상기 영상 정보를 전문가에게 제공함으로써 실시간 필요한 영상을 통해 수술의 성공률을 높일 수 있다.
이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 장치(10)일 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, C#, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 장치
110: 획득부
120: 메모리
130: 디스플레이부
140: 프로세서
110: 획득부
120: 메모리
130: 디스플레이부
140: 프로세서
Claims (13)
- 장치에 의해 수행되는, 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법에 있어서,
상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 설정하는 단계;
상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭하는 단계-상기 가상 기복모델은 UI(User Interface) 상에 표시되는 것인-;
상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하는 단계; 및
상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델의 트로카를 통해 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 단계;
를 포함하고,
상기 UI는, 메인 화면 영역 및 프리뷰 화면 영역을 포함하고,
상기 메인 화면 영역은, 상기 실제 수술 영상이 표시되고,
상기 프리뷰 화면 영역은, 상기 가상 기복 모델이 평면 뷰로 표시되는 제1 영역 및 상기 카메라를 통해 촬영된 가상 기복 모델의 내부 영상이 표시되는 제2 영역을 포함하고,
상기 가상 기복 모델은, 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
상기 POI 정보 설정 단계는,
상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 하나 이상의 기본 단계로 분할하는 단계;
상기 수술 객체에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할하는 단계; 및
상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할하는 단계;
를 포함하는, 방법. - 제2항에 있어서,
상기 POI 정보 설정 단계는,
상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정하는, 방법. - 제3항에 있어서,
상기 POI 정보 위치 판단 단계는,
딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식하는 단계;
상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계에 해당하는 제1 하위섹션을 인식하는 단계;
상기 제1 하위섹션에 대한 복수의 분할섹션 중 상기 실시간 수술 단계에 해당하는 하나의 분할섹션에 대해 상기 영상 정보가 필요한 시점으로 판단하는 단계;
상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단하는 단계; 및
상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계;를 포함하는, 방법. - 제1항에 있어서,
상기 영상 정보를 획득하여 표시하는 단계는,
상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계;
상기 카메라로부터 상기 이동된 위치에 대한 영상 정보를 획득하는 단계; 및
상기 획득한 영상 정보를 상기 시점에 상기 UI 상에 표시하는 단계;를 포함하는, 방법. - 제1항에 있어서,
상기 POI 정보 매칭 단계는,
상기 환자에 대한 상기 가상 기복 모델을 획득하는 단계;
상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시하는 단계;
상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입하는 단계; 및
상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하는 단계;를 포함하는, 방법. - 제1항에 있어서,
상기 POI 정보 위치 판단 단계는,
딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하는 단계;
상기 인식한 수술 단계 별 상기 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 POI 정보의 위치를 판단하는 단계; 및
상기 인식한 수술 단계 별 상기 판단한 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계;를 포함하는, 방법. - 제7항에 있어서,
상기 영상 정보를 획득하여 표시하는 단계는,
상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계;
상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계; 및
상기 획득한 영상 정보를 실시간으로 상기 UI 상에 표시하는 단계;를 포함하는, 방법. - 제8항에 있어서,
상기 UI 상에 표시 단계는,
상기 가상 기복 모델의 해당 위치에 상기 영상 정보 표시하되,
상기 영상 정보의 설명을 나타내는 인디케이터를 추가로 더 표시하는, 방법. - 제9항에 있어서,
상기 UI 상에 표시 단계는,
상기 UI 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시하는, 방법. - 삭제
- 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 장치에 있어서,
상기 실제 수술 영상과 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상을 획득하는 획득부;
상기 실제 수술 영상과 가상 기복 모델을 표시하는 디스플레이부; 및
상기 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보를 설정하고,
상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하고-상기 가상 기복 모델은 UI(User Interface) 상에 표시되는 것인-,
상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하고,
상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델의 트로카를 통해 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 프로세서;를 포함하고,
상기 UI는, 메인 화면 영역 및 프리뷰 화면 영역을 포함하고,
상기 메인 화면 영역은, 상기 실제 수술 영상이 표시되고,
상기 프리뷰 화면 영역은, 상기 가상 기복 모델이 평면 뷰로 표시되는 제1 영역 및 상기 카메라를 통해 촬영된 가상 기복 모델의 내부 영상이 표시되는 제2 영역을 포함하고,
상기 가상 기복 모델은, 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함하는, 장치. - 하드웨어인 장치와 결합되어, 제1항 내지 제10항 중 어느 한 항의 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/389,133 US11986248B2 (en) | 2021-07-29 | 2021-07-29 | Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition |
| KR1020210099678A KR102628325B1 (ko) | 2021-07-29 | 2021-07-29 | POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
| EP22849794.7A EP4364685A1 (en) | 2021-07-29 | 2022-07-20 | Device and method for matching actual surgery image and 3d-based virtual simulation surgery image on basis of poi definition and phase recognition |
| PCT/KR2022/010608 WO2023008818A1 (ko) | 2021-07-29 | 2022-07-20 | Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
| CN202280052613.2A CN117881355A (zh) | 2021-07-29 | 2022-07-20 | 整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法 |
| KR1020240007971A KR20240014549A (ko) | 2021-07-29 | 2024-01-18 | 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210099678A KR102628325B1 (ko) | 2021-07-29 | 2021-07-29 | POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240007971A Division KR20240014549A (ko) | 2021-07-29 | 2024-01-18 | 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230019281A KR20230019281A (ko) | 2023-02-08 |
| KR102628325B1 true KR102628325B1 (ko) | 2024-01-24 |
Family
ID=85038046
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210099678A KR102628325B1 (ko) | 2021-07-29 | 2021-07-29 | POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
| KR1020240007971A KR20240014549A (ko) | 2021-07-29 | 2024-01-18 | 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240007971A KR20240014549A (ko) | 2021-07-29 | 2024-01-18 | 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11986248B2 (ko) |
| EP (1) | EP4364685A1 (ko) |
| KR (2) | KR102628325B1 (ko) |
| CN (1) | CN117881355A (ko) |
| WO (1) | WO2023008818A1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102008891B1 (ko) * | 2018-05-29 | 2019-10-23 | (주)휴톰 | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 |
| US20200113636A1 (en) * | 2018-10-11 | 2020-04-16 | Ziosoft, Inc. | Robotically-assisted surgical device, robotically-assisted surgery method, and system |
| US20200330166A1 (en) | 2018-01-10 | 2020-10-22 | Covidien Lp | Guidance for placement of surgical ports |
| US20210121232A1 (en) | 2019-10-29 | 2021-04-29 | Verb Surgical Inc. | Virtual reality system for simulating surgical workflows with patient models |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7607440B2 (en) * | 2001-06-07 | 2009-10-27 | Intuitive Surgical, Inc. | Methods and apparatus for surgical planning |
| KR20120111871A (ko) * | 2011-03-29 | 2012-10-11 | 삼성전자주식회사 | 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치 |
| US10278615B2 (en) * | 2012-08-14 | 2019-05-07 | Intuitive Surgical Operations, Inc. | Systems and methods for registration of multiple vision systems |
| CN111329554B (zh) * | 2016-03-12 | 2021-01-05 | P·K·朗 | 用于手术的装置与方法 |
| US11011077B2 (en) | 2017-06-29 | 2021-05-18 | Verb Surgical Inc. | Virtual reality training, simulation, and collaboration in a robotic surgical system |
| KR102014355B1 (ko) * | 2018-02-20 | 2019-08-26 | (주)휴톰 | 수술도구의 위치 정보 산출 방법 및 장치 |
| KR102276862B1 (ko) * | 2018-03-06 | 2021-07-13 | (주)휴톰 | 수술영상 재생제어 방법, 장치 및 프로그램 |
| KR102301234B1 (ko) * | 2019-09-20 | 2021-09-09 | 울산대학교 산학협력단 | 수술 영상 제공 시스템 및 그 방법 |
-
2021
- 2021-07-29 US US17/389,133 patent/US11986248B2/en active Active
- 2021-07-29 KR KR1020210099678A patent/KR102628325B1/ko active IP Right Grant
-
2022
- 2022-07-20 CN CN202280052613.2A patent/CN117881355A/zh active Pending
- 2022-07-20 EP EP22849794.7A patent/EP4364685A1/en active Pending
- 2022-07-20 WO PCT/KR2022/010608 patent/WO2023008818A1/ko active Application Filing
-
2024
- 2024-01-18 KR KR1020240007971A patent/KR20240014549A/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200330166A1 (en) | 2018-01-10 | 2020-10-22 | Covidien Lp | Guidance for placement of surgical ports |
| KR102008891B1 (ko) * | 2018-05-29 | 2019-10-23 | (주)휴톰 | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 |
| US20200113636A1 (en) * | 2018-10-11 | 2020-04-16 | Ziosoft, Inc. | Robotically-assisted surgical device, robotically-assisted surgery method, and system |
| US20210121232A1 (en) | 2019-10-29 | 2021-04-29 | Verb Surgical Inc. | Virtual reality system for simulating surgical workflows with patient models |
Non-Patent Citations (1)
| Title |
|---|
| Lucio Tommaso De Paolis 외 1인, Advanced Interface for the Pre-operative Planning and the Simulation of the Abdominal Access in Pediatric Laparoscopy(2011) 1부. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240014549A (ko) | 2024-02-01 |
| US20230031396A1 (en) | 2023-02-02 |
| KR20230019281A (ko) | 2023-02-08 |
| WO2023008818A1 (ko) | 2023-02-02 |
| EP4364685A1 (en) | 2024-05-08 |
| US11986248B2 (en) | 2024-05-21 |
| CN117881355A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102014359B1 (ko) | 수술영상 기반 카메라 위치 제공 방법 및 장치 | |
| CN111771244B (zh) | 针对手术结果的反馈提供方法 | |
| US11660142B2 (en) | Method for generating surgical simulation information and program | |
| KR102008891B1 (ko) | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 | |
| KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
| KR102298417B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| KR20200096155A (ko) | 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램 | |
| KR102457585B1 (ko) | 수술 중 혈관 네비게이션 방법 및 시스템 | |
| KR102213412B1 (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
| KR102628325B1 (ko) | POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 | |
| KR101864411B1 (ko) | 수술보조 영상 표시방법 및 프로그램 | |
| US11830189B2 (en) | Systems and methods to process ultrasound images for musculoskeletal conditions | |
| KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| EP4379740A1 (en) | Device and method for generating virtual pneumoperitoneum model of patient | |
| KR102667464B1 (ko) | 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법 | |
| KR20190133425A (ko) | 수술보조 영상 표시방법 및 프로그램 | |
| KR20190133424A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| JP7444569B2 (ja) | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム | |
| KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| Inácio et al. | Augmented Reality in Surgery: A New Approach to Enhance the Surgeon's Experience | |
| KR20230167194A (ko) | 수술 종류에 따라 장기 및 혈관에 대한 3d 모델을 생성하는 방법, 장치 및 프로그램 | |
| KR20190100010A (ko) | 최적화된 수술도구 제공 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |