WO2023008818A1 - Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 - Google Patents

Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 Download PDF

Info

Publication number
WO2023008818A1
WO2023008818A1 PCT/KR2022/010608 KR2022010608W WO2023008818A1 WO 2023008818 A1 WO2023008818 A1 WO 2023008818A1 KR 2022010608 W KR2022010608 W KR 2022010608W WO 2023008818 A1 WO2023008818 A1 WO 2023008818A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
image
information
virtual
poi information
Prior art date
Application number
PCT/KR2022/010608
Other languages
English (en)
French (fr)
Inventor
최민국
홍승범
성낙준
한예진
김성재
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to EP22849794.7A priority Critical patent/EP4364685A1/en
Priority to CN202280052613.2A priority patent/CN117881355A/zh
Publication of WO2023008818A1 publication Critical patent/WO2023008818A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Definitions

  • the present invention is to match an actual surgical image with a 3D-based virtual surgical simulation image. More specifically, the present invention relates to an apparatus and method for matching a real surgical image based on POI definition and phase recognition with a 3D-based simulated surgical image.
  • the present invention for solving the above problems recognizes the surgical steps in the surgical image, obtains the position of POI (Point Of Interest) information for each surgical step from a 3D-based virtual surgical simulation image, and provides it together with the surgical image to do for that purpose.
  • POI Point Of Interest
  • the present invention provides a 3D-based virtual surgical simulation environment based on the virtual relief model in which the actual relief state of the patient is predicted, and matches the 3D-based virtual surgery simulation environment with the actual surgical image, thereby providing a 3D-based
  • the purpose of this study is to make the simulated environment of virtual surgery play an excellent rehearsal role for actual surgery.
  • Setting POI information Point of Interest
  • the POI information setting step includes dividing the surgical image into one or more basic steps based on a surgical object to divide the surgical image into the surgical steps, target anatomy corresponding to the surgical purpose of the surgical object Alternatively, dividing a surgical operation for a target object into one or more subsections and dividing one or more unit images included in each of the subsections into divided sections for each operation by a surgical tool. can include
  • the POI information setting step may set the POI information based on the divided subsections.
  • the POI information position determination step may include recognizing a basic step corresponding to a real-time surgical step of the actual surgical image based on a deep learning model, and a real-time surgical step among a plurality of subsections included in the basic step. Recognizing a corresponding first subsection; Determining one divided section corresponding to the real-time operation step among a plurality of divided sections of the first subsection as a point in time when the image information is needed; Determining the position of the POI information for each subsection or the position of the POI information for each second subsection, which is a step immediately following the first subsection, and information on the position of the recognized POI information on the virtual relief model Matching may be included.
  • the image information obtaining step includes moving the location of the camera inserted into the virtual relief model based on the location of the determined POI information on the UI, and acquiring image information about the corresponding location from the camera. and displaying the obtained image information on the UI at the time point.
  • the POI information matching step may include acquiring the virtual relief model for the patient, displaying the virtual relief model on the UI (User Interface), and placing a camera ( endoscope) and sequentially matching the POI information to the virtual relief model in a state in which the camera is inserted.
  • UI User Interface
  • camera endoscope
  • the POI information location determination step may include recognizing the real-time surgical stage of the actual surgical image based on a deep learning model, the position of the POI information for each recognized surgical stage, or the operation immediately following the recognized surgical stage.
  • the image information obtaining step may include: Moving the position of the camera inserted into the virtual undulation model based on the position of the determined POI information, acquiring image information about the corresponding position from the camera, and displaying the acquired image information on the UI in real time. It may include a display step.
  • the image information may be displayed at a corresponding position of the virtual undulation model, and an indicator indicating a description of the image information may be additionally displayed.
  • the image information may be rendered in real time and displayed on the UI for a portion invisible to the naked eye in the actual surgical image.
  • the virtual relief model may include at least one of actual organs, blood vessels, fat, and muscles in the patient's relief state.
  • the real surgical image and a pre-stored surgical image performing the same surgery as the real surgical image
  • the POI information is sequentially matched to the patient's virtual relief model used in the virtual surgery simulation environment, the real-time surgical stage of the actual surgical image is recognized, the location of the POI information for each recognized surgical stage is determined, and the UI A processor may be included to obtain and display image information captured by moving the location of a camera (Endoscope) inserted into the virtual relief model to the same location as the location of the determined POI information.
  • the present invention recognizes the surgical steps in the surgical image, obtains the location of the POI information for each surgical step from a 3D-based virtual surgical simulation image, and provides it together with the surgical image, thereby providing Even in the case of a specialist who lacks experience in surgery, by receiving a good surgical guide in real time, the success rate of surgery and the risk of surgery can be significantly reduced.
  • the present invention provides a 3D-based virtual surgical simulation environment based on the virtual relief model in which the actual relief state of the patient is predicted, and performs surgery by matching the 3D-based virtual surgery simulation environment and the actual surgical image It has the effect of providing an expert with a great guide.
  • FIG. 1 is a diagram schematically illustrating an apparatus 10 for matching a real surgical image and a 3D-based virtual surgical simulation environment according to the present invention.
  • FIG. 2 is a diagram explaining a process for matching a real surgery image and a 3D-based virtual surgery simulated environment according to the present invention.
  • FIG 3 is an exemplary view showing blood vessel matching in a virtual relief model according to the present invention.
  • FIG. 4 is an exemplary view of a UI showing a 3D-based virtual surgery simulation environment according to the present invention.
  • FIG. 5 is a diagram explaining moving the position of the camera inserted into the virtual relief model to the position of the POI information of the surgical stage in the actual surgical image according to the present invention.
  • FIG. 6 is an exemplary diagram for explaining that an image photographed through a camera inserted into a virtual relief model according to the present invention is displayed on a UI in real time together with an actual surgical image.
  • FIG. 7 is an exemplary diagram for explaining that an image photographed through a camera inserted into a virtual relief model according to the present invention is displayed overlaid on an actual surgical image on a UI.
  • FIG. 8 is a flowchart illustrating a process of matching a real surgical image and a 3D-based virtual surgical simulation environment according to the present invention.
  • FIG. 9 is an exemplary diagram for explaining a process of determining a location of POI information by a processor according to the present invention.
  • FIG. 1 is a diagram schematically illustrating an apparatus 10 for matching a real surgical image and a 3D-based virtual surgical simulation environment according to the present invention.
  • FIG. 2 is a diagram explaining a process for matching a real surgery image and a 3D-based virtual surgery simulated environment according to the present invention.
  • FIG 3 is an exemplary view showing blood vessel matching in a virtual relief model according to the present invention.
  • FIG. 4 is an exemplary view of a UI showing a 3D-based virtual surgery simulation environment according to the present invention.
  • FIG. 5 is a diagram explaining moving the position of the camera inserted into the virtual relief model to the position of the POI information of the surgical stage in the actual surgical image according to the present invention.
  • FIG. 6 is an exemplary diagram for explaining that an image photographed through a camera inserted into a virtual relief model according to the present invention is displayed on a UI in real time together with an actual surgical image.
  • FIG. 7 is an exemplary diagram for explaining that an image photographed through a camera inserted into a virtual relief model according to the present invention is displayed overlaid on an actual surgical image on a UI.
  • the apparatus 10 may provide information within a patient's body, which is invisible to the naked eye during an actual operation, to a surgeon performing surgery in real time as provided in a virtual 3D-based virtual surgery simulation.
  • the device 10 recognizes the surgical steps in the surgical image, obtains the position of the POI information for each surgical step from a 3D-based virtual surgical simulation image, and provides it together with the surgical image, thereby helping those with insufficient experience in the corresponding surgery.
  • Specialists can also receive excellent surgical guides in real time, which can have an effect of significantly reducing the success rate of surgery and the risk of surgery.
  • the apparatus 10 provides a 3D-based virtual surgical simulation environment based on the virtual relief model in which the actual relief state of the patient is predicted, and performs surgery by matching the 3D-based virtual surgery simulation environment with the actual surgical image. It can have the effect of providing excellent guidance to the performing expert.
  • the device 10 may include all of various devices capable of providing results to the user by performing calculation processing.
  • device 10 may be in the form of a computer. More specifically, the computer may include all of various devices capable of providing results to users by performing calculation processing.
  • a computer includes not only a desktop PC and a notebook (Note Book) but also a smart phone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous/asynchronous A mobile terminal of IMT-2000 (International Mobile Telecommunication-2000), a Palm Personal Computer (Palm PC), and a Personal Digital Assistant (PDA) may also be applicable.
  • a Head Mounted Display (HMD) device includes a computing function, the HMD device may become a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • the device 10 may include an acquisition unit 110 , a memory 120 , a display unit 130 and a processor 140 .
  • the device 10 may include fewer or more components than those shown in FIG. 1 .
  • the acquisition unit 110 is one that enables wireless communication between the device 10 and an external device (not shown), between the device 10 and an external server (not shown), or between the device 10 and a communication network (not shown). It may contain more than one module.
  • the acquisition unit 110 may include one or more modules that connect the device 10 to one or more networks.
  • the acquisition unit 110 may acquire the virtual relief model used for 3D-based virtual surgery simulation from the external server (not shown) or the memory 120 .
  • the external device may be a medical imaging equipment that captures medical image data (hereinafter referred to as abdominal 3D image data).
  • the medical image data may include all medical images capable of realizing the patient's body as a 3D model.
  • the medical image data may include at least one of a computed tomography (CT) image, a magnetic resonance imaging (MRI) image, and a positron emission tomography (PET) image.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • the external server may be a server that stores virtual relief models for each patient, medical data for each patient, and surgical images for each patient for a plurality of patients.
  • the medical data for each patient may include data on at least one of the patient's age, gender, height, weight, body mass index, and presence or absence of childbirth.
  • a communication network may transmit and receive various information between the device 10, an external device (not shown), and an external server (not shown).
  • Various types of communication networks may be used as the communication network, for example, wireless communication methods such as WLAN (Wireless LAN), Wi-Fi, Wibro, Wimax, and HSDPA (High Speed Downlink Packet Access)
  • wireless communication methods such as WLAN (Wireless LAN), Wi-Fi, Wibro, Wimax, and HSDPA (High Speed Downlink Packet Access)
  • a wired communication method such as Ethernet, xDSL (ADSL, VDSL), HFC (Hybrid Fiber Coax), FTTC (Fiber to The Curb), FTTH (Fiber To The Home) may be used.
  • the communication network is not limited to the communication methods presented above, and may include all other types of communication methods that are widely known or will be developed in the future in addition to the above communication methods.
  • the memory 120 may store data supporting various functions of the device 10 .
  • the memory 120 may store a plurality of application programs (application programs or applications) running in the device 10 , data for operation of the device 10 , and commands. At least some of these applications may exist for basic functions of the device 10 . Meanwhile, the application program may be stored in the memory 120, installed on the device 10, and driven by the processor 140 to perform an operation (or function) of the device 10.
  • the memory 120 may include a plurality of processes for matching an actual surgical image and a 3D-based virtual surgical simulation environment to the present invention.
  • the plurality of processes will be described later when the operation of the processor 140 is described.
  • the memory 120 may store virtual relief models for each patient, surgical images, and the like.
  • the virtual relief model may be generated and stored through the processor 140 or obtained and stored from the external server (not shown).
  • the virtual relief model may include at least one of actual organs, blood vessels, fat, and muscles in the patient's relief state.
  • the display unit 130 may implement a touch screen by forming a mutual layer structure or integrally with the touch sensor. Such a touch screen may provide an input interface between the device 20 and a user.
  • the display unit 130 may display the actual surgical image and the virtual relief model.
  • the processor 140 may control general operations of the device 10 in addition to operations related to the application program.
  • the processor 140 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 120.
  • the processor 140 may control at least some of the components discussed in conjunction with FIG. 1 in order to drive an application program stored in the memory 120 . Furthermore, the processor 140 may combine and operate at least two or more of the components included in the device 10 to drive the application program.
  • the processor 140 may receive and set POI (Point of Interest) information for each surgical operation in a pre-stored surgical image performing the same operation as the actual surgical image from an expert.
  • POI Point of Interest
  • the POI information may include information on at least one of blood vessels, organs, and skin, which should be checked as important during surgery, and may be set according to an expert's input.
  • the POI information includes a type of indicator (for example, an arrow, an asterisk, a circle, etc.) representing a POI in at least one of a real-time surgical image and a virtual relief model, a POI in at least one of a real-time surgical image and a virtual relief model. It may include at least one of the displayed position (coordinates) of information and detailed information on POI information (notes for surgery at the corresponding surgical stage set by an expert, precautions related to surgery, notifications, etc. are displayed as text images). there is.
  • a type of indicator for example, an arrow, an asterisk, a circle, etc.
  • the POI information on the blood vessel may include at least one of a branch point of a blood vessel, a branch point of an artery, and a branch point of a vein.
  • the expert can define a surgical step based on pre-stored surgical images according to the type of surgery, and can designate POI information that is a point of interest for each surgical stage.
  • the processor 140 may receive and set POI information for each surgical operation in the pre-stored surgical image from the expert based on a first process among a plurality of processes.
  • the processor 140 may divide the surgical image into one or more basic steps based on a surgical object in order to divide the surgical image into the surgical steps according to the expert's input.
  • the surgical object may be an organ or lesion on which a surgical operation is performed.
  • the processor 140 divides the surgical image into organ units according to the purpose of the surgical operation for the surgical object according to the expert's input, and the surgical type according to the purpose of the surgical operation for the surgical object. It is possible to segment the surgical image.
  • the processor 140 may divide directions included in the surgical image according to the purpose of the surgical operation for the surgical object according to the expert's input.
  • the processor 140 may divide the plurality of unit images included in the basic step into main sections according to the expert's input.
  • the processor 140 determines the positions of the surgical tools according to specific criteria, definitions, or goals for how to perform surgery on the surgical object according to the expert's input, and accordingly, the plurality of the surgical tools included in the basic step.
  • a unit image may be divided into the main section.
  • the processor 140 may divide the surgical operation corresponding to the surgical purpose of the surgical object in the main section into one or more subsections according to the expert's input.
  • the processor 140 may set the POI information based on the divided subsection according to the expert's input.
  • the processor 140 may divide into subsections having one or more hierarchies based on a target anatomy or a target object in which an operation is performed by a surgical tool. .
  • the processor 140 may divide the surgical operation into tissue transformation or basic operation according to the purpose of the surgical operation performed on a specific target anatomy or a specific target object. there is.
  • the processor 140 may determine the unit image included in each sub section as the specific unit motion and divide it into key movements.
  • the target tissue is an anatomical part that is manipulated during surgery
  • the target object is a material used in a surgical field necessary for surgery, such as a metal clip, a platelet clip, a suture, a needle, a gauze, and the like. At least one of the drains may be included.
  • the processor 140 may divide one or more unit images included in each of the subsections into divided sections for each operation by a surgical tool according to the expert's input.
  • the processor 140 determines one or more unit images included in each of the subsections as a specific unit motion according to the expert's input, divides them into key movements, and A single operation of a surgical instrument may be determined as a unit operation and divided into the divided sections.
  • the processor 140 may divide the motion into a first single motion according to the spatial coordinate movement of the surgical tool in the surgical image according to the surgical purpose based on the expert's input.
  • the processor 140 may divide into a second single motion according to the motion of the joint within the spatial coordinates of the surgical tool in the surgical image according to the surgical purpose based on the expert's input.
  • the processor 140 may divide the surgical image into a third single motion according to the movement of the surgical tool in the surgical image according to the surgical purpose based on the expert's input.
  • the processor 140 may set POI information for each surgical operation based on the divided divided section according to the expert's input.
  • the processor 140 may subdivide the surgical steps of the surgical image according to the expert's input and set POI information during surgery for each subsection among the subdivided surgical steps.
  • the processor 140 may match the POI information to the patient's virtual relief model used in the 3D-based virtual surgery simulation environment.
  • the virtual relief model may be displayed on a user interface (UI).
  • the processor 140 may match the POI information to a virtual relief model of the patient based on a second process among a plurality of processes.
  • the processor 140 may acquire or generate the virtual relief model of the patient through the memory 120 or an external server (not shown).
  • the virtual relief model may be generated by the processor 140 to predict an actual pneumoperitoneum state of the patient based on the patient's state data, a plurality of landmark data, and body data.
  • condition data may include data on at least one of the patient's age, gender, height, weight, body mass index, and childbirth.
  • the plurality of landmark data may be displayed on the patient's abdominal 3D image data.
  • the plurality of cross-sectional image data is a cross-section of a position where the plurality of landmark data is displayed
  • the body data is the height-to-width ratio of the patient's body in the plurality of cross-sectional image data, the skin circumference, the It may include at least one of a direction and distance, a fat area, and a muscle area with respect to the anterior-posterior direction of the body.
  • the processor 140 may implement the same blood vessel as the state of the blood vessel in the patient's actual relief state when generating the virtual relief model.
  • the processor 140 may use an EAP image to segment/reconstruct an artery on the CT image, and may use a PP image to segment/reconstruct a vein on the CT image.
  • the position of the patient may be different when the EAP and the PP are photographed, so matching may be required.
  • the processor 140 may perform additional division/restoration of the main part of the artery during the division/reconstruction of the vein, and adjust the position of the artery so that the main part of the artery on the vein coincides.
  • the processor 140 may match the vein and the artery or automatically match the vein and the artery by receiving an expert's manipulation according to the main part 301 of the artery.
  • the main part 301 of the artery may be POI information and may be a branch point of the artery.
  • the virtual relief model can be implemented in the same way as in the actual relief state of the patient, even the shape of the blood vessel.
  • the processor 140 describes the POI information (eg, the bifurcation point of the blood vessel) for each surgical stage. Accidents during surgery can be prevented by providing expert with image information obtained from a camera inserted into the virtual relief model.
  • the processor 140 may display the virtual relief model on the UI (User Interface).
  • the UI 400 may include a main screen area 410 and a preview screen area 420 .
  • the main screen area 410 may be an area where an actual surgical image captured in real time through a camera (Endoscope) inserted into the patient's body during an actual surgery is displayed.
  • a camera Endoscope
  • the preview screen area 420 includes a first area 421 in which the virtual relief model is displayed in a plan view and images captured through the camera (Endoscope) inserted through the reference trocar of the virtual relief model. It may include a second region 422 in which an internal image of the virtual relief model is displayed.
  • the processor 140 may simultaneously output a first area 421 viewing the surface of the relief model from above and a second area 422 viewing the surface of the relief model on the UI 400 through an inserted camera (endoscope). there is.
  • the first region 421 may be a screen viewing the surface of the relief model from above. Also, the first area 421 may display information on a tool inserted through at least one trocar of the virtual relief model.
  • the second area 422 may be an area in which an internal image of the virtual relief model captured by the camera inserted through the reference trocar is displayed.
  • a state in which a tool inserted into the at least one trocar enters the inside of the virtual undulation model may be photographed through the camera and displayed in real time.
  • the processor 140 may insert a camera (endoscope) into a preset location of the virtual relief model.
  • the processor 140 may insert the camera through a trocar inserted at a position spaced apart from the lower end of the navel of the virtual relief model at a predetermined interval.
  • the processor 140 may sequentially match the POI information to the virtual relief model in a state in which the camera is inserted.
  • the processor 140 may sequentially match the POI information for each surgical stage based on image information obtained through the camera to the virtual relief model in a state in which the camera is inserted.
  • the processor 140 may recognize the real-time surgical stage of the actual surgical image and determine the location of the POI information for each recognized surgical stage.
  • the processor 140 may recognize the real-time surgical stage of the actual surgical image based on a third process among a plurality of processes and determine the position of the POI information for each recognized surgical stage.
  • the processor 140 may recognize a real-time surgical step of the actual surgical image based on a deep learning model.
  • the deep learning model may include, but is not limited to, a convolutional neural network (CNN, Convolutional Neural Network, hereinafter referred to as CNN), and may be formed of neural networks having various structures.
  • CNN convolutional neural network
  • CNN Convolutional Neural Network
  • the processor 140 may recognize, based on the deep learning model, that the current viewpoint is the third step among real-time surgical steps (first to Nth steps) of the actual surgical image.
  • the processor 140 recognizes the real-time surgical step corresponding to the current point of view
  • the POI information corresponding to the recognized real-time surgical step or the recognized POI information for each surgical step set for the pre-stored surgical image POI information corresponding to the next surgical step after the real-time surgical step may be searched, the retrieved POI information may be extracted, and a portion corresponding to the extracted POI information may be displayed in the virtual relief model.
  • the actual surgical image may be displayed.
  • a plurality of surgical steps may be included in a pre-stored surgical image in which the same surgery is performed, and POI information may be set for each (or part) of the plurality of surgical steps.
  • the processor 140 may distinguish each real-time surgical step from the actual surgical image.
  • the processor 140 can recognize the current or previous surgical step from the actual surgical image.
  • the processor 140 may determine whether POI information is set for a surgical stage corresponding to the recognized surgical stage in the pre-stored surgical image.
  • the processor 140 may match information about the location of the determined POI information on the virtual relief model.
  • the processor 140 matches the position information of the determined POI information to the position of the POI information on the second area 422 where the screen viewed through the camera (endoscope) is displayed. It can be.
  • the processor 140 may recognize a basic step corresponding to a real-time surgical step of the actual surgical image based on a deep learning model.
  • the processor 140 may recognize a first subsection corresponding to the real-time surgical step among a plurality of subsections included in the basic step.
  • the processor 140 may determine a time point at which the image information is needed for one divided section corresponding to the real-time surgical step among a plurality of divided sections of the first subsection.
  • the processor 140 may determine the location of the POI information for each of the first subsections or the location of the POI information for each of the second subsections immediately following the first subsection.
  • the processor 140 may match information about the location of the recognized POI information on the virtual relief model.
  • the processor 140 may move the position of the camera (Endoscope) inserted into the virtual undulation model to the same position as the position of the determined POI information through the UI 400 to acquire and display image information captured. .
  • the processor 140 acquires and displays image information photographed from the camera (Endoscope) moved to the same position as the position of the determined POI information on the UI 400 based on a fourth process among a plurality of processes.
  • the processor 140 may move the position of the camera inserted into the virtual relief model based on the position of the determined POI information on the UI 400 .
  • the processor 140 may obtain image information about the corresponding location from the camera.
  • the processor 140 may display the obtained image information on the UI 400 in real time.
  • the processor 140 may obtain an image of a part that cannot be seen in an actual surgical image through the camera inserted into the virtual relief model.
  • the processor 140 displays the image information obtained from the camera at a corresponding position of the virtual relief model on the UI 400, but represents “blood vessels” as a description of the image information. Additional indicators may be displayed.
  • the processor 140 may render and display the image information on the UI 400 in real time for a portion invisible to the naked eye in the actual surgical image.
  • the processor 140 renders blood vessels located behind organs on the main screen area 410 of FIG. 6 based on image information acquired from the camera inserted into the virtual relief model (the location and shape of blood vessels are indicated by dotted lines). It can be indicated by indicating the corresponding part with an arrow).
  • FIG. 8 is a flowchart illustrating a process of matching a real surgical image and a 3D-based virtual surgical simulation environment according to the present invention.
  • the operation of the processor 140 may be performed by the device 10 .
  • the processor 140 may set POI (Point of Interest) information for each surgical operation in a pre-stored surgical image in which the same operation as the actual surgical image was performed (S801).
  • POI Point of Interest
  • the processor 140 may divide the surgical image into one or more basic steps based on surgical objects to divide the surgical image into the surgical steps according to the expert's input.
  • the processor 140 may divide the plurality of unit images included in the basic step into main sections according to the expert's input.
  • the processor 140 determines the location of surgical tools according to specific criteria, definitions, or goals for how to perform surgery on the surgical object based on the expert's input, and accordingly, the plurality of surgical tools included in the basic step.
  • a unit image of may be divided into the main section.
  • the processor 140 may divide the surgical operation corresponding to the surgical purpose of the surgical object in the main section into one or more subsections according to the expert's input.
  • the processor 140 may divide one or more unit images included in each of the subsections into divided sections for each operation by a surgical tool according to the expert's input.
  • the processor 140 may set the POI information based on the divided subsection according to the expert's input.
  • the processor 140 may match the POI information to the patient's virtual relief model used in the 3D-based virtual surgery simulation environment (S802).
  • the processor 140 may acquire the virtual relief model of the patient from the memory 120 or an external server (not shown), and display the virtual relief model on the UI (User Interface). .
  • the virtual relief model may be displayed on a user interface (UI), and may include at least one of actual organs, blood vessels, fat, and muscles in the patient's relief state.
  • UI user interface
  • the processor 140 may insert a camera (endoscope) into a preset position of the virtual relief model, and sequentially match the POI information to the virtual relief model in a state where the camera is inserted.
  • a camera endoscope
  • the processor 140 may recognize the real-time surgical stage of the actual surgical image and determine the location of POI information for each recognized surgical stage (S803).
  • the processor 140 recognizes the real-time surgical stage of the actual surgical image based on a deep learning model, and determines the position of the POI information for each recognized surgical stage or the location of the POI information for each surgical stage immediately following the recognized surgical stage.
  • the position of POI information can be determined.
  • the processor 140 may match information about the location of the determined POI information on the virtual relief model.
  • the processor 140 may move the position of the camera (Endoscope) inserted into the virtual undulation model to the same position as the position of the determined POI information through the UI to acquire and display image information captured (S804). .
  • the processor 140 may move the position of the camera inserted into the virtual relief model based on the determined position of the POI information on the UI and obtain image information about the corresponding position from the camera.
  • the processor 140 may display the obtained image information on the UI in real time.
  • the processor 140 may display the image information at a corresponding position of the virtual relief model, and may additionally display an indicator indicating a description of the image information.
  • the processor 140 may render and display the image information on the UI in real time for a portion invisible to the naked eye in the actual surgical image.
  • FIG. 8 describes that steps S801 to S804 are sequentially executed, but this is merely an example of the technical idea of this embodiment, and those skilled in the art to which this embodiment belongs will Since it will be possible to change and execute the order described in FIG. 8 without departing from the essential characteristics or to execute one or more steps of steps S801 to S804 in parallel, it will be possible to apply various modifications and variations, so FIG. 8 is shown in a time-series order. It is not limited.
  • FIG. 9 is an exemplary diagram for explaining a process of determining the location of POI information by the processor 140 according to the present invention.
  • the processor 140 may recognize a basic step corresponding to a real-time surgical step of the actual surgical image.
  • the processor 140 may recognize a first subsection corresponding to the fourth step, which is the real-time surgical step, among the plurality of subsections included in the basic step.
  • the processor 140 may determine a time when image information obtained through a virtual relief model is required for a third divided section corresponding to the real-time surgical step among a plurality of divided sections of the first subsection. .
  • the point in time may be a point in time immediately before a point where the POI information is located during surgery.
  • the processor 140 may determine the location of the POI information for each of the first subsections or the location of the POI information for each of the second subsections immediately following the first subsection.
  • the POI information may be a branch point of a vein.
  • the processor 140 may display image information obtained from the camera inserted into the virtual relief model on the UI in real time based on the position of the determined POI information for each of the first subsections.
  • the processor 140 displays the image information obtained based on the position of the determined POI information for each of the first subsections on the UI in real time in the third division section at which the image information is required.
  • the processor 140 can increase the success rate of surgery through necessary images in real time by providing the image information obtained through the virtual relief model based on the POI information required in real time during actual surgery to the expert.
  • the processor 140 may display image information obtained from the camera inserted into the virtual relief model in real time on the UI based on the location of the determined POI information for each second subsection immediately following the first subsection. That is, the processor 140 can display in real time the image information obtained based on the position of the determined POI information for each second subsection in the third division section at which the image information is needed. It can be displayed on the UI.
  • the processor 140 can increase the success rate of surgery through real-time necessary images by providing the expert with the image information obtained through the virtual relief model based on the POI information required for the next surgical procedure during the actual surgery. .
  • the method according to the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
  • the computer may be the device 10 described above.
  • the above-described program is C, C++, C#, JAVA, JAVA, C, C++, C#, JAVA, which can be read by a processor (CPU) of the computer through a device interface of the computer, so that the computer reads the program and executes the methods implemented as a program.
  • It may include a code coded in a computer language such as machine language.
  • These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is.
  • the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
  • Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 장치에 의해 수행되는, 장치에 의해 수행되는, 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법에 있어서, 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 설정하는 단계, UI(User Interface) 상에 표시되며 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭하는 단계, 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하는 단계 및 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 단계를 포함할 수 있다.

Description

POI 정의 및 PHASE 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
본 발명은 실제 수술 영상과 3D 기반의 가상 수술 모의 영상을 정합하는 것이다. 보다 상세하게는, 본 발명은 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법에 관한 것이다.
최근 들어 병원에서 수술하는 경우, 바로 수술을 진행하지 않고, 수술 전 환자의 수술 조건과 동일한 3D 가상 모의 수술 환경을 만든 뒤에, 실제 수술과 동일한 조건 하에 가상 모의 수술을 시행할 수 있다.
이러한, 가상 모의 수술의 경우, 정밀한 진단을 사전에 세울 수 있다. 그러므로, 전문의의 감에 의존하는 것이 아니라 가상 모의 수술을 통해 계획을 세우고, 아주 작은 오차까지도 줄여 나갈 수 있다.
하지만, 이러한 가상 모의 수술시에는 사람의 시야로 파악하지 못하는 부분도 쉽게 파악할 수 있지만 사실 실제 수술 시에는 가상 모의 수술과는 달리 사람의 시야로 파악하지 못하는 부분이 그대로 존재할 수밖에 없는 실정이다.
특히, 실제 수술 시 해당 수술을 많이 진행해보지 않은 전문의의 경우 장기 뒤에 위치한 혈관이나 수술시 건들이면 안되는 신체 내부의 부분들에 대해 임상경험이 부족함으로 이런 정보를 충분히 인지하지 못하면 수술시 위급상황이 발생하게 되는 경우가 발생하게 된다.
따라서, 실제 수술시 육안으로는 보이지 않는 환자의 신체 내 정보를 가상 모의 수술에서 제공되는 것처럼 실시간으로 수술을 수행하는 전문의에게 제공해줄 필요가 있다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 수술 영상 내의 수술 단계를 인식하고 상기 수술 단계 별 POI(Point Of Interest) 정보의 위치를 3D 기반의 가상 수술 모의 영상에서 획득하고 이를 수술 영상과 함께 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 환자의 실제 기복 상태가 예측된 상기 가상 기복 모델을 기반으로 3D 기반의 가상 수술 모의 환경을 제공하고, 상기 3D 기반의 가상 수술 모의 환경과 실제 수술 영상을 정합함으로써, 상기 3D 기반의 가상 수술 모의 환경이 실제 수술에 훌륭한 리허설 역할을 할 수 있도록 하는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 장치에 의해 수행되는, 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법에 있어서, 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보(Point of Interest)를 설정하는 단계, UI(User Interface) 상에 표시되며 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭하는 단계, 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하는 단계 및 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 단계를 포함할 수 있다.
여기서, 상기 POI 정보 설정 단계는, 상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 하나 이상의 기본 단계로 분할하는 단계, 상기 수술 객체에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할하는 단계 및 상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할하는 단계를 포함할 수 있다.
또한, 상기 POI 정보 설정 단계는, 상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정할 수 있다.
또한, 상기 POI 정보 위치 판단 단계는, 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식하는 단계, 상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계에 해당하는 제1 하위섹션을 인식하는 단계, 상기 제1 하위섹션에 대한 복수의 분할섹션 중 상기 실시간 수술 단계에 해당하는 하나의 분할섹션에 대해 상기 영상 정보가 필요한 시점으로 판단하는 단계, 상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단하는 단계 및 상기 인식한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계를 포함할 수 있다.
여기서, 상기 영상 정보 획득 단계는, 상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계, 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계 및 상기 획득한 영상 정보를 상기 시점에 상기 UI 상에 표시하는 단계를 포함할 수 있다.
또한, 상기 POI 정보 매칭 단계는, 상기 환자에 대한 상기 가상 기복 모델을 획득하는 단계, 상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시하는 단계, 상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입하는 단계 및 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하는 단계를 포함할 수 있다.
또한, 상기 POI 정보 위치 판단 단계는, 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하는 단계, 상기 인식한 수술 단계 별 상기 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 POI 정보의 위치를 판단하는 단계 및 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계를 포함할 수 있다.여기서, 상기 영상 정보 획득 단계는, 상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계, 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계 및 상기 획득한 영상 정보를 실시간으로 상기 UI 상에 표시하는 단계를 포함할 수 있다.
그리고, 상기 UI 상에 표시 단계는, 상기 가상 기복 모델의 해당 위치에 상기 영상 정보 표시하되, 상기 영상 정보의 설명을 나타내는 인디케이터를 추가로 더 표시할 수 있다.
또한, 상기 UI 상에 표시 단계는, 상기 UI 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시할 수 있다.
또한, 상기 가상 기복 모델은, 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 장치에 있어서, 상기 실제 수술 영상과 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상을 획득하는 획득부, 상기 실제 수술 영상과 상기 가상 기복 모델을 표시하는 디스플레이부 및 상기 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보를 설정하고, UI(User Interface) 상에 표시되며 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하고, 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하고, 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 프로세서를 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 본 발명은 수술 영상 내의 수술 단계를 인식하고, 상기 수술 단계 별 POI 정보의 위치를 3D 기반의 가상 수술 모의 영상에서 획득하고, 이를 수술 영상과 함께 제공함으로써 해당 수술에 대한 경험이 부족한 전문의의 경우에도 훌륭한 수술 가이드를 실시간으로 제공받음으로써 수술의 성공률과 수술시 발생될 위험을 현저히 줄일 수 있는 효과가 있다.
또한, 본 발명은 환자의 실제 기복 상태가 예측된 상기 가상 기복 모델을 기반으로 3D 기반의 가상 수술 모의 환경을 제공하고, 상기 3D 기반의 가상 수술 모의 환경과 실제 수술 영상을 정합함으로써 수술을 수행하는 전문가에게 훌륭한 가이드를 제공해줄 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 장치(10)를 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 과정을 설명한 도면이다.
도 3은 본 발명에 따른 가상 기복 모델에서의 혈관 정합을 나타낸 예시도이다.
도 4는 본 발명에 따른 3D 기반의 가상 수술 모의 환경을 나타낸 UI의 예시도이다.
도 5는 본 발명에 따른 실제 수술 영상에서 수술 단계의 POI 정보의 위치로 상기 가상 기복 모델에 삽입된 카메라의 위치를 이동시키는 것을 설명한 도면이다.
도 6은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상과 함께 실시간으로 표시되는 것을 설명하기 위한 예시도이다.
도 7은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상에 오버레이되어 표시되는 것을 설명하기 위한 예시도이다.
도 8은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 과정을 나타낸 흐름도이다.
도 9는 본 발명에 따른 프로세서가 POI 정보 위치를 판단하는 과정을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 장치(10)를 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 과정을 설명한 도면이다.
도 3은 본 발명에 따른 가상 기복 모델에서의 혈관 정합을 나타낸 예시도이다.
도 4는 본 발명에 따른 3D 기반의 가상 수술 모의 환경을 나타낸 UI의 예시도이다.
도 5는 본 발명에 따른 실제 수술 영상에서 수술 단계의 POI 정보의 위치로 상기 가상 기복 모델에 삽입된 카메라의 위치를 이동시키는 것을 설명한 도면이다.
도 6은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상과 함께 실시간으로 표시되는 것을 설명하기 위한 예시도이다.
도 7은 본 발명에 따른 가상 기복 모델에 삽입된 카메라를 통해 촬영된 영상이 UI 상에 실제 수술 영상에 오버레이되어 표시되는 것을 설명하기 위한 예시도이다.
이하, 도 1 내지 도 7을 참조하여, 본 발명에 따른 실제 수술 영상과 가상 수술 모의 영상을 정합하기 위한 장치(10)에 대해서 설명하도록 한다.
의료진은 실제 수술 전에 미리 수술을 가상 모의(시뮬레이션)하여 실제 수술 시에 발생할 수 있는 다양한 변수에 대한 대비책을 확보하길 원하고, 이에 대한 대비책으로써, 실제 수술과 동일한 가상 수술 환경 내에서 가상의 3D 기반의 가상 수술 모의를 제공할 수 있다.
이러한 가상의 3D 기반의 가상 수술 모의를 통해서는 사람의 시야로 파악하지 못하는 부분도 쉽게 파악할 수 있다.
하지만 실제 수술시에는 사람의 시야로 파악하지 못하는 부분이 그대로 존재할 수밖에 없다.
특히, 실제 수술 시 해당 수술을 많이 진행해보지 않은 전문의의 경우 장기 뒤에 위치한 혈관이나 수술시 건들이면 안되는 부분들에 대해 임상경험이 부족함으로 이런 정보를 충분히 인지하지 못하면 수술시 위급상황이 발생하게 되는 경우가 발생하게 된다.
따라서, 장치(10)는 실제 수술시 육안으로는 보이지 않는 환자의 신체 내 정보를 가상 3D 기반의 가상 수술 모의에서 제공되는 것처럼 실시간으로 수술을 수행하는 전문의에게 제공해줄 수 있다.
이러한, 장치(10)는 수술 영상 내의 수술 단계를 인식하고, 상기 수술 단계 별 POI 정보의 위치를 3D 기반의 가상 수술 모의 영상에서 획득하고, 이를 수술 영상과 함께 제공함으로써 해당 수술에 대한 경험이 부족한 전문의의 경우에도 훌륭한 수술 가이드를 실시간으로 제공받을 수 있고, 이로 인해 수술의 성공률과 수술시 발생될 위험을 현저히 줄일 수 있는 효과를 가질 수 있다.
또한, 장치(10)는 환자의 실제 기복 상태가 예측된 상기 가상 기복 모델을 기반으로 3D 기반의 가상 수술 모의 환경을 제공하고, 상기 3D 기반의 가상 수술 모의 환경과 실제 수술 영상을 정합함으로써 수술을 수행하는 전문가에게 훌륭한 가이드를 제공해줄 수 있는 효과를 가질 수 있다.
여기서, 장치(10)는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
즉, 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 상기 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD 장치가 컴퓨터가 될 수 있다.
또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
그리고, 도 1과 도 2를 보면, 장치(10)는 획득부(110), 메모리(120), 디스플레이부(130) 및 프로세서(140)를 포함할 수 있다. 여기서, 장치(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다.
획득부(110)는 장치(10)와 외부 장치(미도시), 장치(10)와 외부 서버(미도시) 사이 또는 장치(10)와 통신망(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
여기서, 획득부(110)는 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한, 획득부(110)는 3D 기반의 가상 수술 모의에 이용되는 상기 가상 기복 모델을 상기 외부 서버(미도시) 또는 메모리(120)로부터 획득할 수 있다.
여기서, 외부 장치(미도시)는 의료영상데이터(이하, 복부 3D 영상데이터)를 촬영하는 의료영상 촬영장비일 수 있다. 여기서, 의료영상데이터는 상기 환자의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함할 수 있다.
또한, 의료영상데이터는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 중 적어도 하나를 포함할 수 있다.
또한, 외부 서버(미도시)는 복수의 환자에 대한 환자별 가상 기복 모델, 환자별 의료 데이터, 환자별 수술 영상 등을 저장하는 서버일 수 있다. 여기서, 환자별 의료 데이터는 상기 환자의 나이, 성별, 키, 몸무게, 체질량지수(Body Mass Index) 및 출산 유무 중 적어도 하나에 대한 데이터를 포함할 수 있다.
또한, 통신망(미도시)은 장치(10), 외부 장치(미도시) 및 외부 서버(미도시) 간의 다양한 정보를 송수신할 수 있다. 통신망은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.
한편, 통신망은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
메모리(120)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(120)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 장치(10) 상에 설치되어, 프로세서(140)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 메모리(120)는 본 발명에 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하기 위한 복수의 프로세스를 구비할 수 있다. 여기서, 상기 복수의 프로세스는 프로세서(140)에 대한 동작을 설명할 때 후술하도록 한다.
이러한, 메모리(120)는 복수의 환자 별 가상 기복 모델, 수술 영상 등을 저장할 수 있다. 여기서, 가상 기복 모델은 상기 프로세서(140)를 통해 생성되어 저장되거나 상기 외부 서버(미도시)로부터 획득하여 저장될 수 있다.
또한, 가상 기복 모델은 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함할 수 있다.
디스플레이부(130)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 장치(20)와 사용자 사이의 입력 인터페이스를 제공할 수 있다.
이러한, 디스플레이부(130)는 상기 실제 수술 영상과 상기 가상 기복 모델을 표시할 수 있다.
프로세서(140)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(140)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(140)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(140)는 상기 응용 프로그램의 구동을 위하여, 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
프로세서(140)는 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 전문가로부터 입력받아 설정할 수 있다.
여기서, POI 정보는 수술시 중요하게 확인해야 하는 혈관, 장기, 피부 중 적어도 하나에 대한 정보를 포함할 수 있으며, 전문가의 입력에 따라 설정될 수 있다.
보다 상세하게는, 상기 POI 정보는 실시간 수술 영상 및 가상 기복 모델 중 적어도 하나에서 POI를 나타내는 인디케이터의 종류(일 예로, 화살표, 별표, 원형 등등), 실시간 수술 영상 및 가상 기복 모델 중 적어도 하나에서 POI 정보의 표시되는 위치(좌표), POI 정보에 대한 세부정보(전문가가 설정한 해당 수술단계에서 수술시 유의사항, 수술과 관련된 주의사항, 알림 등이 텍스트 이미지로 표시됨) 중 적어도 하나를 포함할 수 있다.
특히, 상기 혈관에 대한 POI 정보는 혈관의 분기점, 동맥의 분기점, 정맥의 분기점 중 적어도 하나를 포함할 수 있다.
즉, 상기 전문가는 수술 종류에 따른 기 저장된 수술 영상을 바탕으로 수술 단계를 정의할 수 있고, 상기 수술 단계별 관심 지점인 POI 정보를 지정할 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제1 프로세스를 기반으로 상기 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보를 상기 전문가로부터 입력받아 설정할 수 있다.
보다 상세하게는, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 상기 수술 단계에 대해 하나 이상의 기본 단계로 분할할 수 있다. 여기서, 수술 객체는 수술동작이 수행되는 장기 또는 병변일 수 있다.
구체적으로, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 객체에 대한 상기 수술 동작의 목적에 따라 장기 단위로 상기 수술 영상을 분할하고, 상기 수술 객체에 대한 상기 수술 동작의 목적에 따라 수술 유형으로 상기 수술 영상을 분할할 수 있다.
또한, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 객체에 대한 상기 수술 동작의 목적에 따라 상기 수술 영상에 포함된 방향성을 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 기본 단계 내에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 객체에 대한 수술을 어떻게 진행할 것인지에 대한 구체적인 기준, 정의 또는 목표에 따라 수술도구들의 위치가 정해지므로 이에 따라 상기 기본 단계에 포함된 상기 복수의 단위 영상을 상기 메인섹션으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 메인섹션에 대해 상기 수술 객체에 대한 수술 목적에 대응하는 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정할 수 있다.
보다 상세하게는, 프로세서(140)는 수술도구에 의해 동작이 수행되는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)를 바탕으로 하나 이상의 계층을 가지는 하위섹션(SUB SECTION)으로 분할할 수 있다.
즉, 프로세서(140)는 특정한 타겟 조직(Target Anatomy) 또는 특정한 타겟 오브젝트(Target Object)에 대해 수행되는 상기 수술 동작의 목적에 따라 조직변형(Tissue transformation) 또는 기본조작(Basic action)으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 각각의 하위섹션(SUB SECTION) 내에 포함된 상기 단위영상을 상기 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할할 수 있다.
여기서, 타겟 조직(Target Anatomy)은 수술 중 조작되는 해부학적 부분이고, 타겟 오브젝트(Target Object)는 수술에 필요한 수술 현장에 사용되는 재료 예를 들어, 금속 클립, 혈소판 클립, 봉합사, 바늘, 거즈 및 배수구 중 적어도 하나를 포함할 수 있다.
이후, 프로세서(140)는 상기 전문가의 입력에 따라 상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할할 수 있다.
보다 상세하게는, 프로세서(140)는 상기 전문가의 입력에 따라 상기 각각의 하위섹션(SUB SECTION) 내에 포함된 하나 이상의 단위영상을 특정한 단위동작으로 판단하여 키 무브먼트(KEY MOVEMENT)로 분할하고, 단일 수술기구의 단일 동작을 단위 동작으로 판단하여 상기 분할섹션으로 분할할 수 있다.
구체적으로, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 공간 좌표 이동에 따라 제1 단일동작으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 상기 공간 좌표 내의 관절의 움직임에 따라 제2 단일동작으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 목적에 따라 상기 수술 영상에서 상기 수술 도구의 움직임에 따라 제3 단일동작으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 분할된 분할섹션을 기반으로 상기 수술 단계별 수술시 POI 정보를 설정할 수 있다.
이처럼, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 영상의 수술 단계를 세분화하고 세분화된 상기 수술 단계 중 상기 하위섹션 별로 수술시 POI 정보를 설정할 수 있다.
프로세서(140)는 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭할 수 있다. 이러한, 상기 가상 기복모델은 UI(User Interface) 상에 표시될 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제2 프로세스를 기반으로 상기 환자의 가상 기복 모델에 상기 POI 정보를 매칭할 수 있다.
보다 상세하게는, 먼저, 프로세서(140)는 상기 환자에 대한 상기 가상 기복 모델을 메모리(120) 또는 외부 서버(미도시)를 통해 획득하거나 생성하여 획득할 수 있다.
이러한, 상기 가상 기복 모델은 상기 프로세서(140)가 상기 환자의 상태 데이터, 복수의 랜드마크 데이터 및 신체 데이터를 기반으로 상기 환자의 실제 기복(pneumoperitoneum) 상태를 예측하기 위해 생성한 것일 수 있다.
여기서, 상기 상태 데이터는, 상기 환자의 나이, 성별, 키, 몸무게, 체질량지수(Body Mass Index) 및 출산 유무 중 적어도 하나에 대한 데이터를 포함할 수 있다.
또한, 상기 복수의 랜드마크 데이터는 상기 환자의 복부 3D 영상데이터에 표시되는 것일 수 있다.
또한, 상기 복수의 단면 영상데이터는, 상기 복수의 랜드마크 데이터가 표시된 위치의 단면이고, 상기 신체 데이터는 상기 복수의 단면 영상데이터 내의 상기 환자의 신체에 대한 높이와 넓이의 비율, 피부 둘레, 상기 신체의 전방-후방에 대한 방향 및 거리, 지방 영역 및 근육 영역 중 적어도 하나를 포함할 수 있다.
여기서, 프로세서(140)는 상기 가상 기복 모델 생성시 상기 환자의 실제 기복된 상태에서의 상기 혈관의 상태와 동일한 혈관을 구현할 수 있다.
구체적으로, 프로세서(140)는 상기 가상 기복 모델 생성시 상기 CT 영상 상에서 동맥을 분할/복원하기 위해서는 EAP 영상을 사용할 수 있고, 상기 CT 영상 상에서 정맥을 분할/복원하기 위해서는 PP 영상을 사용할 수 있다.
여기서, 상기 EAP와 PP 각각 촬영시 환자의 위치가 다를 수 있어 정합이 필요한 경우가 발생할 수 있다.
따라서, 프로세서(140)는 상기 정맥 분할/복원시 동맥의 주요 부분을 추가로 분할/복원을 수행하고, 상기 정맥상의 상기 동맥의 주요부분이 일치하도록 상기 동맥의 위치를 조정할 수 있다.
여기서, 도 3을 보면, 프로세서(140)는 상기 동맥의 주요부분(301)에 따라 전문가의 조작을 입력받아 상기 정맥과 상기 동맥을 정합하거나 자동으로 상기 정맥과 상기 동맥을 정합할 수 있다.
여기서, 상기 동맥의 주요 부분(301)은 POI 정보가 될 수 있으며, 상기 동맥의 분기점일 수 있다.
이처럼, 상기 가상 기복 모델은 혈관의 모습까지도 상기 환자의 실제 기복 상태에서와 동일하게 구현될 수 있다.이에 따라, 프로세서(140)는 수술 단계 별 POI 정보(일 예로, 혈관의 분기점)에 대해 상기 가상 기복 모델에 삽입된 카메라로부터 획득한 영상 정보를 전문가에게 제공하여 수술시 사고를 예방할 수 있다.
그리고, 프로세서(140)는 상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시할 수 있다.
여기서, 도 4를 보면, UI(400)는 메인 화면 영역(410)과 프리뷰 화면 영역(420)을 포함할 수 있다.
구체적으로, 메인 화면 영역(410)은 실제 수술시 환자의 신체 내부에 삽입되는 카메라(Endoscope)를 통해 실시간으로 촬영되는 실제 수술 영상이 표시되는 영역일 수 있다.
또한, 프리뷰 화면 영역(420)은 상기 가상 기복 모델이 평면 뷰(view)로 표시되는 제1 영역(421)과, 상기 가상 기복 모델의 기준 트로카를 통해 삽입된 상기 카메라(Endoscope)를 통해 촬영된 상기 가상 기복 모델의 내부 영상이 표시되는 제2 영역(422)을 포함할 수 있다.
즉, 프로세서(140)는 UI(400) 상에 상기 기복 모델의 표면을 위에서 바라보는 제1 영역(421)과 삽입된 카메라(내시경)를 통해 바라보는 제2 영역(422)을 동시에 출력할 수 있다.
여기서, 제1 영역(421)은 상기 기복 모델의 표면을 위에서 바라보는 화면일 수 있다. 또한, 제1 영역(421)은 상기 가상 기복 모델의 적어도 하나의 트로카를 통해 삽입되는 도구의 정보가 표시될 수 있다.
제2 영역(422)은 상기 기준 트로카를 통해 삽입된 상기 카메라를 통해 촬영된 상기 가상 기복 모델의 내부 영상이 표시되는 영역일 수 있다.
또한, 제2 영역(422)은 상기 적어도 하나의 트로카에 삽입되는 도구가 상기 가상 기복 모델의 내부로 진입되는 모습이 상기 카메라를 통해 촬영되어 실시간으로 표시될 수 있다.
다음으로, 프로세서(140)는 상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입할 수 있다.
구체적으로, 프로세서(140)는 상기 가상 기복 모델의 배꼽 하단에 기 설정된 간격 떨어진 위치에 삽입된 트로카(Trocar)를 통해 상기 카메라를 삽입할 수 있다.
그 다음으로, 프로세서(140)는 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭할 수 있다.
구체적으로, 프로세서(140)는 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 카메라를 통해 획득되는 영상 정보를 기반으로 상기 수술 단계 별 상기 POI 정보를 순차적으로 매칭할 수 있다. 프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단할 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제3 프로세스를 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단할 수 있다.
도 5를 보면, 먼저, 프로세서(140)는 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식할 수 있다.
여기서, 딥러닝 모델은, 콘볼루션 뉴럴 네트워크(CNN, Convolutional Neural Network, 이하 CNN이라고 명칭함)를 포함할 수 있으나 반드시 이에 한정되지 않고, 다양한 구조의 신경망으로 형성될 수 있다.
일 예로, 프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계(제1 단계 내지 제N 단계) 중 현재 시점이 제3 단계인 것을 상기 딥러닝 모델을 기반으로 인식할 수 있다.
다음으로, 프로세서(140)는 현재 시점에 해당하는 실시간 수술 단계가 인식되면, 기 저장된 수술 영상에 대해 설정된 각 수술 단계 별 POI 정보들 중에서 상기 인식된 실시간 수술 단계에 해당하는 POI 정보 또는 상기 인식된 실시간 수술 단계의 다음 수술 단계에 해당하는 POI 정보를 검색하고, 상기 검색된 POI 정보를 추출하고, 상기 가상 기복 모델에서 상기 추출된 POI 정보에 해당하는 부분을 표시할 수 있다.여기서, 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내에는 복수의 수술 단계들이 포함되고, 상기 복수의 수술 단계 각각(또는 일부)에는 POI 정보가 설정되어 세팅될 수 있다.
프로세서(140)는 상기 실제 수술 영상으로부터 각 실시간 수술 단계를 구별할 수 있다.
즉, 프로세서(140)는 상기 실제 수술 영상으로부터 현재 또는 한 단계 앞의 수술 단계를 인식할 수 있다.
이후, 프로세서(140)는 상기 기 저장된 수술 영상 내에서 상기 인식된 수술 단계에 해당하는 수술 단계에 POI 정보가 설정되어 있는지 판별할 수 있다.
그 다음으로, 프로세서(140)는 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭할 수 있다.
여기서, 프로세서(140)는 상기 판단한 POI 정보의 위치에 대한 정보를 상기 카메라(내시경)를 통해 바라보는 화면이 표시되는 제2 영역(422) 상에 원형 모양의 인디케이터가 상기 POI 정보의 위치에 매칭될 수 있다.
또는, 프로세서(140)는 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식할 수 있다.
그리고, 프로세서(140)는 상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계에 해당하는 제1 하위섹션을 인식할 수 있다.
이후, 프로세서(140)는 상기 제1 하위섹션에 대한 복수의 분할섹션 중 상기 실시간 수술 단계에 해당하는 하나의 분할섹션에 대해 상기 영상 정보가 필요한 시점으로 판단할 수 있다.
그리고, 프로세서(140)는 상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단할 수 있다.
이후, 프로세서(140)는 상기 인식한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭할 수 있다.
프로세서(140)는 상기 UI(400)를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시할 수 있다.
여기서, 프로세서(140)는 복수의 프로세스 중 제4 프로세스를 기반으로 상기 UI(400) 상에서 상기 판단한 POI 정보의 위치와 동일한 위치로 이동된 상기 카메라(Endoscope)로부터 촬영된 영상 정보를 획득하여 표시할 수 있다.
보다 상세하게는, 먼저, 프로세서(140)는 상기 UI(400) 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시킬 수 있다.
다음으로, 프로세서(140)는 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득할 수 있다.
그 다음으로, 프로세서(140)는 상기 획득한 영상 정보를 실시간으로 상기 UI(400) 상에 표시할 수 있다.
이에 따라, 프로세서(140)는 실제 수술 영상에서는 볼 수 없는 부분에 대한 영상을 상기 가상 기복 모델에 삽입된 상기 카메라를 통해 획득할 수 있다.
여기서, 도 6을 보면, 프로세서(140)는 상기 UI(400) 상에 상기 가상 기복 모델의 해당 위치에 상기 카메라로부터 획득한 상기 영상 정보를 표시하되, 상기 영상 정보의 설명인 "혈관"을 나타내는 인디케이터를 추가로 더 표시할 수 있다.
또는, 도 7을 보면, 프로세서(140)는 상기 UI(400) 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시할 수 있다.
여기서, 프로세서(140)는 도 6의 메인 화면 영역(410) 상에 장기 뒤에 위치하는 혈관을 상기 가상 기복 모델에 삽입된 상기 카메라로부터 획득한 영상 정보를 기반으로 렌더링(혈관의 위치와 형상을 점선으로 표시, 화살표로 해당 부분 지시)하여 표시할 수 있다.
도 8은 본 발명에 따른 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 과정을 나타낸 흐름도이다. 여기서, 프로세서(140)의 동작은 장치(10)에서 수행 가능할 수 있다.
프로세서(140)는 상기 전문가의 입력에 따라 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 설정할 수 있다(S801).
구체적으로, 프로세서(140)는 상기 전문가의 입력에 따라 상기 수술 영상을 상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 상기 수술 단계에 대해 하나 이상의 기본 단계로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 기본 단계에 포함된 복수의 단위영상을 메인섹션(MAIN SECTION)으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력을 기반으로 상기 수술 객체에 대한 수술을 어떻게 진행할 것인지에 대한 구체적인 기준, 정의 또는 목표에 따라 수술도구들의 위치가 정해지므로 이에 따라 상기 기본 단계에 포함된 상기 복수의 단위 영상을 상기 메인섹션으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 메인섹션에 대해 상기 수술 객체에 대한 수술 목적에 대응하는 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할할 수 있다.
그리고, 프로세서(140)는 상기 전문가의 입력에 따라 상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할할 수 있다.
여기서, 프로세서(140)는 상기 전문가의 입력에 따라 상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정할 수 있다.
프로세서(140)는 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭할 수 있다(S802).
구체적으로, 프로세서(140)는 상기 환자에 대한 상기 가상 기복 모델을 상기 메모리(120) 또는 외부 서버(미도시)로부터 획득하고, 상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시할 수 있다.
여기서, 상기 가상 기복모델은 UI(User Interface) 상에 표시될 수 있고, 상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(140)는 상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입하고, 상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭할 수 있다.
프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단할 수 있다(S803).
구체적으로, 프로세서(140)는 딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하고, 상기 인식한 수술 단계 별 상기 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 POI 정보의 위치를 판단할 수 있다.
이후, 프로세서(140)는 상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭할 수 있다.
프로세서(140)는 상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시할 수 있다(S804).
구체적으로, 프로세서(140)는 상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키고, 상기 카메라로부터 해당 위치에 대한 영상 정보를 획득할 수 있다.
그리고, 프로세서(140)는 상기 획득한 영상 정보를 실시간으로 상기 UI 상에 표시할 수 있다.
이때, 프로세서(140)는 상기 가상 기복 모델의 해당 위치에 상기 영상 정보 표시하되, 상기 영상 정보의 설명을 나타내는 인디케이터를 추가로 더 표시할 수 있다.
또는, 프로세서(140)는 상기 UI 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시할 수 있다.
도 8은 단계 S801 내지 단계 S804를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 8에 기재된 순서를 변경하여 실행하거나 단계 S801 내지 단계 S804 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.
도 9는 본 발명에 따른 프로세서(140)가 POI 정보 위치를 판단하는 과정을 설명하기 위한 예시도이다.
먼저, 프로세서(140)는 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식할 수 있다.
그리고, 프로세서(140)는 상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계인 제4 단계에 해당하는 제1 하위섹션을 인식할 수 있다.
이후, 프로세서(140)는 상기 제1 하위섹션에 대한 복수의 분할섹션에서 중 상기 실시간 수술 단계에 해당하는 제3 분할섹션에 대해 가상 기복 모델을 통해 획득되는 영상 정보가 필요한 시점으로 판단할 수 있다.
여기서, 상기 시점은, 수술 중에 상기 POI 정보가 위치된 지점이 나오기 바로 전 시점일 수 있다.
그리고, 프로세서(140)는 상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단할 수 있다. 여기서, 상기 POI 정보는 정맥의 분기점일 수 있다.
이후, 프로세서(140)는 상기 제1 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 실시간으로 상기 가상 기복 모델에 삽입된 상기 카메라로부터 획득된 영상 정보를 UI 상에 표시할 수 있다.
즉, 프로세서(140)는 상기 영상 정보가 필요한 시점인 상기 제3 분할섹션에서 상기 제1 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 획득된 상기 영상 정보를 실시간으로 상기 UI 상에 표시할 수 있다.
따라서, 프로세서(140)는 실제 수술시 실시간으로 바로 필요한 POI 정보 기반의 상기 가상 기복 모델을 통해 획득한 상기 영상 정보를 전문가에게 제공함으로써 실시간 필요한 영상을 통해 수술의 성공률을 높일 수 있다.
또는, 프로세서(140)는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 실시간으로 상기 가상 기복 모델에 삽입된 상기 카메라로부터 획득된 영상 정보를 UI 상에 표시할 수 있다.즉, 프로세서(140)는 상기 영상 정보가 필요한 시점인 상기 제3 분할섹션에서 상기 제2 하위섹션 별 상기 판단된 POI 정보의 위치를 기반으로 획득된 상기 영상 정보를 실시간으로 상기 UI 상에 표시할 수 있다.
따라서, 프로세서(140)는 실시 수술시 미리 다음 단계의 수술 과정에 필요한 POI 정보 기반의 상기 가상 기복 모델을 통해 획득한 상기 영상 정보를 전문가에게 제공함으로써 실시간 필요한 영상을 통해 수술의 성공률을 높일 수 있다.
이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 장치(10)일 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, C#, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (13)

  1. 장치에 의해 수행되는, 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법에 있어서,
    상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상 내의 수술 단계별 수술시 POI(Point of Interest) 정보를 설정하는 단계;
    UI(User Interface) 상에 표시되며 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 매칭하는 단계;
    상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하는 단계; 및
    상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 단계;
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 POI 정보 설정 단계는,
    상기 수술 영상을 상기 수술 단계로 분할하기 위해 수술 객체를 기반으로 하나 이상의 기본 단계로 분할하는 단계;
    상기 수술 객체에 대한 수술 목적에 대응하는 타겟 조직(Target Anatomy) 또는 타겟 오브젝트(Target Object)에 대한 수술 동작을 하나 이상의 하위섹션(SUB SECTION)으로 분할하는 단계; 및
    상기 각각의 하위섹션 내에 포함된 하나 이상의 단위 영상을 수술 도구에 의한 동작 별로 분할섹션으로 분할하는 단계;
    를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 POI 정보 설정 단계는,
    상기 분할된 하위섹션을 기반으로 상기 POI 정보를 설정하는, 방법.
  4. 제3항에 있어서,
    상기 POI 정보 위치 판단 단계는,
    딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계에 해당하는 기본 단계를 인식하는 단계;
    상기 기본 단계에 포함되는 복수의 하위섹션 중 상기 실시간 수술 단계에 해당하는 제1 하위섹션을 인식하는 단계;
    상기 제1 하위섹션에 대한 복수의 분할섹션 중 상기 실시간 수술 단계에 해당하는 하나의 분할섹션에 대해 상기 영상 정보가 필요한 시점으로 판단하는 단계;
    상기 제1 하위섹션 별 상기 POI 정보의 위치 또는 상기 제1 하위섹션 바로 다음 단계인 제2 하위섹션 별 상기 POI 정보의 위치를 판단하는 단계; 및
    상기 인식한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계;를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 영상 정보 획득 단계는,
    상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계;
    상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계; 및
    상기 획득한 영상 정보를 상기 시점에 상기 UI 상에 표시하는 단계;를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 POI 정보 매칭 단계는,
    상기 환자에 대한 상기 가상 기복 모델을 획득하는 단계;
    상기 UI(User Interface) 상에 상기 가상 기복 모델을 표시하는 단계;
    상기 가상 기복 모델의 기 설정된 위치에 카메라(endoscope)를 삽입하는 단계; 및
    상기 카메라가 삽입된 상태의 상기 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하는 단계;를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 POI 정보 위치 판단 단계는,
    딥러닝 모델을 기반으로 상기 실제 수술 영상의 실시간 수술 단계를 인식하는 단계;
    상기 인식한 수술 단계 별 상기 POI 정보의 위치 또는 상기 인식한 수술 단계의 바로 다음 수술 단계 별 상기 POI 정보의 위치를 판단하는 단계; 및
    상기 판단한 POI 정보의 위치에 대한 정보를 상기 가상 기복 모델 상에 매칭하는 단계;를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 영상 정보 획득 단계는,
    상기 UI 상에서 상기 판단한 POI 정보의 위치를 기반으로 상기 가상 기복 모델에 삽입된 상기 카메라의 위치를 이동시키는 단계;
    상기 카메라로부터 해당 위치에 대한 영상 정보를 획득하는 단계; 및
    상기 획득한 영상 정보를 실시간으로 상기 UI 상에 표시하는 단계;를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 UI 상에 표시 단계는,
    상기 가상 기복 모델의 해당 위치에 상기 영상 정보 표시하되,
    상기 영상 정보의 설명을 나타내는 인디케이터를 추가로 더 표시하는, 방법.
  10. 제9항에 있어서,
    상기 UI 상에 표시 단계는,
    상기 UI 상에 상기 실제 수술 영상에서 육안상 안보이는 부분에 대해 상기 영상 정보를 실시간으로 렌더링(Rendering)하여 표시하는, 방법.
  11. 제1항에 있어서,
    상기 가상 기복 모델은,
    상기 환자의 기복 상태에서의 실제 장기, 혈관, 지방, 근육 중 적어도 하나를 포함하는, 방법.
  12. 하드웨어인 장치와 결합되어, 제1항 내지 제11항 중 어느 한 항의 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  13. 실제 수술 영상과 3D 기반의 가상 수술 모의 환경을 정합하는 장치에 있어서,
    상기 실제 수술 영상과 상기 실제 수술 영상과 동일한 수술을 수행한 기 저장된 수술 영상을 획득하는 획득부;
    상기 실제 수술 영상과 상기 가상 기복 모델을 표시하는 디스플레이부; 및
    상기 기 저장된 수술 영상 내의 수술 단계별 수술시 POI 정보를 설정하고,
    UI(User Interface) 상에 표시되며 상기 3D 기반의 가상 수술 모의 환경에 이용되는 환자의 가상 기복 모델에 상기 POI 정보를 순차적으로 매칭하고,
    상기 실제 수술 영상의 실시간 수술 단계를 인식하고 상기 인식한 수술 단계 별 POI 정보의 위치를 판단하고,
    상기 UI를 통해, 상기 판단한 POI 정보의 위치와 동일한 위치로 상기 가상 기복 모델에 삽입된 카메라(Endoscope)의 위치를 이동시켜 촬영한 영상 정보를 획득하여 표시하는 프로세서;를 포함하는, 장치.
PCT/KR2022/010608 2021-07-29 2022-07-20 Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 WO2023008818A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22849794.7A EP4364685A1 (en) 2021-07-29 2022-07-20 Device and method for matching actual surgery image and 3d-based virtual simulation surgery image on basis of poi definition and phase recognition
CN202280052613.2A CN117881355A (zh) 2021-07-29 2022-07-20 整合基于兴趣点定义及步骤识别的实际手术图像与基于3d的虚拟模拟手术图像的装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0099678 2021-07-29
KR1020210099678A KR102628325B1 (ko) 2021-07-29 2021-07-29 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023008818A1 true WO2023008818A1 (ko) 2023-02-02

Family

ID=85038046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010608 WO2023008818A1 (ko) 2021-07-29 2022-07-20 Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법

Country Status (5)

Country Link
US (1) US11986248B2 (ko)
EP (1) EP4364685A1 (ko)
KR (2) KR102628325B1 (ko)
CN (1) CN117881355A (ko)
WO (1) WO2023008818A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120111871A (ko) * 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
KR20150043245A (ko) * 2012-08-14 2015-04-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 다중 비전 시스템의 정합을 위한 시스템 및 방법
KR20190099999A (ko) * 2018-02-20 2019-08-28 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
KR102008891B1 (ko) * 2018-05-29 2019-10-23 (주)휴톰 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
KR20210034178A (ko) * 2019-09-20 2021-03-30 울산대학교 산학협력단 수술 영상 제공 시스템 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
EP3426179B1 (en) * 2016-03-12 2023-03-22 Philipp K. Lang Devices for surgery
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
JP2021510110A (ja) * 2018-01-10 2021-04-15 コヴィディエン リミテッド パートナーシップ 外科用ポートの配置のためのガイダンス
KR102276862B1 (ko) 2018-03-06 2021-07-13 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
JP7188970B2 (ja) 2018-10-11 2022-12-13 ザイオソフト株式会社 ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム
US11382696B2 (en) * 2019-10-29 2022-07-12 Verb Surgical Inc. Virtual reality system for simulating surgical workflows with patient models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120111871A (ko) * 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
KR20150043245A (ko) * 2012-08-14 2015-04-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 다중 비전 시스템의 정합을 위한 시스템 및 방법
KR20190099999A (ko) * 2018-02-20 2019-08-28 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
KR102008891B1 (ko) * 2018-05-29 2019-10-23 (주)휴톰 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
KR20210034178A (ko) * 2019-09-20 2021-03-30 울산대학교 산학협력단 수술 영상 제공 시스템 및 그 방법

Also Published As

Publication number Publication date
US20230031396A1 (en) 2023-02-02
EP4364685A1 (en) 2024-05-08
KR20230019281A (ko) 2023-02-08
KR102628325B1 (ko) 2024-01-24
CN117881355A (zh) 2024-04-12
KR20240014549A (ko) 2024-02-01
US11986248B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
WO2018155894A1 (ko) 영상 정합 장치 및 영상 정합 방법
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
WO2015099427A1 (ko) 의료용 바늘의 삽입 경로의 생성 방법
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2018174507A1 (ko) 가상현실을 이용한 신경질환 진단 장치 및 방법
WO2021157851A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2019209052A1 (en) Medical imaging apparatus and method of controlling the same
WO2023008818A1 (ko) Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
WO2016093453A1 (en) Ultrasound diagnostic apparatus and method of operating the same
WO2022124705A1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
WO2021206518A1 (ko) 수술 후 수술과정 분석 방법 및 시스템
WO2019244896A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
WO2016006765A1 (ko) 엑스선 장치
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
WO2023136695A1 (ko) 환자의 가상 폐 모델을 생성하는 장치 및 방법
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2021206517A1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
WO2023018138A1 (ko) 환자의 가상 기복 모델을 생성하는 장치 및 방법
WO2012015093A1 (ko) 원격진료방법 및 전자기기
WO2021096054A1 (ko) 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
WO2023003389A1 (ko) 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849794

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280052613.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022849794

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022849794

Country of ref document: EP

Effective date: 20240129

NENP Non-entry into the national phase

Ref country code: DE