WO2023136616A1 - 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 - Google Patents

수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 Download PDF

Info

Publication number
WO2023136616A1
WO2023136616A1 PCT/KR2023/000545 KR2023000545W WO2023136616A1 WO 2023136616 A1 WO2023136616 A1 WO 2023136616A1 KR 2023000545 W KR2023000545 W KR 2023000545W WO 2023136616 A1 WO2023136616 A1 WO 2023136616A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
virtual
patient
image
model
Prior art date
Application number
PCT/KR2023/000545
Other languages
English (en)
French (fr)
Inventor
한예진
김성재
홍승범
최민국
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority claimed from KR1020230004470A external-priority patent/KR20230109571A/ko
Publication of WO2023136616A1 publication Critical patent/WO2023136616A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an apparatus and method for providing a virtual reality-based surgical environment for each surgical situation, and more particularly, to an apparatus and method for providing a virtual reality-based surgical environment for each surgical situation to provide a patient-customized virtual model in consideration of vascular variation.
  • the surgery can be performed virtually under the same conditions as the actual surgery after creating a 3D simulation (stereoscopic image) of the patient's condition before the surgery, rather than immediately proceeding with the surgery.
  • 3D simulation stereographic image
  • the surprising effect brought about by the virtual simulation surgery as described above is that the accuracy of the surgery is improved, the actual surgical situation can be predicted, and the surgical method suitable for the individual patient is provided so that the time can be shortened.
  • the present invention for solving the above problems is to create and provide a patient-specific virtual model in consideration of the variation of at least one of organs and blood vessels when providing a surgical environment based on virtual reality for simulation, so that the user ( Medical staff) can simulate based on the virtual model in an environment similar to the actual surgery, so even users with low skills can prevent mistakes that can occur during actual surgery or respond flexibly.
  • a reality-based surgical environment providing device and method can be provided.
  • An apparatus for providing a virtual reality-based surgical environment for each surgical situation includes a communication module; a display module displaying at least one surgical image, wherein the surgical image includes at least one of a virtual surgical image and a recommended surgical image; a storage module for storing at least one process for providing a surgical environment based on virtual reality for each surgical situation; and a control module that performs an operation to provide a surgical environment based on the at least one process based on virtual reality for each surgical situation, wherein the control module obtains a medical image of a subject for surgery, At least one patient-specific virtual model considering the variation of at least one of organs and blood vessels is created and stored based on the obtained medical image using a machine learning model, and the user performs simulation based on the specific patient-customized virtual model.
  • the virtual surgery image including changes inside the body is output according to the operation performed by the user using a physics engine designed similarly to the processing of internal physical properties of the body, and the at least one patient-customized virtual model, Data obtained by shaping a body part in 3D through 3D modeling, and variations of at least one of the above may be considered.
  • a method for providing a virtual reality-based surgical environment for each surgical situation includes acquiring a medical image of a subject for surgery; generating and storing at least one patient-customized virtual model considering a variation of at least one of an organ and a blood vessel based on the obtained medical image using a first machine learning model; And when the user performs a simulation based on a specific patient-specific virtual model, the virtual surgery image including changes inside the body according to the operation performed by the user using a physics engine designed similarly to processing of internal physical properties of the body Outputting and providing the data, wherein the at least one patient-customized virtual model is data obtained by shaping a body part in 3D through 3D modeling, and variations of the at least one virtual model may be considered.
  • the user when providing a surgical environment based on virtual reality for simulation, the user (medical staff) creates and provides a virtual model customized for a patient in consideration of variations in at least one of organs and blood vessels. ) can be simulated based on the virtual model in an environment similar to the actual surgery, so that even users with low proficiency do not make mistakes that may occur during actual surgery, or they can flexibly cope with it.
  • FIG. 1 is a diagram schematically showing examples of blood vessel types having various blood vessel variations according to demographic distribution
  • FIG. 2 is a block diagram showing the configuration of an apparatus for providing a virtual reality-based surgical environment for each surgical situation according to an embodiment of the present invention.
  • FIG. 3 schematically illustrates each procedure for providing a virtual reality-based surgical environment for each surgical situation according to an embodiment of the present invention.
  • FIG. 4 is a flow chart showing a method for providing a virtual reality-based surgical environment for each surgical situation according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating specific operations performed when performing a simulation based on a specific patient-customized virtual model according to an embodiment of the present invention.
  • FIG. 6 is a flowchart showing specific operations performed when defining a surgical step according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of learning a first machine learning model to recognize a variance of at least one of an organ and a blood vessel based on an image according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of learning a second machine learning model for recognizing a surgical step based on an image according to an embodiment of the present invention.
  • FIG. 9 to 14 show an example of a user interface displayed on a display module of an apparatus for providing an operating environment when a simulation of cholecystectomy is performed through a simulation environment built according to an embodiment of the present invention.
  • image refers to discrete image elements (e.g., in a two-dimensional image).
  • the image may include a medical image of an object obtained by a CT imaging device.
  • object means a human or animal, or a human or animal
  • the object may be some or all.
  • the object may include at least one of organs such as the liver, heart, uterus, brain, breast, abdomen, and blood vessels.
  • a “user” is a medical expert and may be a doctor, nurse, clinical pathologist, medical imaging expert, or the like, and may be a technician who repairs a medical device, but is not limited thereto.
  • medical image data is a medical image captured by a medical imaging equipment, and includes all medical images capable of realizing a body of an object as a 3D model.
  • Medical image data may include a computed tomography (CT) image, a magnetic resonance imaging (MRI) image, a positron emission tomography (PET) image, and the like.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • “virtual model” refers to a model generated to match the actual patient's body based on medical image data.
  • the “virtual model” may be generated by modeling medical image data in 3D as it is, or may be corrected after modeling to be the same as during an actual operation.
  • “virtual surgery data” refers to data including rehearsal or simulation behavior performed on a virtual model.
  • “Virtual surgery data” may be image data in which a rehearsal or simulation is performed on a virtual model in a virtual space, or data recorded about a surgical operation performed on a virtual model.
  • “virtual surgery data” may include learning data for learning a surgical learning model.
  • actual surgery data refers to data obtained as actual medical staff perform surgery.
  • the "surgical data” may be image data obtained by photographing a surgical site in an actual surgical procedure, or may be data recorded for a surgical operation performed in an actual surgical procedure.
  • a surgical step means a basic step performed sequentially in the entire operation of a specific type of operation.
  • the simulation is a program that simulates in 3D so as to check the movement of a surgical tool or the like based on 3D modeling data in which a body part is modeled in 3D.
  • This simulation simulates not only the simple movement of a surgical tool, but also a situation in which a surgical action is virtually performed on a virtual model generated by corresponding 3D modeling data.
  • simulation may be used in connection with a manipulator, or may be used as a single program to use other virtual surgical tools.
  • the manipulator controls the arm of the actual surgical robot by sending signals to the arm of the actual surgical robot using the user's hand.
  • arm motion data and virtual image data are examples of the manipulator controls the arm of the actual surgical robot.
  • a computer includes all various devices capable of providing results to users by performing calculation processing.
  • a computer includes not only a desktop PC and a notebook (Note Book) but also a smart phone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous/asynchronous A mobile terminal of IMT-2000 (International Mobile Telecommunication-2000), a Palm Personal Computer (Palm PC), and a Personal Digital Assistant (PDA) may also be applicable.
  • a Head Mounted Display (HMD) device includes a computing function
  • the HMD device may become a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • FIG. 1 is a diagram schematically showing examples of blood vessel types having various blood vessel variations according to demographic distribution, showing a case in which gastric cancer surgery is taken as an example.
  • vascular mutations may appear in various forms depending on the patient.
  • FIG. 1 shows only exemplary situations for blood vessel transformation (deformation), not only blood vessels but also long-term transformation (deformation) makes the operation very difficult.
  • the present invention provides a virtual reality-based surgical environment for each surgical situation by creating and storing at least one patient-customized virtual model suitable for the patient in accordance with these various situations and establishing a simulation environment, thereby simulating before surgery. I want to be able to run it.
  • FIG. 2 is a block diagram showing the configuration of an apparatus for providing a virtual reality-based surgical environment for each surgical situation according to an embodiment of the present invention.
  • an apparatus for providing a virtual reality-based surgical environment (hereinafter, referred to as a 'surgical environment providing apparatus') 100 according to an embodiment of the present invention includes a communication module 110, a storage module 130 and a control It may be configured to include module 170 .
  • the communication module 110 is for communicating with at least one medical device, at least one medical staff terminal, and a management server, and transmits and receives wireless signals in a communication network based on wireless Internet technologies.
  • Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc. 100) transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above.
  • BluetoothTM, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi -Local communication may be supported using at least one of wireless-fidelity (Fi), Wi-Fi Direct, and wireless universal serial bus (USB) technologies.
  • Wireless communication between the surgical environment providing apparatus 100 and each of different devices, equipment, and terminals may be supported through such a short-range wireless communication network (Wireless Area Networks).
  • the local area wireless communication network may be a local area wireless personal area network (Wireless Personal Area Networks).
  • the storage module 130 stores data and/or various information supporting various functions of the apparatus 100 for providing a surgical environment.
  • a plurality of application programs (or applications) that are driven in the surgical environment providing device 100, data for operation of the surgical environment providing device 100, and commands may be stored. At least some of these application programs may be downloaded from an external server through wireless communication. Meanwhile, the application program may be stored in the control module 170, installed on the surgical environment providing device 100, and driven to perform an operation (or function) by the control module 170.
  • the storage module 130 information on at least one medical device, at least one medical staff terminal, and management server is registered and stored, as well as surgical data, medical images, and surgical images (actually, for at least one patient).
  • surgical image, virtual surgical image, etc. surgical information (including information on surgical steps for each of at least one surgical type) and virtual model, and at least one machine learning model necessary to provide a virtual reality-based surgical environment and at least one process.
  • the at least one machine learning model includes a first machine learning model and a second machine learning model, and may further include a physics engine.
  • the first machine learning model acquires a plurality of medical images for each of a plurality of patients, defines at least one of organs and blood vessels having variations as a label based on the obtained plurality of medical images, and machine-learns the model.
  • the medical image of each of the plurality of patients may include a medical image of a patient having a variance in at least one of organs and blood vessels as well as a medical image of a patient having no variance in at least one of organs and blood vessels. .
  • the second machine learning model acquires a plurality of real surgical images including at least one object of a surgical tool, a body organ, and bleeding, and at least one or more surgical operations or operations based on the obtained plurality of real surgical images. It can be a machine-learned model by defining steps as labels.
  • the storage module 130 may store a learning data set in which labeling is performed to perform machine learning on each of the first machine learning model and the second machine learning model.
  • the physics engine may be designed similarly to processing internal physical properties of the body.
  • This physics engine is a software library that simulates physical phenomena in the natural world using numerical values such as mass, velocity, and friction. It is difficult to implement all physical phenomena as they are because the CPU computational power is limited, but applying Newtonian mechanics to the force and motion state applied to various rigid bodies such as manipulators and/or robot arms Static and dynamic characteristics similar to the environment can be calculated within a given time. A lot of research has been advanced along with the recent craze for 3D games, so that not only the dynamics of rigid bodies but also the dynamics of particles, fluids, and deformable bodies can be calculated in real time. In addition, since it has a collision detection function, contact with other rigid bodies can be easily identified. Since the physics engine constructs space only logically, a rendering engine, commonly called a graphics engine, performs the task of drawing the motion calculated by the physics engine on the screen.
  • a rendering engine commonly called a graphics engine
  • a virtual surgery image including changes inside the body according to the operation can be output through a physics engine applied to the manipulator.
  • each piece of information stored in the storage module 130 may be stored together with each piece of time information as needed.
  • the storage module 130 may include a memory, and the memory may be of a flash memory type, a hard disk type, a multimedia card micro type, or a card type.
  • Memory eg SD or XD memory, etc.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • It may include at least one type of storage medium among a programmable read-only memory (PROM) magnetic memory, a magnetic disk, and an optical disk.
  • the memory may store information temporarily, permanently or semi-permanently, and may be provided in a built-in or removable type.
  • the display module 150 displays at least one surgical image.
  • the surgical image may include at least one of a virtual surgical image and a recommended surgical image, and other data and/or information such as surgical data and actual surgical images may be displayed as necessary.
  • other data and/or information such as surgical data and actual surgical images may be displayed as necessary.
  • several pieces of data and/or information may be simultaneously displayed at one time.
  • the control module 170 controls all components in the surgical environment providing device 100 to process input or output signals, data, information, etc., or executes commands, algorithms, and application programs stored in the storage module 130 to obtain various information. It performs a process and can provide or process appropriate information or functions to each user who uses the platform for managing nursing information.
  • control module 170 acquires a medical image of a subject for surgery, and uses a first machine learning model, based on the obtained medical image, to take into account variations in at least one of an organ and a blood vessel, and at least one patient-customized image. Build a simulation environment by creating and saving virtual models.
  • control module 170 when the user performs a simulation based on a specific patient-customized virtual model among at least one patient-customized virtual model in the built simulation environment, uses a physics engine designed similarly to processing of internal physical properties of the body. virtual surgery images including changes inside the body according to the motions performed by the user are output.
  • the control module 170 when performing a simulation based on a specific patient-customized virtual model, confirms the type of surgery of the subject for surgery, and defines a surgical step corresponding to the identified type of surgery. Thereafter, the control module 170 selects a patient-customized virtual model corresponding to the defined surgical step from among at least one patient-customized virtual model as a specific patient-customized virtual model, and selects at least one object in the specific patient-customized virtual model ( 3D object) to additionally model adipose tissue around it.
  • the at least one object may be at least one of organs and blood vessels.
  • control module 170 checks the surgical procedure mapped to the previously confirmed surgical type based on the surgical information pre-stored in the storage module 130, and confirms the surgical procedure. It is possible to define only the pre-set essential surgical steps among all surgical steps included in the surgical step.
  • control module 170 simplifies the entire process of the operation into essential surgical steps, performs additional modeling optimized for a specific patient-customized virtual model based on scenarios according to the surgical steps, and performs the additional modeling.
  • the simulation is performed through the completed virtual model tailored to the specific patient.
  • the at least one patient-customized virtual model is data obtained by shaping a body part in 3D through 3D modeling, and variations of at least one of organs and blood vessels may be considered. That is, in one patient-customized virtual model, only the variation of at least one organ or the variation of at least one blood vessel may be considered, or the variation of organs and blood vessels may be considered in combination.
  • the difficulty may be set according to the object, position, number, etc. of the considered variation.
  • the degree of difficulty of each of the at least one patient-specific virtual model may be set according to the degree of variation of at least one virtual model.
  • control module 170 inputs (selects, receives) user input (or input information) through an input module (not shown) provided in the user terminal or the surgical environment providing device 100 by the user who wants to perform the simulation. Then, when a specific patient-customized virtual model is selected from among at least one patient-customized virtual model, the level of difficulty set according to the user input may be further considered.
  • the user input may include at least one of patient information (personal information, medical information, medical images, etc.) of a subject for surgery, type of surgery, and level of difficulty.
  • the control module 170 detects a similar mutation based on cross-modal retrieval using a second machine learning model.
  • a surgical image is selected as a recommended surgical image, and the recommended surgical image is output and provided.
  • the first machine learning model, the second machine learning model, and the physics engine described above may be previously built (designed) and stored by the control module 170, or may be built in another device and applied, but are not limited thereto. don't
  • the control module 170 when a simulation is performed based on a specific patient-customized virtual model, when a specific action on the modeled adipose tissue corresponds to a specific condition, the control module 170 generates an animation for removing the adipose tissue.
  • the specific action may be an action of touching the adipose tissue
  • the specific condition may be a preset number of touches. That is, when the number of times the fat tissue is touched is equal to or greater than the predetermined number, an animation for removing the fat tissue is performed.
  • this is just one embodiment, and at least one or more other types of motions for performing such animations may be stored in addition to touches, and thresholds for each of the motions may also be set.
  • the apparatus 100 for providing an operating environment shown in FIG. 2 corresponds to only one embodiment, and may include fewer or more components.
  • the surgical environment providing device 100 may be configured without the display module 150. In this case, it may be connected to a separate display device so that various data and/or information may be displayed through the display device. there is.
  • an input module (not shown) for receiving (receiving) a user input from a user may be further configured.
  • FIG. 3 is a flowchart illustrating specific operations performed when a simulation is performed based on a specific patient-customized virtual model according to an embodiment of the present invention.
  • the apparatus 100 for providing an operating environment acquires at least one medical image or surgical image for a specific surgery, and information (name) on organs, blood vessels, and mutations appearing in each medical image or surgical image. are listed, and the listed information is tagged with images so that each machine learning model can perform machine learning. Accordingly, the user can check a list of blood vessels labeled with information about organs, blood vessels, blood vessel mutations, and the like, and can further check images tagged with names.
  • the surgical environment providing apparatus 100 performs modeling for each object so as to recognize at least one medical image for a specific surgery or various objects included in the surgical image.
  • the objects recognized in the surgical image include a human body, an object introduced from the outside, and an object created by itself.
  • Objects introduced from the outside include, for example, surgical equipment (apparatus), gauze, and surgical tools such as clips. Since it has predetermined morphological characteristics, the computer may recognize it in real time through image analysis during surgery.
  • Objects created inside include, for example, bleeding occurring in body parts. This can be recognized in real time by a computer through image analysis during surgery.
  • the apparatus 100 for providing an operating environment identifies at least one operation based on at least one medical image or surgical image for a specific operation and what stage of a certain operation is performed based on a surgical tool used for the operation. Also, based on cross-modal retrieval, it is possible to detect an image in which a similar vascular mutation has been operated among pre-stored surgical images.
  • the apparatus 100 for providing an operating environment provides a patient-customized virtual model considering the variation of at least one of organs and blood vessels to the user so that the user can experience surgery through simulation, and furthermore, surgery similar to the variation during the simulation.
  • the user can use it as a reference to perform a simulation.
  • FIG. 4 is a flowchart illustrating a method for providing a virtual reality-based surgical environment for each surgical situation according to an embodiment of the present invention.
  • the apparatus 100 for providing an operating environment acquires a medical image of a subject for surgery (S210), and uses a first machine learning model for at least one of organs and blood vessels based on the obtained medical image.
  • a simulation environment is established by creating and storing at least one patient-customized virtual model in consideration of variation (S220).
  • the surgical environment providing apparatus 100 detects an operation performed by the user, similar to the processing of internal physical properties of the body.
  • a virtual surgery image including changes inside the body according to the detected motion is output by using the designed physics engine (S230).
  • the surgical environment providing device 100 recommends an image in which a similar mutation was operated on based on a cross-modal retrieval using a second machine learning model through the type, stage, operation, etc. of the corresponding operation. It may be selected as an image, outputted, and provided (S240).
  • the virtual surgery image output in step S230 and the recommended surgery image output in step S240 may be simultaneously divided and displayed on one display screen, or either one may be displayed according to the user's selection. Also, when a user's manipulation motion is detected, a portion of the corresponding image may be enlarged or reduced and displayed based on the detected manipulation motion.
  • step S240 is not an operation that must be performed, and the operation may be omitted when there is no recommended surgery image or when the recommended surgery image is set not to be output.
  • FIG. 5 is a flowchart illustrating a specific operation performed when performing a simulation based on a specific patient-customized virtual model according to an embodiment of the present invention, which embodies step S230 of FIG. 4 .
  • the surgical environment providing apparatus 100 checks the type of surgery of the subject (S231), and defines a surgical step corresponding to the identified type of surgery (S233).
  • the surgical environment providing apparatus 100 selects a specific patient-customized virtual model corresponding to the surgical stage defined by step S233 from among at least one patient-customized virtual model based on the built simulation environment (S235), Adipose tissue is additionally modeled around at least one or more objects (3D objects such as 3D organs and blood vessels) in the virtual model customized for the specific patient (S237).
  • objects such as 3D organs and blood vessels
  • FIG. 6 is a flowchart illustrating a specific operation performed when defining a surgical step according to an embodiment of the present invention, in which step S233 of FIG. 5 is embodied.
  • the surgical environment providing apparatus 100 checks the surgical procedure mapped to the surgical type identified in step S231 based on the surgical information pre-stored in the storage module 130 (S2331), and confirms the confirmed surgical procedure. From all surgical steps included in the surgical procedure, only pre-set essential surgical steps are checked (S2333).
  • the surgical environment providing apparatus 100 defines only the essential surgical steps confirmed by step S2333 as surgical steps for performing the simulation (S2335).
  • FIG. 7 is a flowchart illustrating a method of learning a first machine learning model to recognize a variance of at least one of an organ and a blood vessel based on an image according to an embodiment of the present invention.
  • the apparatus 100 for providing an operating environment acquires at least one medical image (surgical image) for each of a plurality of patients related to a specific surgery (S310), and organs, blood vessels, and mutations appearing in each medical image. Information (name) on at least one of them is listed up (S320).
  • the surgical environment providing apparatus 100 uses the information listed in step S320 to define and tag at least one of organs and blood vessels having variations based on each medical image as a label (S330), Machine learning is performed by inputting each tagged medical image to a first machine learning model (S340).
  • FIG. 8 is a flowchart illustrating a method of learning a second machine learning model for recognizing a surgical step based on an image according to an embodiment of the present invention.
  • the apparatus 100 for providing an operating environment acquires at least one actual surgical image including at least one object (S410), and surgical operations or surgical steps for each of the obtained at least one actual surgical image.
  • Check (S420).
  • the at least one object may include at least one of a surgical tool, a body organ, and bleeding.
  • the apparatus 100 for providing an operating environment defines and tags the identified surgical operation or surgical step as a label based on each actual surgical image (S430), and then displays each actual surgical image after the tagging is completed.
  • Machine learning is performed by inputting the data to the second machine learning model (S440).
  • 9 to 14 are the user displayed on the display module 150 of the surgical environment providing device 100 when performing a simulation of cholecystectomy through a simulation environment built according to an embodiment of the present invention. It is a diagram showing an example of an interface.
  • the cholecystectomy operation steps are the preparation step in FIG. 9, the Calot triangle dissection step in FIG. 10, the clipping and cutting step in FIG. 11, the Gallbladder dissection step in FIG. 12, the Gallbladder packaging step in FIG. 13, and the Cleaning and coagulation step in FIG. 14. can proceed sequentially.
  • FIGS. 9 to 14 are simplified to only the essential surgical steps for cholecystectomy, and are only one embodiment, and may differ according to surgical information pre-stored in the surgical environment providing device 100, and are limited thereto. I never do that.
  • a specific patient-customized virtual model among at least one patient-customized virtual model generated for the surgical target based on the user input select a model
  • adipose tissue is additionally modeled around the identified at least one object.
  • the adipose tissue may be displayed with properties similar to those of jelly.
  • a user's motion is detected, and if the detected motion is a touch motion to the fat tissue a predetermined number of times (eg, 3 times) or more, an animation for removing the fat tissue is performed. .
  • a clip object is attached to the bile duct/vessel in a state where the adipose tissue is removed, and cutting properties are imparted to the bile duct/vessel.
  • a user's motion is detected, and if the detected motion is a touch motion to the left and right adipose tissue between the gallbladder and liver a preset number of times or more, an animation for removing the adipose tissue is performed.
  • a user's motion is detected, and if the detected motion is a touch motion to the gallbladder that exceeds a preset number of times, an animation for removing the gallbladder is performed.
  • a deep neural network means a system or network that builds one or more layers in one or more computers and performs a decision based on a plurality of data.
  • a deep neural network can be implemented with a set of layers including a convolutional pooling layer, a locallyconnected layer, and a fully-connected layer.
  • a convolutional pooling layer or a local access layer may be configured to extract features within an image.
  • the fully connected layer may determine a correlation between features of an image.
  • the overall structure of the deep neural network may be formed in a form in which a local access layer is followed by a convolutional pooling layer, and a fully connected layer is followed by a local access layer.
  • the deep neural network may include various criterion (ie, parameter), and may add a new criterion (ie, parameter) through an input image analysis.
  • the deep neural network is a structure called a convolutional neural network suitable for image analysis, and has a feature extraction layer that learns a feature with the greatest discriminative power from given image data by itself. ) and a prediction layer that learns a prediction model to produce the highest prediction performance based on the extracted features.
  • the feature extraction layer is a convolution layer that creates a feature map by applying multiple filters to each region of the image and spatially integrates the feature map to obtain features that are invariant to changes in position or rotation. It may be formed in a structure in which a pooling layer that enables extraction is alternately repeated several times. Through this, features of various levels can be extracted, ranging from low-level features such as points, lines, and planes to complex and meaningful high-level features.
  • the convolutional layer obtains a feature map by taking a nonlinear activation function on the dot product of the filter and the local receptive field for each patch of the input image, compared to other network structures. Therefore, CNN is characterized by using filters with sparse connectivity and shared weights. This connection structure reduces the number of parameters to be learned and makes learning through the backpropagation algorithm efficient, resulting in improved prediction performance.
  • the integration layer creates a new feature map by utilizing local information of the feature map obtained from the previous convolutional layer.
  • the feature map newly created by the integration layer is reduced to a smaller size than the original feature map.
  • Representative integration methods include Max Pooling, which selects the maximum value of the corresponding area in the feature map, and corresponding corresponding area in the feature map.
  • the feature map of the integrated layer may be less affected by the position of an arbitrary structure or pattern existing in the input image than the feature map of the previous layer.
  • the integrated layer can extract features that are more robust to regional changes such as noise or distortion in the input image or previous feature map, and these features can play an important role in classification performance.
  • Another role of the integration layer is to reflect the features of a wider area as the higher learning layer goes up in the deep structure. Features reflecting increasingly more abstract features of the entire image can be created.
  • classification models such as multi-layer perception (MLP) or support vector machine (SVM).
  • MLP multi-layer perception
  • SVM support vector machine
  • -connected Layer can be used for classification model learning and prediction.
  • the structure of the deep neural network according to the embodiments of the present invention is not limited thereto, and may be formed as a neural network of various structures.
  • the above-described program in order for the computer to read the program and execute the methods implemented in the program, C, C++, JAVA, C, C++, JAVA, It may include a code coded in a computer language such as machine language. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is.
  • the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
  • the storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device.
  • examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer.
  • the medium may be distributed to computer systems connected through a network, and computer readable codes may be stored in a distributed manner.
  • Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법에 관한 것으로, 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 생성 및 제공함으로써, 사용자(의료진)가 실제 수술과 유사한 환경에서 그 가상 모델을 기반으로 시뮬레이션 해볼 수 있도록 하여 숙련도가 높지 않은 사용자의 경우에도 실제 수술 중에 발생할 수 있는 실수를 발생시키지 않도록 하거나 유연하게 대처할 수 있도록 한다.

Description

수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법
본 발명은 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법에 대한 것으로, 보다 구체적으로 혈관 변이를 고려한 환자 맞춤형 가상 모델을 제공하기 위한 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법에 관한 것이다.
최근 들어 병원에서 수술하는 경우, 바로 수술을 진행하지 않고, 수술 전 환자의 조건을 3D 시뮬레이션(입체영상)으로 만든 뒤 실제 수술과 동일한 조건 하에 가상으로 수술을 시행할 수 있다.
보다 상세하게는, 가상현실을 기반 수술환경을 제공하여 가상 모의 수술을 수행하도록 하는 경우, 정밀한 진단을 사전에 세울 수 있다. 그러므로, 전문의의 감에 의존하는 것이 아니라 가상 모의 수술을 통해 계획을 세우고, 아주 작은 오차까지도 줄여 나갈 수 있다.
위와 같은 가상 모의 수술이 가져오는 놀라운 효과는 수술의 정확성이 향상되고, 실제 수술상황을 예측 가능하며, 환자 개인에게 적합한 수술 방법이 제공되어 시간을 단축할 수 있다는 것이다.
그러나, 수술은 다양한 종류가 존재하고, 변수 또는 환경에 따라 다양하게 이뤄지게 되는데, 특히, 수술에서의 혈관 변이는 수술의 난이도를 매우 어렵게 한다.
따라서, 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 혈관 변이를 고려한 환자 맞춤형 가상 모델을 생성하여 제공할 수 있도록 하는 기술이 개발될 필요가 있다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 생성 및 제공함으로써, 사용자(의료진)가 실제 수술과 유사한 환경에서 그 가상 모델을 기반으로 시뮬레이션 해볼 수 있도록 하여 숙련도가 높지 않은 사용자의 경우에도 실제 수술 중에 발생할 수 있는 실수를 발생시키지 않도록 하거나 유연하게 대처할 수 있도록 하는 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치는, 통신모듈; 적어도 하나의 수술 영상을 표시하는 디스플레이모듈-상기 수술 영상은, 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함함-; 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 적어도 하나의 프로세스를 기반으로 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하고, 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하고, 상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법은, 수술 대상자의 의료 영상을 획득하는 단계; 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하는 단계; 및 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하여 제공하는 단계를 포함하고, 상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것일 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 본 발명은 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 생성 및 제공함으로써, 사용자(의료진)가 실제 수술과 유사한 환경에서 그 가상 모델을 기반으로 시뮬레이션 해볼 수 있도록 하여 숙련도가 높지 않은 사용자의 경우에도 실제 수술 중에 발생할 수 있는 실수를 발생시키지 않도록 하거나 유연하게 대처할 수 있도록 한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 혈관 변이를 갖는 혈관의 형태에 대한 예시들을 인구통계학적 분포에 따라 대략적으로 도시한 도면
도 2는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치의 구성을 나타내는 블록도
도 3은 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경을 제공하기 위한 각 절차를 개략적으로 도시한 도면
도 4는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법을 나타내는 순서도
도 5는 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도
도 6은 본 발명의 일 실시예에 따라 수술 단계를 정의 시에 수행하는 구체적인 동작을나타내는 순서도
도 7은 본 발명의 일 실시예에 따라 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 인식하기 위하여 제1 머신러닝 모델을 학습하는 방법을 나타내는 순서도
도 8은 본 발명의 일 실시예에 따라 영상을 기반으로 수술 단계를 인식하기 위한 제2 머신러닝 모델을 학습하는 방법을 나타내는 순서도
도 9 내지 도 14는 본 발명의 일 실시예에 따라 구축된 시뮬레이션 환경을 통해 담낭 절제술(Cholecystectomy)에 대한 시뮬레이션을 수행할 시에 수술환경 제공 장치의 디스플레이 모듈에 표시되는 사용자 인터페이스의 일 예시를 나타내는 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있
어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multidimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.
본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의
일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.
본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography, CT)영상, 자기공명영상(Magnetic Resonance Imaging, MRI), 양전자 단층촬영(Positron Emission Tomography, PET) 영상 등을 포함할 수 있다.
본 명세서에서 "가상 모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상 모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.
본 명세서에서 "가상수술데이터"는 가상 모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상 모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상 모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다. 또한, "가상수술데이터"는 수술학습모델을 학습시키기 위한 학습데이터를 포함할 수도 있다.
본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.
본 명세서에서 수술단계(phase)는 특정한 수술유형의 전체 수술에서 순차적으로 수행되는 기본단계를 의미한다.
본 명세서에서 시뮬레이션이란, 신체부위가 3D로 모델링된 3D 모델링데이터를 기반으로 하여 수술도구 등의 움직임을 확인할 수 있도록 3D 상에서 시뮬레이션하는 프로그램이다. 이 시뮬레이션은 수술도구의 단순 움직임뿐만 아니라, 해당 3D 모델링데이터에 의해 생성된 가상 모델에 수술 행위를 가상으로 진행되는 상황을 시뮬레이션하는 것이다. 본 명세서에서 시뮬레이션은 매니퓰레이터와 연결되어 활용될 수도 있고, 또는 단독 프로그램으로 활용되어 다른 가상의 수술도구를 사용할 수도 있다.
매니퓰레이터는, 상술한 바와 같이 사용자의 손을 이용하여 실제 수술 로봇의 암(arm)에 신호를 전송하여 로봇의 암을 제어하는 것인데, 매니퓰레이터작동데이터는, 시뮬레이션 상에서 사용자가 매니퓰레이터를 동작함으로써 획득한 가상팔동작데이터 및 가상영상데이터이다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 다양한 혈관 변이를 갖는 혈관의 형태에 대한 예시들을 인구통계학적 분포에 따라 대략적으로 도시한 도면으로서, 위암 수술을 예시로 한 경우를 나타낸 것이다.
도 1에 도시된 바와 같이, 혈관 변이는 환자에 따라 다양한 형태로 나타날 수 있다.
비록, 도 1에는 혈관 변이(변형)에 대한 예시 상황들만을 도시하였으나, 혈관뿐만 아니라 장기 변이(변형) 또한 수술의 난이도를 매우 어렵게 한다.
현재의 시뮬레이터는 장기 및/또는 혈관에 대한 변이를 고려하지 못하고 있어, 시뮬레이터를 기반으로 수술 전에 시뮬레이션을 수행한다 하더라도 실제 환자(수술 대상자)의 장기 및/또는 혈관에 대한 변이 여부 및/또는 정도에 따라 수술의 난이도가 높아져 안정적인 수술이 불가할 수 있다.
따라서, 본 발명은 이러한 다양한 상황들에 맞게 해당 환자에게 적합한 환자 맞춤형 가상 모델을 적어도 하나 이상 생성하여 저장함으로써, 시뮬레이션 환경을 구축함으로써, 이를 통해 수술상황 별 가상현실 기반 수술환경을 제공하여 수술 전에 시뮬레이션을 실행해볼 수 있도록 하고자 한다.
도 2는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 가상현실 기반 수술환경 제공 장치(이하, '수술환경 제공 장치'라 칭함)(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(170)을 포함하여 구성될 수 있다.
통신모듈(110)은 적어도 하나의 의료 장치, 적어도 하나의 의료진 단말, 관리 서버 등과 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 수술환경 제공 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 통해 수술환경 제공 장치(100)와 각각의 서로 다른 장치, 장비, 단말 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
저장모듈(130)은 수술환경 제공 장치(100)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장한다. 수술환경 제공 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 수술환경 제공 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 제어모듈(170)에 저장되고, 수술환경 제공 장치(100) 상에 설치되어, 제어모듈(170)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
구체적으로, 저장모듈(130)에는 적어도 하나의 의료 장치, 적어도 하나의 의료진 단말, 관리 서버에 대한 정보가 등록 및 저장될 뿐만 아니라, 적어도 하나의 환자에 대한 수술데이터, 의료 영상, 수술 영상(실제 수술 영상, 가상 수술 영상 등), 수술 정보(적어도 하나의 수술 종류 각각에 대한 수술 단계에 대한 정보를 포함함) 및 가상 모델, 그리고 가상현실 기반 수술환경을 제공하기 위해 필요한 적어도 하나의 머신러닝 모델 및 적어도 하나의 프로세스를 저장한다.
여기서, 적어도 하나의 머신러닝 모델으로서 제1 머신러닝 모델 및 제2 머신러닝 모델을 포함하고, 물리 엔진(Physics Engine)을 더 포함할 수 있다. 예를 들어, 제1 머신러닝 모델은 복수의 환자 각각에 대한 의료 영상을 복수개 획득하고, 그 획득된 복수개의 의료 영상을 기반으로 변이을 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 기계 학습한 모델일 수 있다. 이때, 복수의 환자 각각에 대한 의료 영상은 장기 및 혈관 중 적어도 하나에 대한 변이를 갖는 환자의 의료 영상은 물론, 장기 및 혈관 중 적어도 하나에 대한 변이를 갖지 않는 환자의 의료 영상까지 포함할 수 있다. 또한, 제2 머신러닝 모델은, 수술 도구, 신체 장기 및 출혈 중 적어도 하나의 객체를 포함하는 복수개의 실제 수술 영상을 획득하고, 그 획득된 복수개의 실제 수술 영상을 기반으로 적어도 하나 이상의 수술 동작 또는 단계를 레이블로 정의하여 기계 학습한 모델일 수 있다. 이를 위해, 저장모듈(130)은 제1 머신러닝 모델 및 제2 머신러닝 모델 각각을 기계 학습하기 위해 레이블링을 수행한 학습 데이터 셋이 저장될 수 있다. 한편, 물리 엔진은 신체 내부 물성 처리와 유사하게 설계된 것일 수 있다.
이 물리 엔진은 질량, 속도, 마찰 등의 수치를 이용하여 자연계의 물리 현상을 컴퓨터상에서 시뮬레이션 해주는 소프트웨어 라이브러리이다. CPU 연산 능력에는 한계가 있기 때문에 모든 물리 현상을 그대로 구현하는 것은 어렵지만 매니퓰레이터 및/또는 로봇의 암과 같은 다양한 강체(rigid body)에 가해지는 힘과 운동 상태를 뉴턴 역학(Newtonian mechanics)에 적용하면 실제 환경과 유사한 정역학, 동역학적 특성을 주어진 시간 안에 계산해 낼 수 있다. 이러한 물리 엔진은 최근 3D 게임 열풍과 함께 많은 연구가 진전되어 강체의 역학뿐만 아니라 파티클(particle), 유체(fluid) 및 변형 물체(deformable body)의 동역학적 특성도 실시간으로 계산이 가능하다. 뿐만 아니라, 충돌 검출 기능을 가지고 있어 다른 강체와의 접촉을 쉽게 파악할 수 있다. 물리 엔진은 논리적으로만 공간을 구성하기 때문에 물리 엔진이 연산한 움직임을 화면에 그려주는 작업은 흔히 그래픽 엔진이라 부르는 랜더링 엔진이 수행한다.
이로써, 본 발명의 일 실시예를 기반으로 시뮬레이션 상에서 사용자가 매니퓰레이터를 동작하면 이 매니퓰레이터에 적용된 물리 엔진을 통해 그 동작에 따른 신체 내부 변화를 포함하는 가상 수술 영상을 출력할 수 있게 되는 것이다.
또한, 저장모듈(130)에 저장되는 각 정보들은 필요에 따라 각각의 시간정보와 함께 저장될 수 있다.
이를 위해, 저장모듈(130)은 메모리를 포함할 수 있으며, 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.
디스플레이모듈(150)은 적어도 하나의 수술 영상을 표시한다. 이때, 수술 영상은 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함할 수 있으며, 수술데이터, 실제 수술 영상 등 그 외 다른 데이터 및/또는 정보들을 필요에 따라 표시할 수 있다. 또한, 한 번에 여러 개의 데이터 및/또는 정보들을 동시에 표시할 수도 있다.
제어모듈(170)은 수술환경 제공 장치(100) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 저장모듈(130)에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행하며, 간호정보 관리를 위한 플랫폼을 이용하는 각 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
구체적으로, 제어모듈(170)은 수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 그 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축한다.
또한, 제어모듈(170)은 사용자가 그 구축된 시뮬레이션 환경에서 적어도 하나 이상의 환자 맞춤형 가상 모델 중 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 을 이용하여 그 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 가상 수술 영상을 출력한다.
한편, 제어모듈(170)은 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션 수행 시에, 그 수술 대상자의 수술 종류를 확인하고, 그 확인된 수술 종류에 대응하는 수술 단계를 정의한다. 이후, 제어모듈(170)은 적어도 하나 이상의 환자 맞춤형 가상 모델 중 그 정의된 수술 단계에 대응하는 환자 맞춤형 가상 모델을 특정 환자 맞춤형 가상 모델로 선정하고, 그 특정 환자 맞춤형 가상 모델 내 적어도 하나의 객체(3차원 오브젝트) 주변에 지방 조직을 추가 모델링하도록 한다. 여기서, 적어도 하나의 객체는 장기 및 혈관 중 적어도 하나일 수 있다.
또한, 제어모듈(170)은 그 정의된 수술 단계를 정의 시에, 저장모듈(130)에 기 저장된 수술정보를 기반으로 앞서 확인된 수술 종류에 맵핑된 수술과정을 확인하고, 그 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 특정하여 수술 단계로서 정의할 수 있다.
즉, 제어모듈(170)은 해당 수술의 전체 과정을 필수 수술 단계로 단순화하고, 그 수술 단계에 따른 시나리오를 기반으로 특정 환자 맞춤형 가상 모델에 대한 최적화된 추가 모델링을 수행하고, 그 추가 모델링이 수행 완료된 특정 환자 맞춤형 가상 모델을 통해 시뮬레이션을 수행하도록 한다.
여기서, 적어도 하나 이상의 환자 맞춤형 가상 모델은 3차원 모델링을 통해 신체 부위를 3차원으로 형상화한 데이터로서, 장기 및 혈관 중 적어도 하나에 대한 변이가 각각 고려된 것일 수 있다. 즉, 하나의 환자 맞춤형 가상 모델에 적어도 하나의 장기 변이만이 고려되거나, 적어도 하나의 혈관 변이만이 고려될 수도 있음은 물론, 장기 및 혈관 변이가 복합적으로 고려될 수도 있다. 이때, 고려되는 변이의 대상, 위치, 개수 등에 따라 그 난이도가 설정될 수도 있다. 다시 말해, 적어도 하나 이상의 환자 맞춤형 가상 모델 각각은 적어도 하나에 대한 변이의 정도에 따라 난이도가 설정될 수 있다.
이 경우, 제어모듈(170)은 시뮬레이션 수행하고자 하는 사용자가 사용자 단말 또는 수술환경 제공 장치(100)에 구비된 입력모듈(미도시)을 통해 사용자 입력(또는 입력정보)이 입력(선택, 수신)되면, 적어도 하나 이상의 환자 맞춤형 가상 모델 중 특정 환자 맞춤형 가상 모델을 선정 시에, 그 사용자 입력에 따라 설정된 난이도를 더 고려하도록 할 수 있다. 이때, 사용자 입력은 수술 대상자의 환자정보(인적사항 정보, 의료 정보, 의료 영상 등), 수술 종류 및 난이도 중 적어도 하나를 포함할 수 있다.
그러나, 이는 하나의 실시예일 뿐, 사용자 입력이 입력(선택, 수신)받을 필요없이, 필요에 따라 저장모듈(130) 및/또는 연동(연결)된 외부 장치로부터 기 저장된 적어도 하나의 환자정보 중 그 수술 대상자의 환자정보를 읽어들이거나 수신하여 수술 종류, 난이도 등을 자동으로 설정할 수도 있다.
한편, 제어모듈(170)은 상기 사용자가 상기 생성된 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 추천 수술 영상으로 선정하고, 그 추천 수술 영상을 출력하여 제공한다.
앞서 설명한 제1 머신러닝 모델, 제2 머신러닝 모델 및 물리 엔진은 제어모듈(170)에 의해 미리 구축(설계)되어 저장된 것일 수도 있고, 또는 다른 장치에서 구축된 것을 적용한 것일 수도 있으며, 이를 한정하지 않는다.
한편, 일 예로서, 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 모델링된 지방 조직에 대한 특정 행위가 특정 조건에 상응하는 경우, 제어모듈(170)은 그 지방 조직을 제거 처리하는 애니메이션을 수행할 수 있다. 예를 들어, 특정 행위는 그 지방 조직을 터치하는 행위이고, 특정 조건은 기 설정된 터치 횟수일 수 있다. 즉, 지방 조직을 터치하는 횟수가 기 설정된 횟수 이상인 경우, 그 지방 조직을 제거 처리하는 애니메이션을 수행하는 것이다. 그러나, 이는 하나의 실시예일 뿐, 터치 외에도 이러한 애니메이션을 수행하도록 하는 다른 형태의 동작을 적어도 하나 이상 저장하고, 그 각각의 동작에 대한 임계치 또한 각각 설정될 수 있다.
도 2에 도시된 수술환경 제공 장치(100)는 하나의 실시예에 해당할 뿐, 그 구성요소가 더 적거나 많게 구성될 수 있다. 예를 들어, 수술환경 제공 장치(100)는 디스플레이모듈(150)이 제외되어 구성될 수 있으며, 이 경우 별도의 디스플레이 장치와 연결되어 각종 데이터 및/또는 정보들이 그 디스플레이 장치를 통해 표시되도록 할 수도 있다. 또한, 사용자로부터 사용자 입력을 입력(수신)받기 위한 입력모듈(미도시)이 더 구성될 수도 있다.
도 3은 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도이다.
도 3을 참조하면, 수술환경 제공 장치(100)는 특정 수술에 대한 적어도 하나의 의료 영상 또는 수술 영상을 획득하고, 각 의료 영상 또는 수술 영상에 등장하는 장기, 혈관 및 변이 등에 대한 정보(이름)를 리스트 업하고, 리스트업된 정보를 영상에 태깅하여 각각의 머신러닝 모델이 기계 학습을 수행할 수 있도록 한다. 따라서, 사용자는 장기, 혈관 및 혈관 변이 등에 대한 정보가 라벨링된 혈관의 리스트를 확인할 수 있으며, 나아가 이름이 태그된 영상을 확인할 수 있다.
한편, 수술환경 제공 장치(100)는 특정 수술에 대한 적어도 하나의 의료 영상 또는 수술 영상에 포함된 다양한 객체를 인식할 수 있도록, 각 객체들에 대한 모델링을 수행한다. 이때, 수술 영상에서 인식되는 객체는 크게 인체, 외부에서 유입된 객체 및 자체적으로 생성된 객체를 포함한다.
외부에서 유입된 객체는, 예를 들어 수술 장비(장치), 거즈, 클립 등의 수술 도구들을 포함한다. 이는 기 설정된 형태적 특징을 가지므로, 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수도 있다.
내부에서 생성되는 객체는, 예를 들어 신체부위에서 발생하는 출혈 등을 포함한다. 이는 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수도 있다.
한편, 수술환경 제공 장치(100)는 특정 수술에 대한 적어도 하나의 의료 영상 또는 수술 영상을 기반으로 적어도 하나의 동작과 그 동작에 사용하는 수술 도구 등을 기반으로 어떤한 수술의 어떠한 단계인지를 확인할 수 있으며, 교차 모델 검색(Cross-modal Retrieval)을 기반으로 기 저장된 수술 영상 중 유사한 혈관 변이를 수술한 영상을 검출할 수 있다.
이로써, 수술환경 제공 장치(100)는 사용자에게 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 제공하여 시뮬레이션을 통해 수술을 경험해볼 수 있도록 하고, 나아가 시뮬레이션 시에 그 변이와 유사한 수술 영상을 추천 수술 영상으로 선정하여 제공함으로써 사용자가 이를 참고적으로 활용하여 시뮬레이션을 수행하도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법을 나타내는 순서도이다.
도 4를 참조하면, 수술환경 제공 장치(100)는 수술 대상자의 의료 영상을 획득하고(S210), 제1 머신러닝 모델을 이용하여 그 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축한다(S220).
그 다음으로, 수술환경 제공 장치(100)는 사용자가 앞서 S220 단계에서 생성된 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 그 사용자에 의해 수행되는 동작을 감지하고, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 그 감지된 동작에 따른 신체 내부 변화를 포함하는 가상 수술 영상을 출력한다(S230).
이후, 수술환경 제공 장치(100)는 해당 수술의 종류, 단계, 동작 등을 통해 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 추천 수술 영상으로 선정하고, 이를 출력하여 제공할 수도 있다(S240).
S230 단계에 의해 출력되는 가상 수술 영상 및 S240 단계에 의해 출력되는 추천 수술 영상은 하나의 디스플레이 화면에 동시에 분할되어 표시되거나, 사용자의 선택에 따라 어느 하나만 표시될 수도 있다. 또한, 사용자의 조작 동작이 감지되면, 그 감지된 조작 동작을 기반으로 해당 영상의 일부가 확대 또는 축소되어 표시될 수도 있다.
그러나, S240 단계는 반드시 수행되어야 하는 동작은 아니며, 추천 수술 영상이 없는 경우 또는 추천 수술 영상을 출력하지 않도록 설정된 경우에는 그 동작이 생략될 수 있다.
도 5는 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도로서, 도 4의 S230 단계를 구체화한 것이다.
도 5를 참조하면, 수술환경 제공 장치(100)는 그 수술 대상자의 수술 종류를 확인하고(S231), 그 확인된 수술 종류에 대응하는 수술 단계를 정의한다(S233).
그 다음으로, 수술환경 제공 장치(100)는 구축된 시뮬레이션 환경을 기반으로 적어도 하나의 환자 맞춤형 가상 모델 중 S233 단계에 의해 정의된 수술 단계에 대응하는 특정 환자 맞춤형 가상 모델을 선정하고(S235), 그 특정 환자 맞춤형 가상 모델 내 적어도 하나 이상의 객체(3차원 장기, 혈관 등의 3차원 오브젝트) 주변에 지방 조직을 추가 모델링 한다(S237).
도 6은 본 발명의 일 실시예에 따라 수술 단계를 정의 시에 수행하는 구체적인 동작을 나타내는 순서도로서, 도 5의 S233 단계를 구체화한 것이다.
도 6을 참조하면, 수술환경 제공 장치(100)는 S231 단계에 의해 확인된 수술 종류에 맵핑된 수술 과정을 저장모듈(130)에 기 저장된 수술정보를 기반으로 확인하고(S2331), 그 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 확인한다(S2333).
그 다음으로, 수술환경 제공 장치(100)는 S2333 단계에 의해 확인된 필수 수술 단계만을 그 시뮬레이션을 수행하기 위한 수술 단계로서 정의한다(S2335).
도 7은 본 발명의 일 실시예에 따라 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 인식하기 위하여 제1 머신러닝 모델을 학습하는 방법을 나타내는 순서도이다.
도 7을 참조하면, 수술환경 제공 장치(100)는 특정 수술와 관련한 복수의 환자 각각에 대한 의료 영상(수술 영상)을 적어도 하나 이상 획득하고(S310), 각 의료 영상에 등장하는 장기, 혈관 및 변이 중 적어도 하나에 대한 정보(이름)를 리스트 업한다(S320).
그 다음으로, 수술환경 제공 장치(100)는 S320 단계에 의해 리스트업된 정보를 이용하여 각각의 의료 영상을 기반으로 변이를 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 태깅하고(S330), 그 태깅이 완료된 각각의 의료 영상을 제1 머신러닝 모델에 입력하여 기계 학습을 수행한다(S340).
도 8은 본 발명의 일 실시예에 따라 영상을 기반으로 수술 단계를 인식하기 위한 제2 머신러닝 모델을 학습하는 방법을 나타내는 순서도이다.
도 8을 참조하면, 수술환경 제공 장치(100)는 적어도 하나의 객체를 포함하는 실제 수술 영상을 적어도 하나 이상 획득하고(S410), 획득된 적어도 하나의 실제 수술 영상 각각에 대한 수술 동작 또는 수술 단계를 확인한다(S420). 여기서, 적어도 하나의 객체는 수술 도구, 신체 장기 및 출혈 중 적어도 하나를 포함할 수 있다.
그 다음으로, 수술환경 제공 장치(100)는 각각의 실제 수술 영상을 기반으로 그 확인된 수술 동작 또는 수술 단계를 레이블로 정의하여 태깅한 후(S430), 그 태깅이 완료된 각각의 실제 수술 영상을 제2 머신러닝 모델에 입력하여 기계 학습을 수행한다(S440).
도 9 내지 도 14는 본 발명의 일 실시예에 따라 구축된 시뮬레이션 환경을 통해 담낭 절제술(Cholecystectomy)에 대한 시뮬레이션을 수행할 시에 수술환경 제공 장치(100)의 디스플레이 모듈(150)에 표시되는 사용자 인터페이스의 일 예시를 나타내는 도면이다.
이 담낭 절제술이 수술 단계는 도 9의 Preparation 단계, 도 10의 Calot triangle dissection 단계, 도 11의 Clipping and cutting 단계, 도 12의 Gallbladder dissection 단계, 도 13의 Gallbladder packaging 단계 및 도 14의 Cleaning and coagulation 단계 순으로 진행될 수 있다.
이때, 도 9 내지 도 14에 따른 동작은 담낭 절제술에 대한 필수 수술 단계만으로 단순화한 것으로, 하나의 실시예일 뿐, 수술환경 제공 장치(100)에 기 저장된 수술정보에 따라 상이해질 수 있으며, 이를 한정하지 않는다.
먼저, 사용자가 수술 대상자의 담낭 절제술에 대한 시뮬레이션을 수행하기 위한 사용자 입력이 입력(수신)되었다면, 그 사용자 입력을 기반으로 그 수술 대상자에 대해 생성된 적어도 하나 이상의 환자 맞춤형 가상 모델 중 특정 환자 맞춤형 가상 모델을 선정한다.
도 9의 Preparation 단계에서는 그 특정 환자 맞춤형 가상 모델 내 적어도 하나의 객체를 확인하고, 그 확인된 적어도 하나의 객체 주변에 지방 조직을 추가 모델링한다. 이때, 지방 조직은 젤리와 유사한 물성이 부여되어 표시될 수 있다.
도 10의 Calot triangle dissection 단계에서는 사용자의 동작을 감지하고, 그 감지된 동작이 지방 조직에 대한 기 설정된 횟수(예를 들어, 3회) 이상의 터치 동작이면, 해당 지방 조직을 제거하는 애니메이션을 수행한다.
도 11의 Clipping and cutting 단계에서는 그 지방 조직이 제거된 상태에서 담관/혈관에 대해 클립 객체를 부착하고, 담관/혈관에 대한 컷팅(cutting) 물성을 부여한다.
도 12의 Gallbladder dissection 단계에서는 사용자의 동작을 감지하고, 그 감지된 동작이 담낭과 간 사이의 좌우 지방 조직에 대한 기 설정된 횟수 이상의 터치 동작이면, 해당 지방 조직을 제거하는 애니메이션을 수행한다.
도 13의 Gallbladder packaging 단계에서는 사용자의 동작을 감지하고, 그 감지된 동작이 담낭에 대한 기 설정된 횟수 이상의 터치 동작이면, 담낭을 제거하는 애니메이션을 수행한다.
이로써, 도 14의 Cleaning and coagulation 단계에서는 별도의 작업 없이 수술 절차를 종료하도록 한다.
본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locallyconnected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘벌루션 층은 입력 영상의 각 패치에 대하여 필터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킨다.
통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.
한편, 상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 수술상황 별 가상현실 기반 수술환경 제공 장치에 있어서,
    통신모듈;
    적어도 하나의 수술 영상을 표시하는 디스플레이모듈-상기 수술 영상은, 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함함-;
    상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및
    상기 적어도 하나의 프로세스를 기반으로 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 동작을 수행하는 제어모듈을 포함하며,
    상기 제어모듈은,
    수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축하고, 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하고,
    상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3차원 모델링을 통해 신체 부위를 3차원으로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것임을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  2. 제1항에 있어서,
    상기 제어모듈은,
    상기 사용자가 상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 상기 추천 수술 영상으로 선정하고, 상기 추천 수술 영상을 출력하여 제공하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  3. 제2항에 있어서,
    상기 제1 머신러닝 모델은, 복수의 환자 각각에 대한 의료 영상을 복수개 획득하고, 상기 획득된 복수개의 의료 영상을 기반으로 변이을 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 기계 학습한 모델이고,
    상기 제2 머신러닝 모델은, 수술 도구, 신체 장기 및 출혈 중 적어도 하나의 객체를 포함하는 복수개의 실제 수술 영상을 기반으로 적어도 하나 이상의 수술 동작 또는 단계를 레이블로 정의하여 기계 학습한 모델이며,
    상기 복수의 환자는, 상기 적어도 하나에 대한 변이를 갖는 환자 및 상기 적어도 하나에 대한 변이를 갖지 않는 환자를 포함하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  4. 제1항에 있어서,
    상기 제어모듈은,
    상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 상기 수술 대상자의 수술 종류를 확인하고, 상기 확인된 수술 종류에 대응하는 수술 단계를 정의하고, 상기 적어도 하나의 환자 맞춤형 가상 모델 중 상기 정의된 수술 단계에 대응하는 상기 특정 환자 맞춤형 가상 모델을 선정하고, 상기 특정 환자 맞춤형 가상 모델 내 적어도 하나 이상의 객체 주변에 지방 조직을 추가 모델링하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  5. 제4항에 있어서,
    상기 제어모듈은,
    상기 수술 단계를 정의 시에, 기 저장된 수술정보를 기반으로 상기 확인된 수술 종류에 맵핑된 수술 과정을 확인하고, 상기 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 상기 수술 단계로 정의하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  6. 제1항에 있어서,
    상기 제어모듈은,
    상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 상기 모델링된 지방 조직에 대해 특정 행위가 특정 조건에 상응하는 경우, 상기 특정 지방 조직을 제거 처리하는 애니메이션을 수행하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  7. 제4항에 있어서,
    상기 적어도 하나 이상의 환자 맞춤형 가상 모델 각각은,
    상기 적어도 하나에 대한 변이의 정도에 따라 난이도가 설정되는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  8. 제7항에 있어서,
    상기 제어모듈은,
    상기 특정 환자 맞춤형 가상 모델을 선정 시에, 사용자 입력에 따라 설정된 난이도를 더 고려하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 장치.
  9. 장치에 의해 수행되는, 수술상황 별 가상현실 기반 수술환경 제공 방법에 있어서,
    수술 대상자의 의료 영상을 획득하는 단계;
    제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축하는 단계; 및
    사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하는 단계를 포함하고,
    상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3차원 모델링을 통해 신체 부위를 3차원으로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것임을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
  10. 제9항에 있어서,
    상기 가상 수술 영상을 출력하는 단계는,
    상기 사용자가 상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 상기 추천 수술 영상으로 선정하고, 상기 추천 수술 영상을 출력하여 제공하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
  11. 제10항에 있어서,
    상기 제1 머신러닝 모델은, 복수의 환자 각각에 대한 의료 영상을 복수개 획득하고, 상기 획득된 복수개의 의료 영상을 기반으로 변이을 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 기계 학습한 모델이고,
    상기 제2 머신러닝 모델은, 수술 도구, 신체 장기 및 출혈 중 적어도 하나의 객체를 포함하는 복수개의 실제 수술 영상을 기반으로 적어도 하나 이상의 수술 동작 또는 단계를 레이블로 정의하여 기계 학습한 모델이며,
    상기 복수의 환자는, 상기 적어도 하나에 대한 변이를 갖는 환자 및 상기 적어도 하나에 대한 변이를 갖지 않는 환자를 포함하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
  12. 제9항에 있어서,
    상기 가상 수술 영상을 출력하는 단계는,
    상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 상기 수술 대상자의 수술 종류를 확인하고, 상기 확인된 수술 종류에 대응하는 수술 단계를 정의하고, 상기 적어도 하나의 환자 맞춤형 가상 모델 중 상기 정의된 수술 단계에 대응하는 상기 특정 환자 맞춤형 가상 모델을 선정하고, 상기 특정 환자 맞춤형 가상 모델 내 적어도 하나 이상의 객체 주변에 지방 조직을 추가 모델링하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
  13. 제12항에 있어서,
    상기 가상 수술 영상을 출력하는 단계는,
    상기 수술 단계를 정의 시에, 기 저장된 수술정보를 기반으로 상기 확인된 수술 종류에 맵핑된 수술 과정을 확인하고, 상기 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 상기 수술 단계로 정의하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
  14. 제9항에 있어서,
    상기 가상 수술 영상을 출력하는 단계는,
    상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 상기 모델링된 지방 조직에 대한 특정 행위가 특정 조건에 상응하는 경우, 상기 지방 조직을 제거 처리하는 애니메이션을 수행하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
  15. 제12항에 있어서,
    상기 적어도 하나 이상의 환자 맞춤형 가상 모델 각각은,
    상기 적어도 하나에 대한 변이의 정도에 따라 난이도가 설정되고,
    상기 가상 수술 영상을 출력하는 단계는,
    상기 특정 환자 맞춤형 가상 모델을 선정 시에, 사용자 입력에 따라 설정된 난이도를 더 고려하는 것을 특징으로 하는,
    수술상황 별 가상현실 기반 수술환경 제공 방법.
PCT/KR2023/000545 2022-01-12 2023-01-12 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 WO2023136616A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220004521 2022-01-12
KR10-2022-0004521 2022-01-12
KR10-2023-0004470 2023-01-12
KR1020230004470A KR20230109571A (ko) 2022-01-12 2023-01-12 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023136616A1 true WO2023136616A1 (ko) 2023-07-20

Family

ID=87279405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/000545 WO2023136616A1 (ko) 2022-01-12 2023-01-12 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023136616A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160092425A (ko) * 2015-01-27 2016-08-04 국민대학교산학협력단 가상 수술 시뮬레이션 장치 및 그 동작 방법
US10172676B2 (en) * 2015-05-12 2019-01-08 Siemens Healthcare Gmbh Device and method for the computer-assisted simulation of surgical interventions
US20190325574A1 (en) * 2018-04-20 2019-10-24 Verily Life Sciences Llc Surgical simulator providing labeled data
KR20190133423A (ko) * 2018-05-23 2019-12-03 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램
KR20200011970A (ko) * 2017-06-29 2020-02-04 버브 서지컬 인크. 로봇 수술 시스템에서의 가상 현실 훈련, 시뮬레이션, 및 공동작업
KR20210115223A (ko) * 2020-03-12 2021-09-27 숭실대학교산학협력단 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160092425A (ko) * 2015-01-27 2016-08-04 국민대학교산학협력단 가상 수술 시뮬레이션 장치 및 그 동작 방법
US10172676B2 (en) * 2015-05-12 2019-01-08 Siemens Healthcare Gmbh Device and method for the computer-assisted simulation of surgical interventions
KR20200011970A (ko) * 2017-06-29 2020-02-04 버브 서지컬 인크. 로봇 수술 시스템에서의 가상 현실 훈련, 시뮬레이션, 및 공동작업
US20190325574A1 (en) * 2018-04-20 2019-10-24 Verily Life Sciences Llc Surgical simulator providing labeled data
KR20190133423A (ko) * 2018-05-23 2019-12-03 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램
KR20210115223A (ko) * 2020-03-12 2021-09-27 숭실대학교산학협력단 인공지능 기술을 이용한 혈관 구조 추출 방법, 이를 수행하기 위한 기록 매체 및 장치

Similar Documents

Publication Publication Date Title
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
KR102298412B1 (ko) 수술영상데이터 학습시스템
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
Savage Better medicine through machine learning
KR101955919B1 (ko) 딥러닝 기반의 영상데이터 내 관심영역 설정방법 및 프로그램
CN104271066A (zh) 具有不用手的控制的混合图像/场景再现器
Catalano et al. Semantics and 3D media: Current issues and perspectives
CN107209789A (zh) 模拟系统、对应的装置、方法和程序
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
CN115994902A (zh) 医学图像分析方法、电子设备及存储介质
CN113707309A (zh) 基于机器学习的疾病预测方法及装置
KR102628324B1 (ko) 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법
CN106078743B (zh) 智能机器人，应用于智能机器人的操作系统及应用商店
WO2023136616A1 (ko) 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법
WO2023008699A1 (ko) 환자에 대한 해석가능한 예측 결과를 생성하는 방법 및 시스템
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
CN116977506A (zh) 模型动作重定向的方法、装置、电子设备及存储介质
CN115981511A (zh) 医疗信息处理方法及终端设备
KR20230109571A (ko) 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
CN114927229A (zh) 手术仿真方法、装置、电子设备及存储介质
Ivaschenko et al. Focused visualization in interactive applications for surgery training
Weng et al. Electronic medical record system based on augmented reality
KR20210120490A (ko) 딥러닝 기반의 의료용 ai 모델 개발 플랫폼
WO2023132392A1 (ko) 입자 기반의 시뮬레이션을 통해 경동맥에서의 혈류 특성을 분석하는 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23740460

Country of ref document: EP

Kind code of ref document: A1