WO2019164272A1 - 수술영상 제공 방법 및 장치 - Google Patents

수술영상 제공 방법 및 장치 Download PDF

Info

Publication number
WO2019164272A1
WO2019164272A1 PCT/KR2019/002090 KR2019002090W WO2019164272A1 WO 2019164272 A1 WO2019164272 A1 WO 2019164272A1 KR 2019002090 W KR2019002090 W KR 2019002090W WO 2019164272 A1 WO2019164272 A1 WO 2019164272A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
image
actual
region
surgery
Prior art date
Application number
PCT/KR2019/002090
Other languages
English (en)
French (fr)
Inventor
이종혁
형우진
양훈모
김호승
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180131478A external-priority patent/KR102013837B1/ko
Application filed by (주)휴톰 filed Critical (주)휴톰
Publication of WO2019164272A1 publication Critical patent/WO2019164272A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to a method and apparatus for providing a surgical image.
  • Laparoscopic surgery refers to surgery performed by medical staff to see and touch the part to be treated.
  • Minimally invasive surgery is also known as keyhole surgery, and laparoscopic surgery and robotic surgery are typical.
  • laparoscopic surgery a small hole is made in a necessary part without opening, and a laparoscopic with a special camera is attached and a surgical tool is inserted into the body and observed through a video monitor.
  • Microsurgery is performed using a laser or a special instrument.
  • robot surgery is to perform minimally invasive surgery using a surgical robot.
  • radiation surgery refers to surgical treatment with radiation or laser light outside the body.
  • the surgical image is obtained during the actual surgery and the surgery is performed based on this. Therefore, it is important to more accurately identify and display the objects in the surgical image obtained during the actual surgery. In addition, it is important to provide a surgical site and various information related thereto through the surgical image obtained during the actual operation.
  • the problem to be solved by the present invention is to provide a surgical image providing method and apparatus.
  • the problem to be solved by the present invention is to provide a method and apparatus for accurately providing a surgical state currently performed through the actual surgical image.
  • a method for providing a surgical image performed by a computer may include obtaining an actual surgical image of a current point of view including an arm of a surgical tool, the surgical tool from the actual surgical image of the current point of time. Determining whether an internal region of the body covered by the cancer exists, and obtaining an actual surgical image earlier than the current time point, and extracting a corresponding region corresponding to the internal internal area from the actual surgical image of the previous time point. And restoring the internal body region by removing an arm of the surgical tool from the actual surgical image of the current time point based on the extracted corresponding region.
  • Surgical image providing method performed by a computer according to an embodiment of the present invention, the step of obtaining a real surgery image for the operation subject, obtaining a virtual surgery image of the surgery subject corresponding to the actual surgery image, and And providing a peripheral region of the surgical region in the actual surgical image based on the virtual surgical image.
  • a surgical image of a wide field of view may be provided even as in the actual surgery, as obtained during the virtual surgery using the virtual body model.
  • an extended surgical field can be provided by providing a portion of an image which is not secured due to the field of view of the camera through a virtual surgical image using a virtual body model during actual surgery.
  • the present invention it is possible to perform the operation more accurately and effectively to the medical staff performing the actual operation by acquiring the change in the movement of the surgical tool and the surgical site in real time as in the actual operation and displayed on the surgical image .
  • FIG. 1 is a schematic diagram of a system capable of performing robot surgery according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a surgical image.
  • FIG. 3 is a diagram illustrating an example of a virtual surgery image acquired during a virtual surgery using a virtual body model.
  • FIG. 4 is a flowchart schematically illustrating a method for providing a surgical image according to an exemplary embodiment of the present invention.
  • FIG. 5 is a view schematically showing the configuration of an apparatus 400 for performing a method for providing a surgical image according to an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of a system capable of performing robot surgery according to an embodiment of the present invention.
  • FIG. 7 is a flowchart schematically illustrating a method for providing a surgical image according to an exemplary embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example in which a peripheral region is added and displayed on an actual surgical image according to an exemplary embodiment of the present invention.
  • FIG. 10 is a view schematically showing the configuration of an apparatus 400 for performing a method for providing a surgical image according to an embodiment of the present invention.
  • a “part” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “part” or “module” plays certain roles. However, “part” or “module” is not meant to be limited to software or hardware.
  • the “unit” or “module” may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • a “part” or “module” may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and “parts” or “modules” may be combined into smaller numbers of components and “parts” or “modules” or into additional components and “parts” or “modules”. Can be further separated.
  • FIGS. 1 to 5 a method and apparatus for providing a surgical image according to an exemplary embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5.
  • a computer includes all the various devices capable of performing arithmetic processing to provide a result to a user.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous The mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • a head mounted display (HMD) device includes a computing function
  • the HMD device may be a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • FIG. 1 is a schematic diagram of a system capable of performing robot surgery according to an embodiment of the present invention.
  • the robotic surgical system includes a medical imaging apparatus 10, a server 100, a control unit 30 provided in an operating room, a display 32, and a surgical robot 34.
  • the medical imaging apparatus 10 may be omitted in the robot surgery system according to the disclosed embodiment.
  • surgical robot 34 includes imaging device 36 and surgical instrument 38.
  • the robot surgery is performed by the user controlling the surgical robot 34 using the control unit 30. In one embodiment, the robot surgery may be automatically performed by the controller 30 without the user's control.
  • the server 100 is a computing device including at least one processor and a communication unit.
  • the controller 30 includes a computing device including at least one processor and a communication unit.
  • the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.
  • the imaging device 36 includes at least one image sensor. That is, the imaging device 36 includes at least one camera device and is used to photograph an object, that is, a surgical site. In one embodiment, the imaging device 36 includes at least one camera coupled with a surgical arm of the surgical robot 34.
  • the image photographed by the photographing apparatus 36 is displayed on the display 340.
  • surgical robot 34 includes one or more surgical tools 38 that can perform cutting, clipping, fixing, grabbing operations, and the like, of the surgical site.
  • Surgical tool 38 is used in conjunction with the surgical arm of the surgical robot 34.
  • the controller 30 receives information necessary for surgery from the server 100 or generates information necessary for surgery and provides the information to the user. For example, the controller 30 displays the information necessary for surgery, generated or received, on the display 32.
  • the user performs the robot surgery by controlling the movement of the surgical robot 34 by manipulating the control unit 30 while looking at the display 32.
  • the server 100 generates information necessary for robotic surgery using medical image data of an object previously photographed from the medical image photographing apparatus 10, and provides the generated information to the controller 30.
  • the controller 30 displays the information received from the server 100 on the display 32 to provide the user, or controls the surgical robot 34 by using the information received from the server 100.
  • the means that can be used in the medical imaging apparatus 10 is not limited, for example, other various medical image acquisition means such as CT, X-Ray, PET, MRI may be used.
  • FIG. 2 is a diagram illustrating an example of a surgical image.
  • an actual surgical image 200 photographed by a camera that enters the body of a surgical subject may be acquired.
  • the actual surgery image 200 may include a surgical site 210, a peripheral site 220, and surgical instruments 230, 240, 250.
  • the surgical site 210 refers to an internal region of the body in which surgery is currently being performed, and is an area where a surgical operation is performed by the surgical tools 230, 240, and 250.
  • the peripheral portion 220 refers to an internal body region located around the surgical region 210, and may be, for example, a region connected to an internal body region in which surgery is being performed, or an internal organ of the body.
  • Surgical instruments 230, 240, 250 may be configured to include a distal end (231, 241, 251) and arms (232, 242, 252) connected thereto to be inserted into the body to perform a surgical operation.
  • the distal end portions 231, 241, and 251 are parts that can access the surgical site 210 to perform a surgical operation such as catching, cutting, moving, or suturing a target object. It can be composed of various mechanisms according to the purpose. Arms 232, 242, and 252 are connected to distal ends 231, 241 and 251 to control movement of distal ends 231, 241 and 251.
  • the actual surgical image 200 includes the state of the surgical site 210 is a change occurs by the operation of the distal end (231, 241, 251), through which the deformation state of the current surgical site 210 Understand the process of change.
  • the peripheral portion 220 is a portion that is covered by the arms 232, 242, 252 according to the position of the camera or the position and operation of the surgical instruments (230, 240, 250) occurs.
  • the peripheral portion 220 covered by the cancers 232, 242, and 252 may be a portion connected to the surgical region 210 (for example, an organ such as the stomach and the liver) that is currently undergoing surgery. It may also be a part (eg, blood vessels, tissues, etc.) that may have an impact in connection with 210. In this case, it is not possible to determine the state of the peripheral portion 220 covered by the arms 232, 242, and 252 through the actual surgical image 200.
  • the virtual body model may be 3D modeling data generated based on medical image data (eg, medical images taken through CT, PET, MRI, etc.) that previously photographed the inside of the body of the patient.
  • the model may be modeled in accordance with the body of the surgical subject, and may be corrected to the same state as the actual surgical state.
  • Medical staff can perform rehearsals or simulations using a virtual body model that is implemented in the same way as the physical state of the subject, and can experience the same state as during the actual surgery. In this case, the medical staff may freely perform the surgical operation in the internal space of the patient through the virtual body model.
  • virtual surgery may be performed according to a surgical operation pattern of medical personnel without limitations due to the patient's internal characteristics (eg, organ placement, vascular status, etc.) or the characteristics of surgical instruments.
  • the optimal physical surgery procedure can be derived by considering the internal characteristics of the patient and the characteristics of the surgical instruments based on the results.
  • FIG. 3 is a diagram illustrating an example of a virtual surgery image acquired during a virtual surgery using a virtual body model.
  • medical staff may acquire a virtual surgery image 300 including a surgical site on which a virtual surgery is performed on the virtual body model.
  • the virtual surgery image 300 may include a surgical part 310, a peripheral part 320, and a surgical tool 330, 340, 350.
  • surgery is freely performed without limitations such as organ placement or surgical tools to derive an optimal surgical condition. Accordingly, the virtual surgery is performed while only the distal portions 331, 341, 351 of the surgical instruments 330, 340, 350 are displayed. This is a state change occurs only in the surgical region 310 where the surgical operation is performed by the distal ends 331, 341, 351, and the surgery is performed by the arms 332, 342, 352 of the surgical instruments 330, 340, 350. This is because the region 310 is not affected. Therefore, unlike the actual surgical image 200 of FIG.
  • the virtual surgical image 300 does not show the arms 332, 342, and 352 of the surgical tools 330, 340, and 350, and the distal ends 331, 341, Only 351 is provided and displayed.
  • an area in which the peripheral portion 320 is covered by the arms 332, 342, and 352 does not occur. Accordingly, the operation of the arms 332, 342, and 352, which do not affect the surgical site 310, may be freely performed without consideration, while performing the virtual surgery using the virtual body model. ) Can be secured.
  • the present invention proposes a method that can provide a more accurate internal body state and a wider field of view as in the virtual surgery image 300 obtained during the virtual surgery using the virtual body model even during the actual surgery.
  • Computer performing a surgical image providing method according to an embodiment disclosed herein.
  • Computer may mean the server 100 or the controller 30 of FIG. 1, but is not limited thereto and may be used to encompass a device capable of performing computing processing.
  • the embodiments disclosed below may not be applicable only in connection with the robotic surgery system illustrated in FIG. 1, but may be used in all kinds of embodiments to which minimally invasive surgery such as laparoscopic surgery or endoscope may be applied. have.
  • FIG. 4 is a flowchart schematically illustrating a method for providing a surgical image according to an exemplary embodiment of the present invention.
  • acquiring an actual surgical image of a current time including an arm of a surgical tool (S100) Determining whether there is an internal body region covered by the cancer of the surgical tool in the actual surgical image of the step of obtaining a real surgical image of the previous point of time before the current time (S110), from the actual surgical image of the previous time to the internal body region
  • the method may include extracting a corresponding corresponding region (S120), and restoring an internal body region by removing an arm of the surgical tool from the actual surgical image at the present time based on the extracted corresponding region (S130).
  • the computer may acquire an actual surgical image of the current time including the cancer of the surgical tool (S100).
  • the medical staff may directly perform the actual surgery to the subject, or may perform a minimally invasive surgery using a laparoscopic or endoscope, including the surgical robot as described in FIG.
  • Various information about the surgical operation performed in the actual operation process or the surgical tool used in connection with the surgical operation, the surgical site, etc. can be obtained.
  • the computer may acquire an actual surgical image of the current point of time including the surgical site and the surgical tool that is currently being performed.
  • the actual surgical image of the current time point may include a surgical site where a change occurs due to the surgical operation of the distal end of the surgical tool, and a peripheral site located around the surgical site.
  • the surgical site may be an object such as an organ, a blood vessel, or a tissue in the body
  • the peripheral site may be a part connected with an object of the surgical site, or may be associated with an object of the surgical site or an object different from the surgical site.
  • the actual surgical image of the current point may include the distal end of the surgical tool and cancer. Accordingly, as described above with reference to FIG. 2, an inner region of the body covered by the cancer of the surgical tool may exist in the peripheral portion included in the actual surgical image.
  • the computer may determine whether there is an internal region of the body covered by the cancer of the surgical tool in the actual surgical image of the current point of view, and acquire an actual surgical image of the previous point of time from the current point of view (S110).
  • the computer may continuously acquire the actual surgery image over time when the actual surgery is performed on the subject.
  • the actual surgery image according to time may be a continuous frame in which the camera is photographed while the camera moves along the body space.
  • the computer acquires the actual surgical image (image frame) photographed by the camera at the current point in time at which the actual operation is being performed, and determines whether there is an internal area (peripheral region) hidden by the cancer in the image frame at the present point in time. You can judge. If there is an internal body region covered by the cancer in the image frame of the current time point, the computer may acquire an actual surgical image of the previous time point including the corresponding internal body area (peripheral area).
  • the computer displays the image frame including the peripheral portion covered by the arm in the current frame.
  • An image frame that includes a peripheral area but not an area hidden by the cancer at a previous time may be detected.
  • the computer may extract a corresponding region corresponding to the internal region of the body covered by the cancer of the surgical tool from the actual surgical image of the previous time point (S120).
  • the computer may extract a background image excluding a surgical tool from an actual surgical image of a previous time point, and extract a corresponding region corresponding to an internal region of the body covered by the cancer based on the extracted background image.
  • the computer may restore the internal body region by removing the cancer of the surgical tool from the actual surgical image at the present time based on the extracted corresponding region (S130).
  • the computer may remove the cancer of the surgical tool covering the peripheral portion from the actual surgical image of the current point of view obtained in step S100.
  • the computer may restore the internal body region by synthesizing the corresponding region extracted in step S120 to the region from which the cancer of the surgical tool is removed.
  • the peripheral part in the actual surgical image of the current point of view does not change state or deformation due to the surgical operation of the distal end of the surgical tool, by synthesizing the corresponding region extracted in step S120 to restore the hidden internal body region of the peripheral part Can be.
  • the actual surgery image may be divided into a central area centering on the surgical site where the operation is being performed and a peripheral area (peripheral area) located around the surgical site.
  • the surgical operation is generated by the distal end of the surgical tool in the central region, the direct surgical operation is not performed in the peripheral region.
  • the peripheral part of the actual surgical image of the previous point of view since the surgical operation is performed after moving the camera to the peripheral area, the peripheral part of the actual surgical image of the current point of view is There is no direct action.
  • most of the surgical tools are operating on the surgical site (center area), but some of the surgical tools are working on the peripheral area.
  • some surgical instruments may operate by holding the peripheral portion.
  • the surgical tool may appear in the peripheral portion, but may not be considered because it is disposed outside the central portion. That is, surgical instruments appearing in the peripheral area may not be considered on the actual surgical image.
  • the surgical tool appearing in the peripheral portion may be a distal end for the operation holding the peripheral portion, but as described above simply performing an operation for securing the field of view, the distal end at this time also You can remove it or mark it as semi-transparent or dotted.
  • the peripheral part may not be directly affected by the operation of the distal end of the surgical tool.
  • the position of the peripheral part may be indirectly changed due to the change of the surgical part (center area) due to the distal motion of the surgical tool.
  • the virtual body model can be used to restore the peripheral area where the change occurred and to remove the cancer part of the surgical tool.
  • the computer simulates the virtual surgery for the corresponding region using a virtual body model Next, based on the result, state change or deformation information about the peripheral part may be obtained. Afterwards, the computer may restore the internal body region hidden by the cancer by reflecting the actual surgical image at the present time based on the state change or deformation information about the acquired peripheral region. For example, when a surgical operation such as pulling or cutting a surgical site such as a blood vessel or tissue is performed, a change in state or deformation may occur in a peripheral site connected to the surgical site.
  • the computer may acquire long-term arrangements and changes, and may combine them with previously acquired image frames to generate the actual images.
  • the computer may acquire the actual surgical data as the actual medical staff performs the actual surgery, and may follow the same operation as the actual surgery on the virtual body model based on the obtained actual surgical data.
  • the virtual surgery data including the change information of the internal body objects eg, organs, blood vessel tissue, etc.
  • the computer may extract the change information corresponding to the peripheral portion covered by the cancer from the acquired virtual surgery data and combine it with the cancer portion of the actual surgery image at the present time.
  • the computer first performs a follow-up operation on the virtual body model based on the actual surgical data obtained as the actual medical staff performs the actual surgery, and then uses the virtual surgical data including the change information of the internal body object. Can be obtained.
  • the computer may acquire texture information such as actual color data or texture data of the internal body object included in the virtual surgery data, and reflect the same to the virtual surgery data.
  • the computer may extract an image region corresponding to a peripheral portion covered by the cancer from the virtual surgical data reflecting the texture information, and combine the image region on the actual surgical image at the present time.
  • the texture information such as the actual color data or texture data for the internal body object
  • the texture information may be information obtained during the actual surgery, it is possible to use the actual surgery image obtained in real time according to the actual surgery performed on the subject have.
  • an actual surgical image including information ie, texture information such as color data or texture data
  • a planned surgical image surgical image obtained at a previously performed operation of the subject or another patient may be used.
  • the present invention even in such a case, it is possible to derive the same deformation state as the actual state through the virtual body model, and to reflect it on the actual surgical image, thereby representing a more accurate surgical image.
  • the computer may provide information for guiding the cancer part of the surgical tool in a form such as a dotted line or a translucent shape without completely removing the cancer part of the surgical tool from the actual surgical image at the present time.
  • the guideline information is not provided in the form of a dotted line or translucent, etc.
  • the medical staff thinks that the internal body region restored on the actual surgery image exists and may operate on the region. There is.
  • the medical staff moves the surgical tool to perform the operation on the restored internal body area, the cancer part of the surgical tool is removed and does not appear, and thus the collision of the surgical tool with the removed surgical tool may occur.
  • the collision between the surgical tools can be prevented by guiding the arm portion of the surgical tool in the form of a dotted line or translucent.
  • the computer may receive an input of whether the cancer of the surgical tool is completely removed or expressed in the form of a guide from the user through a user interface and thus provide the actual surgical image.
  • FIG. 5 is a view schematically showing the configuration of an apparatus 400 for performing a method for providing a surgical image according to an embodiment of the present invention.
  • the processor 410 may include a connection passage (eg, a bus or the like) that transmits and receives signals with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • a connection passage eg, a bus or the like
  • the processor 410 executes one or more instructions stored in the memory 420 to perform a method of providing a surgical image described with reference to FIGS. 1 to 4.
  • the processor 410 obtains the actual surgical image of the current point of view including the arm of the surgical tool by executing one or more instructions stored in the memory 420, and the surgical tool on the actual surgical image of the current point of time. It is determined whether there is an internal region of the body covered by the cancer of the patient, obtains the actual surgical image before the current time point, extracts the corresponding region corresponding to the internal body region from the actual surgical image of the previous time point, and extracts the corresponding response. Based on the region, the internal body region can be restored by removing the cancer of the surgical tool from the actual surgical image at the present time.
  • the processor 410 may include random access memory (RAM) and read-only memory (ROM) for temporarily and / or permanently storing a signal (or data) processed in the processor 410. , Not shown) may be further included.
  • the processor 410 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.
  • SoC system on chip
  • the memory 420 may store programs (one or more instructions) for processing and controlling the processor 410. Programs stored in the memory 420 may be divided into a plurality of modules according to their functions.
  • the surgical image providing method according to the exemplary embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium to be executed in combination with a computer which is hardware.
  • a computer includes all the various devices capable of performing arithmetic processing to provide a result to a user.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous The mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • a head mounted display (HMD) device includes a computing function
  • the HMD device may be a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • FIG. 6 is a schematic diagram of a system capable of performing robot surgery according to an embodiment of the present invention.
  • the robotic surgical system includes a medical imaging apparatus 10, a server 100, a control unit 30 provided in an operating room, a display 32, and a surgical robot 34.
  • the medical imaging apparatus 10 may be omitted in the robot surgery system according to the disclosed embodiment.
  • surgical robot 34 includes imaging device 36 and surgical instrument 38.
  • the robot surgery is performed by the user controlling the surgical robot 34 using the control unit 30. In one embodiment, the robot surgery may be automatically performed by the controller 30 without the user's control.
  • the server 100 is a computing device including at least one processor and a communication unit.
  • the controller 30 includes a computing device including at least one processor and a communication unit.
  • the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.
  • the imaging device 36 includes at least one image sensor. That is, the imaging device 36 includes at least one camera device and is used to photograph an object, that is, a surgical site. In one embodiment, the imaging device 36 includes at least one camera coupled with a surgical arm of the surgical robot 34.
  • the image photographed by the photographing apparatus 36 is displayed on the display 340.
  • surgical robot 34 includes one or more surgical tools 38 that can perform cutting, clipping, fixing, grabbing operations, and the like, of the surgical site.
  • Surgical tool 38 is used in conjunction with the surgical arm of the surgical robot 34.
  • the controller 30 receives information necessary for surgery from the server 100 or generates information necessary for surgery and provides the information to the user. For example, the controller 30 displays the information necessary for surgery, generated or received, on the display 32.
  • the user performs the robot surgery by controlling the movement of the surgical robot 34 by manipulating the control unit 30 while looking at the display 32.
  • the server 100 generates information necessary for robotic surgery using medical image data of an object previously photographed from the medical image photographing apparatus 10, and provides the generated information to the controller 30.
  • the controller 30 displays the information received from the server 100 on the display 32 to provide the user, or controls the surgical robot 34 by using the information received from the server 100.
  • the means that can be used in the medical imaging apparatus 10 is not limited, for example, other various medical image acquisition means such as CT, X-Ray, PET, MRI may be used.
  • the present invention proposes a method that can provide not only the surgical site information taken by the camera, but also information about an area that cannot be taken due to the field of view of the camera. It will be described in detail below.
  • FIG. 7 is a flowchart schematically illustrating a method for providing a surgical image according to an exemplary embodiment of the present invention.
  • Each step illustrated in FIG. 7 may be performed in time series in the server 100 or the controller 30 illustrated in FIG. 6. Alternatively, it may be performed in a computing device provided separately from the above.
  • each step is described as being performed by a computer, but the performing agent of each step is not limited to a specific apparatus, and all or part of the steps are performed by the server 20 or the controller 30 or , May be performed in a separately provided computing device.
  • S100 a real surgical image for a surgical subject
  • S110 a virtual surgery of a surgical subject corresponding to an actual surgical image
  • S120 a peripheral region of the surgical region in the actual surgical image based on the virtual surgical image
  • the computer may acquire an actual surgery image of the surgery target subject (S100).
  • the medical staff may directly perform the actual surgery to the subject, or may perform a minimally invasive surgery using a laparoscopic or endoscope, including the surgical robot as described in FIG.
  • the computer may acquire various information about the surgical tool used in connection with the surgical operation or the surgical operation performed in the actual surgical procedure, the surgical site, and the like.
  • the computer may acquire a real surgery image of a scene including a surgical site and a surgical tool that is currently being performed by a camera that enters the body of a patient.
  • the computer when performing minimally invasive surgery such as robotic surgery or laparoscopic surgery, the computer may acquire an actual surgical image 200 photographed by a camera that enters into the body of the subject.
  • the actual surgery image 200 may be an image frame photographed by a camera at the time of the actual surgery on the subject, and includes a surgery area 210 that is currently undergoing surgery.
  • the surgical region 210 is a region located within a field of view (FOV) of the camera, that is, a photographing range, and may include a surgical region 211 and a surgical tool 212, 213, and 214.
  • the surgical site 211 refers to a specific part of the body (for example, the stomach, organs such as the liver, blood vessels, tissues, etc.) in which the surgery is currently being performed, and the surgical operation is performed by the surgical tools 212, 213, and 214. It may be an area.
  • Surgical tools (212, 213, 214) is a tool that is inserted into the body to perform a surgical operation, it may be composed of a distal end and the arm (arm) connected to perform the surgical operation directly on the surgical site 211.
  • the distal end is a part capable of performing a surgical operation such as catching, cutting, moving, or suturing a target object by approaching the surgical site 211, and configured with various instruments according to the purpose of the surgical operation.
  • the arm is connected to the distal end to allow control of the distal movement.
  • the actual surgical image 200 includes the state of the surgical site 211 where a change occurs due to the operation of the surgical tool (212, 213, 214) (the distal end of the surgical tool), through which the current surgical site 211 You can understand the deformation state and the change process of the).
  • the computer may acquire a virtual surgery image of the surgery subject corresponding to the actual surgery image acquired in step S100 (S110).
  • the computer may first obtain a virtual body model for the surgical subject.
  • the virtual body model may be three-dimensional modeling data generated based on medical image data (eg, medical images taken through CT, PET, MRI, etc.) previously photographed inside the body of the patient.
  • the model may be modeled in accordance with the body of the surgical subject, and may be corrected to the same state as the actual surgical state.
  • Medical staff can perform rehearsals or simulations using a virtual body model that is implemented in the same way as the physical state of the subject, and can experience the same state as during the actual surgery.
  • virtual surgery data including rehearsal or simulation behavior for the virtual body model can be obtained.
  • the virtual surgery data may be a virtual surgery image including a surgical site on which a virtual surgery is performed on a virtual body model, or may be data recorded on a surgical operation performed on the virtual body model.
  • the computer may acquire a virtual surgical image corresponding to the actual surgical image from the virtual body model.
  • the virtual surgery using the virtual body model may be simulated in the same manner as the actual surgery performed on the actual surgical target. That is, the actual surgery process and the virtual surgery process using the virtual body model can be synchronized.
  • the computer may acquire the actual surgery data as the actual medical staff performs the actual surgery, and follow the operation in the same manner as the actual surgery on the virtual body model based on the obtained actual surgery data.
  • virtual surgery data can be generated.
  • the actual surgical data may be image data photographing the surgical site in the actual surgical procedure, or may be data recorded for the surgical operation performed in the actual surgical procedure.
  • the virtual surgery data may be image data in which rehearsal or simulation is performed on the virtual body model in the virtual space, or may be data recorded on a surgical operation performed on the virtual body model. Therefore, the computer may acquire a virtual surgical image at the same time point as the actual surgical image obtained in the actual surgical procedure from the simulation result through the virtual body model, based on the actual surgical data and the virtual surgical data.
  • the computer may acquire a virtual surgical image corresponding to the camera information from the virtual body model based on the camera information of the actual surgical image.
  • the camera information may include location information and direction information about the camera at the time of photographing the actual surgical image.
  • the computer may acquire the actual surgical image captured by the camera at the current point in time at which the actual operation is being performed, and the position information of the camera that captured the image based on the actual surgical image at the present point in time. And direction information.
  • the camera moves along the surgical path and photographs the surgical area (including the surgical site and the surgical tool), so the computer may calculate the relative position and direction of the camera using the location of the surgical area in the actual surgical image.
  • the position and direction information of the camera may be directly obtained from a sensor provided to determine the position of the camera.
  • the computer may calculate relative position and orientation information of the camera based on the characteristic information about a specific organ existing in the body.
  • the computer may acquire an actual surgical image photographed by a camera moving along the surgical path during the actual surgery, and extract feature information about a specific organ in the body from the same.
  • the computer can grasp information such as the type of a particular organ and the position in the body based on the characteristic information of the specific organ, and use the information about the specific organ (ie, the location information in the body) to The relative position and direction can be calculated.
  • the computer may acquire the virtual surgical image corresponding to the actual surgical image at the present point of time by calculating the position and direction information of the actual camera located inside the body of the surgical subject and applying the same to the virtual body model.
  • the computer may set the camera information on the virtual body model in the same manner as the position and direction information of the actual camera calculated as described above, and apply the position and operation of the actual surgical instruments.
  • the computer may acquire not only an area corresponding to the direction information of the actual camera but also an area present in another direction from the virtual body model. That is, the computer may acquire a virtual surgical image corresponding to the peripheral region including the surgical region from the virtual body model.
  • the virtual surgical image may mean a virtual image corresponding to a peripheral area obtained from the virtual body model.
  • the computer may add and provide a peripheral area of the surgical area in the actual surgical image based on the virtual surgical image acquired in step S110 (S120).
  • the computer may acquire the peripheral area information from the virtual surgical image, and add the peripheral area on the actual surgical image and display the peripheral area information by using the acquired peripheral area information.
  • the peripheral area information is information about a peripheral area located around the surgical site and may include an internal body area and a surgical tool located around the surgical site. As described with reference to FIG. 3, since the peripheral area 220 is an area outside the camera's field of view, it is not provided in the actual surgical image 200. However, according to an embodiment of the present invention, since information about the peripheral area 220, that is, internal body area information or surgical tool information, can be obtained through the virtual body model, it is expressed on the actual surgical image 200 by using the same. Can give
  • the computer may perform the virtual surgery by applying the camera on the virtual body model to correspond to the position and the direction of the real camera that captured the actual surgical image.
  • the virtual surgical image including the surgical region existing in the direction that the actual camera looks on the virtual body model, but also the virtual surgical image including the region (peripheral region) that exists in a direction other than the direction of the actual camera. Can be obtained. Therefore, since the computer can obtain information about the peripheral area outside the field of view of the actual camera from the virtual body model, the computer can display the peripheral area together with the surgical area on the actual surgical image.
  • the operation of the surgical tool may affect not only the surgical site but also the other parts of the surgical site.
  • the change may occur with the operation of the surgical tool or the surgical site itself.
  • the surgical site may be an object such as organs, blood vessels, tissues, etc. in the body currently undergoing surgery, and an internal body area (peripheral area) located around the surgical site may be a part connected to the object of the surgical site. It may be associated with an object at the surgical site or may be a different object from the surgical site.
  • the change of the peripheral area is obtained through the virtual body model and the actual surgery is performed. Can be provided on the video.
  • the computer simulates the same operation as the actual operation of the subject by using the virtual body model to derive the internal changes of the subject in the peripheral region, and includes the derived internal changes
  • a virtual surgical image can be generated.
  • the computer may extract internal body changes (ie, peripheral region information) from the virtual surgical image including internal body changes, and may express the internal body changes on the peripheral region of the actual surgical image.
  • some surgical tools can be held to the inside of the body of the peripheral area, since the surgical tool is located in the peripheral area outside the field of view of the camera Surgical images cannot determine the location or movement of surgical instruments.
  • the distal end of the surgical tool is generally disposed in the surgical region and the arm portion connected to the distal end is positioned in the peripheral region, the movement or position of the distal end is displayed through the actual surgery image, but the cancer portion is Not displayed.
  • the computer may obtain a virtual surgical image including a peripheral area from the virtual body model, and the surgical tool (eg, a cancer part) existing in the peripheral area from the acquired virtual surgical image.
  • Information ie, peripheral area information
  • the computer may add and display the extracted surgical tool (eg, a cancer part) on the actual surgical image.
  • the computer may determine whether a surgical tool (eg, a cancer part) existing in the peripheral area collides with an internal object (eg, an organ, a blood vessel, a tissue, etc.) of the subject, or a surgical tool (eg, located in the peripheral area). Cancer part) may determine whether a collision occurs with another surgical tool, and provide a determination result.
  • a surgical tool eg, a cancer part
  • an internal object e.g, an organ, a blood vessel, a tissue, etc.
  • a surgical tool eg, located in the peripheral area.
  • the surgical tool in the case of replacing or wiping the surgical tool, the surgical tool is removed from the inside of the body and inserted again. Since the camera is zoomed in and the surgical tool is moving slowly, Surgical instruments remain outside the camera's field of view for a significant amount of time. In other words, since the surgical tool is out of the field of view of the camera, the position and movement of the surgical tool cannot be grasped through the actual surgical image.
  • the computer calculates the position information of the current surgical tool, and implemented by applying to the virtual body model based on the calculated position information of the surgical tool, the current state of the surgical tool A virtual surgical image may be generated.
  • the computer may acquire image information including the current state of the surgical tool from the virtual surgical image, and add it to the peripheral area of the actual surgical image to display it.
  • various methods can be used.
  • the computer can obtain the position information of the actual surgical instrument directly from the surgical robot system.
  • the computer may calculate the position information of the surgical tool by acquiring the position information of the actual surgical tool by using the coordinate information (coordinate system) of the surgical robot and converting it to the coordinate information (coordinate system) on the virtual body model.
  • the computer may acquire location information of the surgical tool by using a sensing device that senses location information of the surgical tool.
  • FIG. 9 is a diagram illustrating an example in which a peripheral region is added and displayed on an actual surgical image according to an exemplary embodiment of the present invention.
  • 9 may be a screen in which a peripheral region 320 is added and displayed on an actual surgical image 300 provided according to a surgical image providing method according to an exemplary embodiment of the present invention.
  • the peripheral area 320 shown in FIG. 9 is an area (220 shown in FIG. 8) which is not photographed by the camera during the actual surgery. However, according to the present invention, the peripheral area 320 shown in FIG. It may be generated and provided in the same manner as in surgery.
  • the peripheral region 320 may include an internal body portion 321 positioned around the surgical region 311 and arm portions 322, 323, and 324 connected to the distal end of the surgical tool.
  • internal parts 321 and cancer parts 322, 323, and 324 such as organs, blood vessels, and tissues located around the surgical site 311. ) Can be obtained. And it can be displayed in combination with the actual surgical image (300).
  • the peripheral area 320 may guide the internal parts of the body 321 and the cancer parts 322, 323, and 324 of the surgical tool in the form of a dotted line or translucent. have.
  • the computer may display and provide the peripheral area 320 to be viewed as a part of the actual surgery image 300 (that is, an expanded form of the actual surgery image 300).
  • the computer receives input whether the peripheral area 320 is expressed in the form of a guide or the actual surgical image 300 is expanded from the user through a user interface and provides a surgical image accordingly. Can be.
  • FIG. 10 is a view schematically showing the configuration of an apparatus 400 for performing a method for providing a surgical image according to an embodiment of the present invention.
  • the processor 410 may include a connection passage (eg, a bus or the like) that transmits and receives signals with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • a connection passage eg, a bus or the like
  • a graphic processor not shown
  • the processor 410 may include a connection passage (eg, a bus or the like) that transmits and receives signals with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • the processor 410 executes one or more instructions stored in the memory 420 to perform a method of providing a surgical image described with reference to FIGS. 6 to 9.
  • the processor 410 obtains a real surgery image for the surgery subject by executing one or more instructions stored in the memory 420, obtains a virtual surgery image of the surgery subject corresponding to the actual surgery image, and performs a virtual surgery. Based on the image, the peripheral region of the surgical region in the actual surgical image may be added and provided.
  • the processor 410 may include random access memory (RAM) and read-only memory (ROM) for temporarily and / or permanently storing a signal (or data) processed in the processor 410. , Not shown) may be further included.
  • the processor 410 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.
  • SoC system on chip
  • the memory 420 may store programs (one or more instructions) for processing and controlling the processor 410. Programs stored in the memory 420 may be divided into a plurality of modules according to their functions.
  • the surgical image providing method according to the exemplary embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium to be executed in combination with a computer which is hardware.
  • the program may be read by the computer's processor (CPU) through the device interface of the computer in order for the computer to read the program and execute the methods implemented as the program.
  • Code that is coded in a computer language such as C, C ++, JAVA, or machine language.
  • Such code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, and includes control procedures related to execution procedures necessary for the computer's processor to execute the functions according to a predetermined procedure. can do.
  • the code may further include memory reference code for additional information or media required for the computer's processor to execute the functions at which location (address address) of the computer's internal or external memory should be referenced. have.
  • the code may be used to communicate with any other computer or server remotely using the communication module of the computer. It may further include a communication related code for whether to communicate, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access or various recording media on the computer of the user. The media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

수술영상 제공 방법이 제공된다. 상기 방법은 수술도구의 암(arm)을 포함하는 현재시점의 실제수술 영상을 획득하는 단계, 상기 현재시점의 실제수술 영상에서 상기 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 판단하여, 상기 현재시점 보다 이전시점의 실제수술 영상을 획득하는 단계, 상기 이전시점의 실제수술 영상으로부터 상기 신체내부 영역에 대응하는 대응영역을 추출하는 단계, 및 상기 추출된 대응영역을 기초로 상기 현재시점의 실제수술 영상에서 상기 수술도구의 암을 제거하여 상기 신체내부 영역을 복원하는 단계를 포함한다.

Description

수술영상 제공 방법 및 장치
본 발명은 수술영상을 제공하는 방법 및 장치에 관한 것이다.
최근에는 가상현실을 의료수술 시뮬레이션 분야에 적용하고자 하는 연구가 활발히 진행되고 있다.
의료수술은 개복수술(open surgery), 복강경 수술 및 로봇 수수를 포함하는 최소침습수술(MIS: Minimally Invasive Surgery), 방사선수술(radio surgery) 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데 복강경 수술과 로봇 수술이 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸속에 삽입하여 비디오 모니터를 통해서 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 또한, 로봇수술은 수술로봇을 이용하여 최소 침습수술을 수행하는 것이다. 나아가 방사선 수술은 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다.
이러한 의료수술의 경우, 특히 최소침습수술과 같은 경우, 실제 수술시 수술영상을 획득하여 이를 기초로 수술을 수행하게 된다. 따라서, 실제 수술시 획득되는 수술영상 내 객체들을 보다 정확하게 특정하고 표시해 주는 것이 중요하다. 또한, 실제 수술시 획득되는 수술영상을 통해서 수술부위 및 이와 관련된 다양한 정보를 제공하여 주는 것이 중요하다.
본 발명이 해결하고자 하는 과제는 수술영상 제공 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 실제수술 영상을 통해 현재 수행되는 수술상태를 정확하게 제공하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술영상 제공 방법은, 수술도구의 암(arm)을 포함하는 현재시점의 실제수술 영상을 획득하는 단계, 상기 현재시점의 실제수술 영상에서 상기 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 판단하여, 상기 현재시점 보다 이전시점의 실제수술 영상을 획득하는 단계, 상기 이전시점의 실제수술 영상으로부터 상기 신체내부 영역에 대응하는 대응영역을 추출하는 단계, 및 상기 추출된 대응영역을 기초로 상기 현재시점의 실제수술 영상에서 상기 수술도구의 암을 제거하여 상기 신체내부 영역을 복원하는 단계를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술영상 제공 방법은, 수술 대상자에 대한 실제수술영상을 획득하는 단계, 상기 실제수술영상에 대응하는 상기 수술 대상자의 가상수술영상을 획득하는 단계, 및 상기 가상수술영상을 기초로 상기 실제수술영상 내 수술영역의 주변영역을 추가하여 제공하는 단계를 포함한다.
본 발명에 따르면, 실제수술 시에도 가상신체모델을 이용한 가상수술 시에 획득되는 것과 같이 넓은 시야의 수술영상을 제공할 수 있다.
본 발명에 따르면, 실제수술 시에 획득되는 수술 영상 내 수술도구에 의해 가려지는 신체내부 정보를 정확하게 복원하여 실제 수술 상태와 동일한 형태로 제공할 수 있다.
본 발명에 따르면, 실제수술 시에는 카메라의 시야로 인해 확보되지 않는 영상 부분을 가상신체모델을 이용한 가상수술영상을 통해 제공함으로써, 보다 확장된 수술 시야를 제공할 수 있다.
본 발명에 따르면, 실제 수술과 동일하게 실시간으로 수술도구의 움직임 및 수술부위의 변화를 획득하여 수술영상 상에 표시함으로써, 실제 수술을 수행하는 의료진들에게 보다 정확하고 효과적으로 수술을 수행할 수 있게 한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 2는 수술영상의 일예를 도시한 도면이다.
도 3은 가상신체모델을 이용한 가상수술 시에 획득되는 가상수술 영상의 일예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 수술영상 제공 방법을 개략적으로 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 수술영상을 제공하는 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 7은 본 발명의 일 실시예에 따른 수술영상 제공 방법을 개략적으로 도시한 흐름도이다.
도 8은 실제수술영상의 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 실제수술영상 상에 주변영역을 추가하여 표시한 일례를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 수술영상을 제공하는 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
이하에서는 도 1 내지 도 5를 참조하여, 본 발명의 실시예에 따른 수술영상 제공 방법 및 장치에 관해 상세히 설명한다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(100) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(100)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.
제어부(30)는 서버(100)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(100)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(100)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(100)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
상기와 같은 로봇수술이나 복강경 수술 등과 같은 최소침습수술의 경우, 환자(즉, 수술 대상자)의 신체내부, 즉 수술부위에 수술도구 및 카메라를 진입시켜 수술을 수행한다. 이 경우, 환자의 신체내부에 진입한 카메라에 의해 촬영되는 수술영상을 통해서 수술부위의 상태나 수술도구의 움직임 등을 파악하여 수술을 진행하게 된다. 이때 카메라에 의해 촬영된 수술영상은 수술부위를 중심으로 촬영된 영상이므로, 수술영상을 통해서 수술부위의 상태는 정확하게 파악할 수 있다. 그러나, 수술부위의 주변에 위치하는 주변영역은 카메라의 위치나 수술도구의 위치 및 동작 상태에 따라 가려지는 영역이 발생하기 때문에 수술영상을 통해서 주변영역에 대한 정확한 상태를 파악하기 힘들다.
도 2는 수술영상의 일예를 도시한 도면이다.
도 2를 참조하면, 로봇수술이나 복강경 수술 등과 같은 최소침습수술을 수행할 경우, 수술 대상자의 신체내부로 진입한 카메라에 의해 촬영된 실제수술 영상(200)을 획득할 수 있다.
실제수술 영상(200)은 수술부위(210), 주변부위(220), 및 수술도구(230, 240, 250)를 포함할 수 있다. 수술부위(210)는 현재 수술이 진행되고 있는 신체내부 영역을 말하며, 수술도구(230, 240, 250)에 의해 수술동작이 행해지고 있는 영역이다. 주변부위(220)는 수술부위(210)의 주변에 위치한 신체내부 영역을 말하며, 예컨대 현재 수술이 진행되고 있는 신체내부 영역과 연결된 부위일 수도 있고 이와는 다른 신체내부의 장기일 수도 있다. 수술도구(230, 240, 250)는 신체내부로 삽입되어 수술동작을 수행하는 말단부(231, 241, 251) 및 이와 연결된 암(arm)(232, 242, 252)을 포함하여 구성될 수 있다. 예를 들어, 말단부(231, 241, 251)는 수술부위(210)에 접근하여 목표 대상을 잡거나, 자르거나, 이동시키거나, 봉합하는 등의 수술동작을 수행할 수 있는 부분으로, 수술동작의 목적에 따라 다양한 기구로 구성될 수 있다. 암(232, 242, 252)은 말단부(231, 241, 251)와 연결되어 말단부(231, 241, 251)의 움직임을 제어할 수 있도록 한다.
이때, 실제수술 영상(200)은 말단부(231, 241, 251)의 수술동작에 의해 변화가 발생하는 수술부위(210)의 상태를 포함하고 있고, 이를 통해서 현재 수술부위(210)의 변형 상태나 변화 과정을 파악할 수 있다. 그러나, 주변부위(220)는 카메라의 위치나 수술도구(230, 240, 250)의 위치 및 동작상태에 따라 암(232, 242, 252)에 의해 가려지는 부분이 발생한다. 예컨대, 암(232, 242, 252)에 의해 가려진 주변부위(220)에는 현재 수술이 진행되고 있는 수술부위(210)(예: 위, 간 등의 장기)와 연결된 일부분일 수도 있고, 수술부위(210)와 연계되어 영향을 미칠수도 있는 부분(예: 혈관, 조직 등) 등일 수도 있다. 이와 같은 경우, 실제수술 영상(200)을 통해서는 암(232, 242, 252)에 의해 가려진 주변부위(220)의 상태를 파악할 수 없다.
한편, 가상신체모델은 사전에 수술 대상자의 신체내부를 촬영한 의료영상데이터(예: CT, PET, MRI 등을 통해 촬영된 의료영상)를 기반으로 생성된 3D 모델링 데이터일 수 있다. 예컨대, 수술 대상자의 신체와 부합하게 모델링된 것으로서, 실제 수술 상태와 동일한 상태로 보정된 것일 수도 있다. 의료진들은 수술 대상자의 신체 상태와 동일하게 구현된 가상신체모델을 이용하여 리허설 또는 시뮬레이션을 수행할 수 있고, 이를 통해 실제수술 시와 동일한 상태를 경험할 수 있다. 이때, 의료진들은 가상신체모델을 통해 환자의 신체내부 공간에서 자유롭게 수술동작을 수행할 수 있다. 예컨대, 환자의 신체내부 특성(예: 장기 배치, 혈관 상태 등)이나 수술도구의 특성 등에 따른 제약없이 의료진들의 수술동작 패턴에 따라 가상수술을 수행할 수 있다. 그리고 이러한 가상수술을 수행한 이후에 그 결과를 바탕으로 환자의 신체내부 특성이나 수술도구의 특성 등을 고려하여 최적의 실제수술 과정을 도출할 수 있도록 한다. 또한 가상신체모델을 이용한 가상수술을 수행할 경우, 가상신체모델에 대한 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 획득할 수 있다. 예컨대, 가상신체모델 상에 가상수술을 수행한 수술부위를 포함하는 가상수술 영상을 획득할 수 있다.
도 3은 가상신체모델을 이용한 가상수술 시에 획득되는 가상수술 영상의 일예를 도시한 도면이다.
도 3을 참조하면, 가상신체모델을 이용한 리허설 또는 시뮬레이션을 수행할 때, 의료진들은 가상신체모델 상에 가상수술을 수행한 수술부위를 포함하는 가상수술 영상(300)을 획득할 수 있다.
가상수술 영상(300)은 수술부위(310), 주변부위(320), 및 수술도구(330, 340, 350)를 포함할 수 있다. 상술한 바와 같이, 가상신체모델을 이용한 가상수술 시에는 최적의 수술상태를 도출하기 위해 장기 배치나 수술도구 등의 제약없이 자유롭게 수술을 진행한다. 이에 따라, 수술도구(330, 340, 350)의 말단부(331, 341, 351)만을 표시한 상태에서 가상수술을 진행한다. 이는 말단부(331, 341, 351)에 의해 수술동작이 행해지고 있는 수술부위(310)만 상태 변화가 발생하고, 수술도구(330, 340, 350)의 암(332, 342, 352)에 의해서는 수술부위(310)가 영향받지 않기 때문이다. 따라서, 가상수술 영상(300)은 도 2의 실제수술 영상(200)과는 달리, 수술도구(330, 340, 350)에서 암(332, 342, 352) 부분은 나타나지 않고 말단부(331, 341, 351)만 표시되어 제공된다. 다시 말해, 가상수술 영상(300)에서는 주변부위(320)가 암(332, 342, 352)에 의해 가려지는 영역이 발생하지 않는다. 따라서, 가상신체모델을 이용하여 가상수술을 수행하는 동안 수술부위(310)에 영향을 미치지 않는 암(332, 342, 352)의 동작은 고려할 필요 없이 자유롭게 수술할 수 있고, 이와 동시에 주변부위(320)에 대한 시야가 확보될 수 있다.
상술한 바와 같이, 실제수술 영상(200)에서는 암(232, 242, 252)에 의해 가려지는 영역이 발생하지만, 가상신체모델을 이용한 리허설 또는 시뮬레이션 시에는 말단부(331, 341, 351)만 고려하여 가상수술을 수행하므로 가상수술 영상(300)에서는 암(332, 342, 352)에 의해 가려지는 영역이 발생하지 않는다. 이에, 본 발명에서는 실제수술 시에도 가상신체모델을 이용한 가상수술 시에 획득되는 가상수술 영상(300)에서와 같이 보다 정확한 신체내부 상태 및 보다 넓은 시야를 제공할 수 있는 방법을 제안한다.
이하에서는 설명의 편의를 위해 "컴퓨터"가 본 명세서에서 개시되는 실시예에 따른 수술영상 제공 방법을 수행하는 것으로 설명한다. "컴퓨터"는 도 1의 서버(100) 또는 제어부(30)를 의미할 수 있으나, 이에 한정되는 것은 아니고 컴퓨팅 처리를 수행할 수 있는 장치를 포괄하는 의미로 사용될 수 있다. 또한, 이하에서 개시되는 실시예들은 도 1에 도시된 로봇수술 시스템과 연관되어서만 적용될 수 있는 것은 아니고, 복강경 수술이나 내시경 등과 같은 최소침습수술이 적용될 수 있는 모든 종류의 실시예들에서 활용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 수술영상 제공 방법을 개략적으로 도시한 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술영상 제공 방법은, 수술도구의 암(arm)을 포함하는 현재시점의 실제수술 영상을 획득하는 단계(S100), 현재시점의 실제수술 영상에서 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 판단하여, 현재시점 보다 이전시점의 실제수술 영상을 획득하는 단계(S110), 이전시점의 실제수술 영상으로부터 신체내부 영역에 대응하는 대응영역을 추출하는 단계(S120), 및 추출된 대응영역을 기초로 현재시점의 실제수술 영상에서 수술도구의 암을 제거하여 신체내부 영역을 복원하는 단계(S130)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 수술도구의 암을 포함하는 현재시점의 실제수술 영상을 획득할 수 있다(S100).
일 실시예로, 의료진들은 직접 수술 대상자에 대해 실제수술을 수행할 수도 있고, 도 1에서 설명한 바와 같은 수술로봇을 비롯하여 복강경이나 내시경 등을 이용한 최소침습수술을 수행할 수도 있다. 이러한 실제수술 과정에서 행해진 수술동작이나 수술동작과 관련하여 사용된 수술도구, 수술부위 등에 관한 다양한 정보를 획득할 수 있다. 예를 들어, 컴퓨터는 현재 실제수술이 행해지고 있는 수술부위 및 수술도구를 포함하고 있는 현재시점의 실제수술 영상을 획득할 수 있다.
여기서, 현재시점의 실제수술 영상은 수술도구의 말단부의 수술동작에 의해 변화가 발생하는 수술부위와, 수술부위의 주변에 위치하는 주변부위를 포함할 수 있다. 예를 들어, 수술부위는 신체내부의 장기, 혈관, 조직 등과 같은 객체일 수 있고, 주변부위는 수술부위의 객체와 연결된 일부분일 수도 있고 수술부위의 객체와 연계되거나 혹은 수술부위와 다른 객체일 수도 있다. 또한, 현재시점의 실제수술영상은 수술도구의 말단부 및 암을 포함할 수 있다. 이에 따라, 도 2에서 상술한 바와 같이 실제수술 영상에 포함된 주변부위에는 수술도구의 암에 의해 가려지는 신체내부 영역이 존재할 수 있다.
컴퓨터는 현재시점의 실제수술 영상에서 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 여부를 판단하여, 현재시점 보다 이전시점의 실제수술 영상을 획득할 수 있다(S110).
일 실시예로, 컴퓨터는 수술 대상자에 대한 실제수술이 진행될 때 시간에 따라 실제수술 영상을 지속적으로 획득할 수 있다. 이때 시간에 따른 실제수술 영상은 카메라가 신체내부 공간을 따라 이동하면서 수술부위를 촬영한 연속된 프레임일 수 있다. 컴퓨터는 현재 실제수술이 진행되고 있는 현재시점에서 카메라에 의해 촬영된 실제수술 영상(영상 프레임)을 획득하여, 현재시점의 영상 프레임 내에 암에 의해 가려진 신체내부 영역(주변부위)이 존재하는지 여부를 판단할 수 있다. 현재시점의 영상 프레임 내에 암에 의해 가려진 신체내부 영역이 존재하는 경우, 컴퓨터는 해당 신체내부 영역(주변부위)를 포함하는 이전시점의 실제수술 영상을 획득할 수 있다. 상술한 바와 같이 실제수술 영상은 카메라가 이동하면서 실제수술 장면을 촬영한 연속된 프레임으로 구성되므로, 컴퓨터는 현재시점의 영상 프레임에서 암에 의해 가려진 주변부위를 포함하고 있는 영상 프레임을 카메라의 위치 정보를 이용하여 이전시점의 영상 프레임으로부터 검출할 수 있다. 예를 들어, 실제수술 시 수술경로나 카메라의 위치 정보를 알 수 있으면 카메라의 이동에 따른 상대적 위치나 이동 변화량 등을 산출할 수 있으므로, 이러한 카메라에 대한 위치 정보를 이용하여 현재시점에서는 암에 의해 가려진 영역이지만 이전시점에서는 암에 의해 가려진 영역이 아닌 주변부위를 포함하고 있는 영상 프레임을 검출할 수 있다.
컴퓨터는 이전시점의 실제수술 영상으로부터 수술도구의 암에 의해 가려진 신체내부 영역에 대응하는 대응영역을 추출할 수 있다(S120).
일 실시예로, 컴퓨터는 이전시점의 실제수술 영상으로부터 수술도구를 제외한 배경 이미지를 추출하고, 추출한 배경 이미지를 기초로 암에 의해 가려진 신체내부 영역에 대응하는 대응영역을 추출할 수 있다.
컴퓨터는 추출된 대응영역을 기초로 현재시점의 실제수술 영상에서 수술도구의 암을 제거하여 신체내부 영역을 복원할 수 있다(S130).
일 실시예로, 컴퓨터는 단계 S100에서 획득한 현재시점의 실제수술 영상에서 주변부위를 가리고 있는 수술도구의 암을 제거할 수 있다. 그리고, 컴퓨터는 수술도구의 암을 제거한 영역에 단계 S120에서 추출한 대응영역을 합성하여 신체내부 영역을 복원할 수 있다. 이때, 현재시점의 실제수술 영상 내 주변부위가 수술도구의 말단부의 수술동작에 의해 상태 변화나 변형이 발생되지 않는 경우, 단계 S120에서 추출한 대응영역을 합성하여 주변부위의 가려진 신체내부 영역을 복원할 수 있다. 상술한 바와 같이, 실제수술 영상은 수술이 진행되고 있는 수술부위를 중심으로 하는 중심영역과 수술부위의 주변에 위치한 주변부위(주변영역)으로 나누어질 수 있다. 이때, 중심영역에서는 수술도구의 말단부에 의해 수술동작이 발생하게 되고, 주변영역에서는 직접적인 수술동작이 수행되지 않는다. 만일 이전시점의 실제수술 영상 내 주변부위에 수술동작을 가하기 위해서는, 카메라를 이동시켜 주변부위를 중심영역으로 배치한 후에 수술동작을 수행하기 때문에, 현재시점의 실제수술 영상에서 주변부위는 수술도구에 의해 직접적인 동작이 가해지지 않는다. 다만, 실제 수술 시에 복수의 수술도구를 이용할 때, 대부분의 수술도구는 수술부위(중심영역)에 동작을 가하고 있지만, 일부 수술도구는 주변부위에 동작을 가하고 있는 경우도 있다. 예컨대, 수술동작의 시야를 확보하기 위해서 일부 수술도구는 주변부위를 잡고 있는 동작을 할 수 있다. 이러한 경우, 컷팅 등과 같은 동작이 아니라 단지 시야 확보를 위해 주변부위를 잡고 있는 동작을 하는 것으로서, 수술도구가 주변부위에 등장할 수 있으나, 중심부위가 아니라 그 외부에 배치되므로 고려하지 않을 수 있다. 즉, 주변부위에 등장하는 수술도구는 실제수술 영상 상에서 고려하지 않을 수 있다. 이와 같은 경우, 일 실시예로, 주변부위에 등장하는 수술도구는 주변부위를 잡고 있는 동작을 하는 말단부일 수 있으나, 상술한 바와 같이 단순히 시야 확보를 위한 동작을 수행하는 것이기 때문에, 이때의 말단부 역시 제거하거나 반투명이나 점선과 같은 형태로 표시할 수도 있다.
위에서 설명한 바와 같이 수술도구의 말단부 동작에 의해 주변부위가 직접적인 영향을 받지 않는 경우도 있지만, 이와 달리 수술도구의 말단부 동작에 의해 수술부위(중심영역)에 변화가 발생함에 따라 주변부위에도 간접적으로 위치 등의 변화를 발생시키기는 경우가 있다. 이 경우, 가상신체모델을 이용하여 변화가 발생된 주변부위를 복원하고 수술도구의 암 부분을 제거할 수 있다.
일 실시예로, 현재시점의 실제수술 영상 내 주변부위가 수술도구의 말단부의 수술동작에 의해 상태변화나 변형이 발생되는 경우, 컴퓨터는 가상신체모델을 이용하여 해당 부위에 대해 가상수술을 시뮬레이션한 다음, 그 결과를 바탕으로 주변부위에 대한 상태변화나 변형 정보를 획득할 수 있다. 이후 컴퓨터는 획득한 주변부위에 대한 상태변화나 변형 정보를 기초로 현재시점의 실제수술 영상에 반영하여 암에 의해 가려진 신체내부 영역을 복원할 수 있다. 예컨대, 혈관이나 조직 등과 같은 수술부위를 잡아 당기거나 자르거나 등의 수술동작을 수행하게 되면 수술부위와 연결된 주변부위에서도 상태변화나 변형이 발생할 수 있다. 컴퓨터는 가상신체모델에 실제수술과 동일하게 동작을 수행함에 따라 장기 배치와 변화를 획득할 수 있고, 이를 이전에 획득되었던 영상 프레임과 결합하여 실제와 동일한 이미지를 생성할 수 있다. 예를 들어, 컴퓨터는 실제 의료진들이 실제수술을 수행함에 따라 실제수술데이터를 획득할 수 있으며, 획득된 실제수술데이터를 기초로 가상신체모델 상에 실제수술과 동일하게 동작을 따라할 수 있다. 이때, 가상신체모델에서의 따라하기 동작을 통해 신체내부 객체(예: 장기, 혈관 조직 등)의 변화 정보를 포함하는 가상수술데이터를 획득할 수 있다. 컴퓨터는 획득된 가상수술데이터로부터 암에 의해 가려진 주변부위에 해당하는 변화 정보를 추출하여, 현재시점의 실제수술 영상의 암 부분에 결합할 수 있다.
다른 예로, 컴퓨터는 먼저 실제 의료진들이 실제수술을 수행함에 따라 획득된 실제수술데이터를 기초로 가상신체모델 상에 따라하기 동작을 수행하고, 이로부터 신체내부 객체의 변화 정보를 포함하는 가상수술데이터를 획득할 수 있다. 다음으로, 컴퓨터는 가상수술데이터에 포함된 신체내부 객체에 대한 실제 색상데이터나 질감데이터 등의 텍스처 정보를 획득하고, 이를 가상수술데이터에 반영할 수 있다. 다음으로, 컴퓨터는 이러한 텍스처 정보가 반영된 가상수술데이터로부터 암에 의해 가려진 주변부위에 해당하는 이미지 영역을 추출하여, 현재시점의 실제수술 영상 상에 결합시킬 수 있다. 여기서, 신체내부 객체에 대한 실제 색상데이터나 질감데이터와 같은 텍스처 정보는, 실제 수술시에 획득된 정보일 수 있으며, 수술 대상자에 대해 실제수술을 수행함에 따라 실시간으로 획득한 실제수술 영상을 이용할 수 있다. 예컨대, 이전시점에 획득된 실제수술 영상 중에서 해당 신체내부 객체의 정보(즉, 색상데이터나 질감데이터 등의 텍스처 정보)를 포함하고 있는 실제수술 영상을 이용할 수 있다. 또는, 수술 대상자나 다른 환자의 기획득된 수술영상(이전에 수행한 수술 시에 획득한 수술영상)을 이용할 수도 있다.
본 발명에 따르면 이와 같은 경우에도 가상신체모델을 통해 실제 상태와 동일한 변형 상태를 도출할 수 있고 이를 실제수술 영상에 반영하기 때문에 보다 정확한 수술영상을 표현해 줄 수 있게 된다.
실시예에 따라서, 컴퓨터는 현재시점의 실제수술 영상에서 수술도구의 암 부분을 완전히 제거하지 않고, 점선이나 반투명 형태 등과 같은 형태로 수술도구의 암 부분을 가이드하는 정보를 제공할 수도 있다. 이와 같이 수술도구의 암 부분을 점선이나 반투명 등과 같은 형태로 가이드 정보를 제공하지 않게 되면, 의료진들은 실제수술 영상 상에서 복원된 신체내부 영역이 실재하는 것으로 생각하여 그 영역을 대상으로 수술동작을 할 우려가 있다. 즉, 의료진들이 복원된 신체내부 영역을 대상으로 수술을 수행하고자 수술도구를 이동할 때, 수술도구의 암 부분이 제거되어 보이지 않기 때문에 수술도구를 이동하다가 제거된 수술도구의 암에 충돌하는 경우가 발생할 수 있다. 따라서, 본 발명의 일 실시예에서는 수술도구의 암 부분을 점선이나 반투명 등과 같은 형태로 가이드함으로써 수술도구 간의 충돌을 방지할 수 있다.
예컨대, 컴퓨터는 유저 인터페이스(User Interface)를 통해 사용자로부터 수술도구의 암을 완전히 제거할지 또는 가이드 형태로 표현할지를 입력 받아 그에 따라 실제수술 영상을 제공하여 줄 수 있다.
상술한 바와 같은 본 발명의 실시예에 따르면, 실제수술 시에도 가상신체모델을 이용한 가상수술 시에 획득되는 가상수술 영상(300)에서와 같이 보다 정확한 신체내부 상태 및 보다 넓은 시야를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 수술영상을 제공하는 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
도 5를 참조하면, 프로세서(410)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 4와 관련하여 설명된 수술영상을 제공하는 방법을 수행한다.
예를 들어, 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술도구의 암(arm)을 포함하는 현재시점의 실제수술 영상을 획득하고, 현재시점의 실제수술 영상에서 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 판단하여, 현재시점 보다 이전시점의 실제수술 영상을 획득하고, 이전시점의 실제수술 영상으로부터 신체내부 영역에 대응하는 대응영역을 추출하고, 추출된 대응영역을 기초로 현재시점의 실제수술 영상에서 수술도구의 암을 제거하여 신체내부 영역을 복원할 수 있다.
한편, 프로세서(410)는 프로세서(410) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(410)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(420)에는 프로세서(410)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(420)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 수술영상 제공 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
이하에서는 도 6 내지 도 10을 참조하여, 본 발명의 실시예에 따른 수술영상 제공 방법 및 장치에 관해 상세히 설명한다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 6은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 6에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(100) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(100)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.
제어부(30)는 서버(100)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(100)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(100)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(100)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
상기와 같은 로봇수술이나 복강경 수술 등과 같은 최소침습수술의 경우, 환자(즉, 수술 대상자)의 신체내부, 즉 수술부위에 수술도구 및 카메라를 진입시켜 수술을 수행한다. 이 경우, 환자의 신체내부에 진입한 카메라에 의해 촬영되는 수술영상을 통해서 수술부위의 상태나 수술도구의 움직임 등을 파악하여 수술을 진행하게 된다. 이때 카메라에 의해 촬영된 수술영상은 수술부위를 중심으로 촬영된 영상이므로, 수술영상을 통해서 수술부위의 상태는 정확하게 파악할 수 있다. 그러나, 카메라의 시야를 벗어나는 영역에 위치하는 신체내부의 상태나 수술도구의 움직임 등은 수술영상 상에 표시되지 않는다. 수술 시에는 수술부위뿐만 아니라 이와 연계된 주변부위의 상태를 파악할 필요가 있다. 이러한 주변부위는 카메라의 시야 범위로 인해 촬영되지 못하기 때문에 수술영상을 통해 파악할 수 없다. 이러한 문제점을 해결하기 위해서, 본 발명에서는 카메라에 의해 촬영되는 수술부위 정보뿐만 아니라 카메라의 시야 범위로 인해 촬영되지 못하는 영역에 대한 정보도 제공할 수 있는 방법을 제안한다. 이하에서 구체적으로 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 수술영상 제공 방법을 개략적으로 도시한 흐름도이다.
도 7에 도시된 각 단계들은 도 6에 도시된 서버(100) 또는 제어부(30)에서 시계열적으로 수행될 수 있다. 또는 이와는 별도로 구비된 컴퓨팅 장치에서 수행될 수도 있다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행되거나, 별도로 구비된 컴퓨팅 장치에서 수행될 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술영상 제공 방법은, 수술 대상자에 대한 실제수술영상을 획득하는 단계(S100), 실제수술영상에 대응하는 수술 대상자의 가상수술영상을 획득하는 단계(S110), 및 가상수술영상을 기초로 실제수술영상 내 수술영역의 주변영역을 추가하여 제공하는 단계(S120)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 수술 대상자에 대한 실제수술영상을 획득할 수 있다(S100).
일 실시예로, 의료진들은 직접 수술 대상자에 대해 실제수술을 수행할 수도 있고, 도 1에서 설명한 바와 같은 수술로봇을 비롯하여 복강경이나 내시경 등을 이용한 최소침습수술을 수행할 수도 있다. 이때, 컴퓨터는 실제수술 과정에서 행해진 수술동작이나 수술동작과 관련하여 사용된 수술도구, 수술부위 등에 관한 다양한 정보를 획득할 수 있다. 예를 들어, 컴퓨터는 수술 대상자의 신체내부로 진입한 카메라로부터 현재 실제수술이 행해지고 있는 수술부위 및 수술도구를 포함하는 장면을 촬영한 실제수술영상을 획득할 수 있다.
도 8은 실제수술영상의 일례를 도시한 도면이다.
도 8을 참조하면, 로봇수술이나 복강경 수술 등과 같은 최소침습수술을 수행할 경우, 컴퓨터는 수술 대상자의 신체내부로 진입한 카메라에 의해 촬영된 실제수술영상(200)을 획득할 수 있다.
실제수술영상(200)은 수술 대상자에 대한 실제수술 시에 카메라에 의해 촬영된 영상 프레임일 수 있으며, 현재 수술이 진행되고 있는 수술영역(210)을 포함한다. 수술영역(210)은 카메라의 시야 범위(FOV; Field of view), 즉 촬영 범위 내에 위치한 영역으로서, 수술부위(211) 및 수술도구(212, 213, 214)를 포함할 수 있다. 수술부위(211)는 현재 수술이 진행되고 있는 신체내부의 특정 부위(예컨대 위, 간 등의 장기나 혈관, 조직 등)를 말하며, 수술도구(212, 213, 214)에 의해 수술동작이 행해지고 있는 영역일 수 있다. 수술도구(212, 213, 214)는 신체내부로 삽입되어 수술동작을 수행하는 도구로, 수술부위(211)에 대해 직접 수술동작을 수행하는 말단부와 이와 연결된 암(arm)으로 구성될 수 있다. 예를 들어, 말단부는 수술부위(211)에 접근하여 목표 대상을 잡거나, 자르거나, 이동시키거나, 봉합하는 등의 수술동작을 수행할 수 있는 부분으로, 수술동작의 목적에 따라 다양한 기구로 구성될 수 있다. 암은 말단부와 연결되어 말단부의 움직임을 제어할 수 있도록 한다.
실제수술영상(200)은 수술도구(212, 213, 214)(수술도구의 말단부)의 수술동작에 의해 변화가 발생하는 수술부위(211)의 상태를 포함하고 있고, 이를 통해서 현재 수술부위(211)의 변형 상태나 변화 과정을 파악할 수 있다.
그러나, 실제수술 시에는 실제수술영상(200) 내 수술영역(210)을 비롯하여 그 주변에 위치하는 주변영역(220)에 대한 정보를 파악해야 할 필요가 있다. 예를 들어, 수술도구(212, 213, 214)의 동작에 의해 수술부위(211)뿐만 아니라 수술부위(211)의 주변에 위치한 신체내부에도 변화가 발생할 수 있다. 또는, 수술부위(211) 자체가 변화됨에 따라 그와 연계되어 있는 주변부위에 영향을 미칠 수도 있다. 또는, 수술도구(212, 213, 214)가 카메라의 시야 범위를 벗어나 동작을 행하는 경우도 있다. 이와 같이, 카메라의 시야 범위를 벗어난 주변영역(220)은 실제수술영상(200)을 통해서 표시되지 않으므로, 주변영역(220)에 대한 정확한 정보를 얻을 수 없다.
다시 도 7을 참조하면, 컴퓨터는 단계 S100에서 획득한 실제수술영상에 대응하는 수술 대상자의 가상수술영상을 획득할 수 있다(S110).
구체적으로, 컴퓨터는 먼저 수술 대상자에 대한 가상신체모델을 획득할 수 있다.
여기서, 가상신체모델이라 함은, 사전에 수술 대상자의 신체내부를 촬영한 의료영상데이터(예: CT, PET, MRI 등을 통해 촬영된 의료영상)를 기반으로 생성된 3차원 모델링 데이터일 수 있다. 예컨대, 수술 대상자의 신체와 부합하게 모델링된 것으로서, 실제수술 상태와 동일한 상태로 보정된 것일 수도 있다. 의료진들은 수술 대상자의 신체 상태와 동일하게 구현된 가상신체모델을 이용하여 리허설 또는 시뮬레이션을 수행할 수 있고, 이를 통해 실제수술 시와 동일한 상태를 경험할 수 있다. 또한 가상신체모델을 이용한 가상수술을 수행할 경우, 가상신체모델에 대한 리허설 또는 시뮬레이션 행위를 포함하는 가상수술데이터를 획득할 수 있다. 예컨대, 가상수술데이터는 가상신체모델 상에 가상수술을 수행한 수술부위를 포함하는 가상수술영상일 수도 있고, 가상신체모델 상에 수행된 수술동작에 대해 기록된 데이터일 수도 있다.
다음으로, 컴퓨터는 가상신체모델로부터 실제수술영상에 대응하는 가상수술영상을 획득할 수 있다.
상술한 바와 같이 가상신체모델을 이용한 가상수술의 경우, 실제 수술 대상자에 대해 수행되는 실제수술 과정과 동일하게 시뮬레이션될 수 있다. 즉, 실제수술 과정과 가상신체모델을 이용한 가상수술 과정은 동기화될 수 있다. 예를 들어, 컴퓨터는 실제 의료진들이 실제수술을 수행함에 따라 실제수술데이터를 획득할 수 있고, 획득된 실제수술데이터를 기초로 가상신체모델 상에 실제수술과 동일하게 동작을 따라할 수 있다. 그 결과로 가상수술데이터를 생성할 수 있다. 여기서, 실제수술데이터는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다. 또한 가상수술데이터는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다. 따라서, 컴퓨터는 실제수술데이터 및 가상수술데이터에 기초하여, 실제수술 과정에서 획득된 실제수술영상과 동일한 시점의 가상수술영상을 가상신체모델을 통한 시뮬레이션 결과로부터 획득할 수 있다.
일 실시예로, 컴퓨터는 실제수술영상을 촬영한 카메라 정보에 기초하여 가상신체모델로부터 상기 카메라 정보에 대응하는 가상수술영상을 획득할 수 있다. 이때, 카메라 정보는 실제수술영상을 촬영한 시점의 카메라에 대한 위치 정보 및 방향 정보를 포함할 수 있다.
예를 들어, 컴퓨터는 현재 실제수술이 진행되고 있는 현재시점에서 카메라에 의해 촬영된 실제수술영상을 획득할 수 있고, 이때 획득된 현재시점에서의 실제수술영상을 기초로 이를 촬영한 카메라의 위치 정보 및 방향 정보를 파악할 수 있다. 실제수술 시 수술경로를 따라 카메라가 이동하면서 수술영역(수술부위 및 수술도구 포함)을 촬영하므로, 컴퓨터는 실제수술영상 내 수술영역의 위치를 이용하여 카메라의 상대적인 위치 및 방향을 산출할 수도 있고, 또는 카메라의 위치를 파악하기 위해 구비된 센서 등으로부터 직접적으로 카메라의 위치 및 방향 정보를 획득할 수도 있다.
카메라의 위치 및 방향 정보를 산출하는 다른 예로, 컴퓨터는 신체내부에 존재하는 특정 장기에 대한 특징정보를 기초로 카메라의 상대적인 위치 및 방향 정보를 산출할 수도 있다. 컴퓨터는 실제수술 시 수술경로를 따라 이동하는 카메라에 의해 촬영되는 실제수술영상을 획득하고, 이로부터 신체내부의 특정 장기에 대한 특징정보를 추출할 수 있다. 컴퓨터는 특정 장기에 대한 특징정보를 바탕으로 특정 장기의 종류, 신체내부에서의 위치 등의 정보를 파악할 수 있고, 이러한 특정 장기에 대한 정보(즉, 신체내부에서의 위치 정보)를 이용하여 카메라의 상대적인 위치 및 방향을 산출할 수 있다.
따라서, 컴퓨터는 수술 대상자의 신체내부에 위치하는 실제 카메라의 위치 및 방향 정보를 산출하여 이를 가상신체모델에 적용함으로써, 현재시점의 실제수술영상과 대응하는 가상수술영상을 획득할 수 있다.
또한, 컴퓨터는 가상신체모델 상에 상기와 같이 산출된 실제 카메라의 위치 및 방향 정보와 동일하게 카메라 정보를 설정하고, 실제 수술도구의 위치 및 동작을 적용할 수 있다. 이때, 컴퓨터는 가상신체모델로부터 실제 카메라의 방향 정보에 해당하는 영역뿐만 아니라 다른 방향에 존재하는 영역을 획득할 수 있다. 즉, 컴퓨터는 가상신체모델로부터 수술영역을 비롯하여 주변영역에 대응하는 가상수술영상을 획득할 수 있다. 다시 말해, 가상수술영상이라 함은, 가상신체모델로부터 획득된 주변영역에 대응하는 가상영상을 의미할 수 있다.
컴퓨터는 단계 S110에서 획득한 가상수술영상을 기초로 실제수술영상 내 수술영역의 주변영역을 추가하여 제공할 수 있다(S120).
일 실시예로, 컴퓨터는 가상수술영상으로부터 주변영역정보를 획득하고, 획득된 주변영역정보를 이용하여 실제수술영상 상에 주변영역을 추가하여 표시할 수 있다.
주변영역정보는, 수술부위의 주변에 위치한 주변영역에 대한 정보로서, 수술부위의 주변에 위치한 신체내부 영역 및 수술도구를 포함할 수 있다. 도 3을 참조하여 설명한 바와 같이, 주변영역(220)은 카메라의 시야 범위를 벗어나는 영역이므로, 실제수술영상(200)에서는 제공되지 않는다. 그러나, 본 발명의 실시예에 따르면 가상신체모델을 통해서 주변영역(220)에 대한 정보, 즉 신체내부 영역 정보나 수술도구 정보를 획득할 수 있으므로, 이를 활용하여 실제수술영상(200) 상에 표현해 줄 수 있다.
상술하였듯 가상신체모델을 통한 시뮬레이션을 수행할 때, 컴퓨터는 실제수술영상을 촬영한 실제 카메라의 위치 및 방향과 상응하도록 가상신체모델 상에 카메라를 적용하여 가상수술을 수행할 수 있다. 이때 가상신체모델 상에서는 실제 카메라가 바라보는 방향에 존재하는 수술영역을 포함하는 가상수술영상뿐만 아니라, 실제 카메라가 바라보는 방향 이외의 다른 방향에 존재하는 영역(주변영역)을 포함하는 가상수술영상도 획득할 수 있다. 따라서, 컴퓨터는 가상신체모델로부터 실제 카메라의 시야 범위를 벗어나는 주변영역에 대한 정보를 획득할 수 있으므로, 이를 이용하여 실제수술영상 상에 수술영역과 함께 주변영역을 표시하여 줄 수 있다.
한편, 실제수술을 수행할 때, 수술도구의 동작에 의해 수술부위뿐만 아니라 수술부위 이외의 부위에도 영향을 미칠 수 있다. 특히, 수술부위의 주변에 위치하는 신체내부 영역(주변영역)의 경우 수술도구의 동작이나 수술부위 자체의 변화에 따라 함께 변화가 발생할 수 있다. 여기서, 수술부위는 현재 수술이 진행되고 있는 신체내부의 장기, 혈관, 조직 등과 같은 객체일 수 있고, 수술부위의 주변에 위치하는 신체내부 영역(주변영역)은 수술부위의 객체와 연결된 일부분일 수도 있고 수술부위의 객체와 연계되거나 혹은 수술부위와 다른 객체일 수도 있다.
이와 같이, 실제수술 시 수술영역(수술부위 혹은 수술도구)의 변화에 따라 주변영역에도 변화가 발생하는 경우, 본 발명의 실시예에 따르면 가상신체모델을 통해 주변영역의 변화를 획득하고 이를 실제수술영상 상에 제공하여 줄 수 있다.
일례로, 수술도구의 말단부가 혈관이나 조직 등과 같은 수술부위를 잡아 당기거나 자르거나 등의 수술동작을 수행하게 되면 수술부위와 연결된 주변영역 내의 신체내부 부위에도 상태 변화나 변형이 발생할 수 있다. 이와 같은 경우, 실제수술영상을 통해서는 주변영역의 변화를 파악할 수 없다. 그러나, 본 발명의 일 실시예에서는, 컴퓨터가 가상신체모델을 이용하여 수술 대상자의 실제수술과 동일하게 시뮬레이션하여 주변영역에 해당하는 수술 대상자의 신체내부 변화를 도출하고, 도출된 신체내부 변화를 포함하는 가상수술영상을 생성할 수 있다. 또한, 컴퓨터는 신체내부 변화를 포함하는 가상수술영상으로부터 신체내부 변화(즉, 주변영역정보)를 추출할 수 있고, 이러한 신체내부 변화를 실제수술영상의 주변영역 상에 표현할 수 있다.
다른 예로, 실제수술 시 수술동작의 시야를 확보하기 위해서 일부 수술도구는 주변영역의 신체내부 부위를 잡고 있는 동작을 할 수 있으며, 이때 수술도구는 카메라의 시야 범위를 벗어난 주변영역에 위치하기 때문에 실제수술영상을 통해서는 수술도구의 위치나 동작을 파악할 수 없다. 또 다른 예로, 일반적으로 수술도구의 말단부는 수술영역에 배치되어 동작하고 말단부와 연결된 암 부분은 주변영역에 위치하게 되므로, 실제수술영상을 통해서 말단부의 움직임이나 위치 등의 상태는 표시되나 암 부분은 표시되지 않는다. 즉, 카메라의 시야 범위를 벗어나는 수술도구(예컨대, 암 부분)의 경우 실제수술영상을 통해서 제공되지 않으므로, 수술도구의 이동이나 움직임이 발생함에 따라 수술도구 간의 충돌이나 수술도구와 신체내부 객체(예: 장기, 혈관, 조직 등) 간의 충돌 등이 발생할 수 있다. 이와 같은 경우, 본 발명의 일 실시예에서는, 컴퓨터가 가상신체모델로부터 주변영역을 포함하는 가상수술영상을 획득할 수 있고, 획득된 가상수술영상으로부터 주변영역에 존재하는 수술도구(예컨대, 암 부분)에 대한 정보(즉, 주변영역정보)를 추출할 수 있다. 컴퓨터는 추출된 수술도구(예컨대, 암 부분)를 실제수술영상 상에 추가하여 표시할 수 있다. 이때, 컴퓨터는 주변영역에 존재하는 수술도구(예컨대, 암 부분)가 수술 대상자의 신체내부 객체(예: 장기, 혈관, 조직 등)와 충돌하는지 여부, 또는 주변영역에 존재하는 수술도구(예컨대, 암 부분)가 다른 수술도구와 충돌이 발생하는지 여부 등을 판단할 수 있고, 판단 결과를 제공할 수 있다.
또 다른 예로, 수술도구를 교체하거나 닦는 등과 같은 경우에는 신체내부로부터 수술도구를 빼내고 다시 삽입하는 과정을 거치게 되는데, 이때 카메라는 줌인(zoom in) 상태이고 수술도구는 천천히 이동을 하고 있는 상태이므로, 수술도구는 상당 시간동안 카메라의 시야 범위를 벗어난 상태로 존재하게 된다. 즉, 수술도구가 카메라의 시야를 벗어나 있기 때문에, 실제수술영상을 통해서는 수술도구의 위치나 움직임 등을 파악할 수 없다. 이와 같은 경우, 본 발명의 일 실시예에서는, 컴퓨터가 현재 수술도구의 위치 정보를 산출하고, 산출된 수술도구의 위치 정보를 기초로 가상신체모델에 적용하여 구현한 후, 현재 수술도구의 상태를 포함하는 가상수술영상을 생성할 수 있다. 컴퓨터는 가상수술영상으로부터 수술도구의 현재 상태를 포함하는 이미지 정보를 획득하고, 이를 실제수술영상의 주변영역 상에 추가하여 표시할 수 있다. 여기서, 현재 수술도구의 위치 정보를 산출함에 있어서, 다양한 방식을 사용할 수 있다. 예를 들어, 컴퓨터는 수술로봇 시스템으로부터 실제 수술도구의 위치 정보를 직접 획득할 수 있다. 또는, 컴퓨터는 수술로봇의 좌표정보(좌표계)를 이용하여 실제 수술도구의 위치 정보를 획득하고, 이를 다시 가상신체모델 상의 좌표정보(좌표계)로 변환하는 방식으로 수술도구의 위치 정보를 산출할 수 있다. 또는, 컴퓨터는 수술도구의 위치 정보를 센싱하는 센싱장치를 이용하여 수술도구의 위치 정보를 획득할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 실제수술영상 상에 주변영역을 추가하여 표시한 일례를 도시한 도면이다.
도 9에 도시된 도면은 본 발명의 일 실시예에 따른 수술영상 제공 방법에 따라 제공되는 실제수술영상(300)에서 주변영역(320)을 추가하여 표시한 화면일 수 있다.
도 9에 도시된 주변영역(320)은 실제수술 시 카메라에 의해서는 촬영되지 않는 영역(도 8에 도시된 220)이지만, 본 발명에 따르면 상술한 바와 같이 가상신체모델의 가상수술영상을 통해서 실제수술 시와 동일하게 생성하여 제공될 수 있다.
일 실시예로, 주변영역(320)에는 수술부위(311)의 주변에 위치하는 신체내부 부위(321) 및 수술도구의 말단부와 연결된 암 부분(322,323, 324)을 포함할 수 있다. 예를 들어, 컴퓨터는 가상신체모델에 실제수술과 동일하게 동작을 수행함에 따라 수술부위(311)의 주변에 위치하는 장기, 혈관, 조직 등과 같은 신체내부 부위(321) 및 암 부분(322,323, 324)의 배치 상태 등을 획득할 수 있다. 그리고 이를 실제수술영상(300)에 결합하여 표시할 수 있다.
본 발명의 일 실시예에 따르면, 도 9에 도시된 것처럼, 주변영역(320)은 점선이나 반투명 등과 같은 형태로 신체내부 부위(321) 및 수술도구의 암 부분(322,323, 324)을 가이드할 수 있다. 이와 같이 주변영역(320)을 가이드 정보로 제공함으로써, 실제수술영상(300)과 대비되는 효과를 가져올 수 있다. 또는, 다른 실시예로, 컴퓨터는 주변영역(320)을 실제수술영상(300)의 일부(즉, 실제수술영상(300)을 확장한 형태)로 보이도록 표시하여 제공할 수도 있다. 예를 들어, 컴퓨터는 유저 인터페이스(User Interface)를 통해 사용자로부터 주변영역(320)을 가이드 형태로 표현할지 실제수술영상(300)을 확장한 형태로 표현할지를 입력 받아 그에 따라 수술영상을 제공하여 줄 수 있다.
상술한 바와 같은 본 발명에 따르면, 실제수술 시에는 카메라의 시야로 인해 확보되지 않는 영상 부분을 가상신체모델을 이용한 가상수술영상을 통해 제공함으로써, 보다 확장된 수술 시야를 제공할 수 있다.
또한 상술한 바와 같은 본 발명에 따르면, 실제 수술과 동일하게 실시간으로 수술도구의 움직임 및 수술부위의 변화를 획득하여 수술영상 상에 표시함으로써, 실제 수술을 수행하는 의료진들에게 보다 정확하고 효과적으로 수술을 수행할 수 있게 한다.
도 10은 본 발명의 일 실시예에 따른 수술영상을 제공하는 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
도 10을 참조하면, 프로세서(410)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 6 내지 도 9와 관련하여 설명된 수술영상을 제공하는 방법을 수행한다.
예를 들어, 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술 대상자에 대한 실제수술영상을 획득하고, 실제수술영상에 대응하는 수술 대상자의 가상수술영상을 획득하고, 가상수술영상을 기초로 실제수술영상 내 수술영역의 주변영역을 추가하여 제공할 수 있다.
한편, 프로세서(410)는 프로세서(410) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(410)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(420)에는 프로세서(410)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(420)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 수술영상 제공 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
한편 상기에서 설명된 본 발명의 실시예들에서, 프로그램은, 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (18)

  1. 컴퓨터가 수행하는 수술영상 제공 방법에 있어서,
    수술도구의 암(arm)을 포함하는 현재시점의 실제수술 영상을 획득하는 단계;
    상기 현재시점의 실제수술 영상에서 상기 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 판단하여, 상기 현재시점 보다 이전시점의 실제수술 영상을 획득하는 단계;
    상기 이전시점의 실제수술 영상으로부터 상기 신체내부 영역에 대응하는 대응영역을 추출하는 단계; 및
    상기 추출된 대응영역을 기초로 상기 현재시점의 실제수술 영상에서 상기 수술도구의 암을 제거하여 상기 신체내부 영역을 복원하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  2. 제1항에 있어서,
    상기 현재시점의 실제수술 영상은,
    상기 수술도구의 암과 연결된 말단부의 동작에 의해 변화가 발생하는 수술부위 및 상기 수술부위의 주변부위를 포함하며,
    상기 주변부위는,
    상기 수술도구의 암에 의해 가려지는 신체내부 영역을 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  3. 제2항에 있어서,
    상기 이전시점의 실제수술 영상을 획득하는 단계는,
    카메라의 위치 정보를 기반으로 상기 주변부위를 포함하는 상기 이전시점의 실제수술 영상을 획득하는 것을 특징으로 하는 수술영상 제공 방법.
  4. 제1항에 있어서,
    상기 대응영역을 추출하는 단계는,
    상기 이전시점의 실제수술 영상으로부터 상기 수술도구를 제외한 배경 이미지를 추출하는 단계; 및
    상기 배경 이미지를 기초로 상기 대응영역을 추출하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  5. 제1항에 있어서,
    상기 신체내부 영역을 복원하는 단계는,
    상기 현재시점의 실제수술 영상에서 상기 수술도구의 암을 제거하는 단계; 및
    상기 제거된 영역에 상기 추출된 대응영역을 합성하여 상기 신체내부 영역을 복원하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  6. 제2항에 있어서,
    상기 신체내부 영역을 복원하는 단계는,
    상기 주변부위가 상기 수술도구의 말단부의 동작에 의해 변화가 발생하는 경우,
    가상신체모델을 이용하여 시뮬레이션한 결과를 통해 상기 주변부위의 변화를 획득하는 단계; 및
    상기 주변부위의 변화를 상기 현재시점의 실제수술 영상에 반영하여 상기 신체내부 영역을 복원하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  7. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술도구의 암(arm)을 포함하는 현재시점의 실제수술 영상을 획득하는 단계;
    상기 현재시점의 실제수술 영상에서 상기 수술도구의 암에 의해 가려지는 신체내부 영역이 존재하는지 판단하여, 상기 현재시점 보다 이전시점의 실제수술 영상을 획득하는 단계;
    상기 이전시점의 실제수술 영상으로부터 상기 신체내부 영역에 대응하는 대응영역을 추출하는 단계; 및
    상기 추출된 대응영역을 기초로 상기 현재시점의 실제수술 영상에서 상기 수술도구의 암을 제거하여 상기 신체내부 영역을 복원하는 단계를 수행하는 것을 특징으로 하는 장치.
  8. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
  9. 컴퓨터가 수행하는 수술영상 제공 방법에 있어서,
    수술 대상자에 대한 실제수술영상을 획득하는 단계;
    상기 실제수술영상에 대응하는 상기 수술 대상자의 가상수술영상을 획득하는 단계; 및
    상기 가상수술영상을 기초로 상기 실제수술영상 내 수술영역의 주변영역을 추가하여 제공하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  10. 제9항에 있어서,
    상기 수술영역은,
    상기 수술 대상자의 실제수술 시에 카메라에 의해 촬영되는 영역으로, 상기 수술 대상자의 수술부위 및 수술도구 중 적어도 하나를 포함하며,
    상기 주변영역은,
    상기 수술영역의 주변에 위치하되, 상기 카메라의 촬영 범위를 벗어난 영역인 것을 특징으로 하는 수술영상 제공 방법.
  11. 제9항에 있어서,
    상기 가상수술영상을 획득하는 단계는,
    상기 수술 대상자에 대한 가상신체모델을 획득하는 단계; 및
    상기 실제수술영상을 촬영한 카메라 정보에 기초하여 상기 가상신체모델로부터 상기 카메라 정보에 대응하는 상기 가상수술영상을 획득하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  12. 제11항에 있어서,
    상기 가상신체모델은,
    상기 수술 대상자의 신체내부를 촬영한 의료영상데이터를 기반으로 생성된 3차원 모델링 데이터이며,
    상기 카메라 정보는,
    상기 실제수술영상을 촬영한 시점의 카메라에 대한 위치 정보 및 방향 정보를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  13. 제9항에 있어서,
    상기 주변영역을 추가하여 제공하는 단계는,
    상기 가상수술영상으로부터 상기 주변영역에 대한 주변영역정보를 획득하는 단계; 및
    상기 주변영역정보를 이용하여 상기 실제수술영상 상에 상기 주변영역을 추가하여 표시하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  14. 제13항에 있어서,
    상기 주변영역정보를 획득하는 단계는,
    상기 수술 대상자에 대한 가상신체모델을 이용하여 상기 수술 대상자의 실제수술과 동일하게 시뮬레이션하여 상기 주변영역에 해당하는 상기 수술 대상자의 신체내부 변화를 도출하는 단계; 및
    상기 신체내부 변화를 포함하는 가상수술영상으로부터 상기 신체내부 변화를 추출하여 상기 주변영역정보로 획득하는 단계를 포함하는 것을 특징으로 하는 수술영상 제공 방법.
  15. 제13항에 있어서,
    상기 주변영역정보를 획득하는 단계는,
    상기 가상수술영상으로부터 상기 주변영역에 존재하는 수술도구의 암(arm) 부분을 추출하여 상기 주변영역정보로 획득하는 것을 특징으로 하는 수술영상 제공 방법.
  16. 제15항에 있어서,
    상기 주변영역을 추가하여 표시하는 단계는,
    상기 수술도구의 암 부분을 상기 실제수술영상 상에 추가하여 표시하되,
    상기 수술도구의 암이 상기 수술 대상자의 신체내부와 충돌하는지 여부를 판단하여 제공하는 것을 특징으로 하는 수술영상 제공 방법.
  17. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술 대상자에 대한 실제수술영상을 획득하는 단계;
    상기 실제수술영상에 대응하는 상기 수술 대상자의 가상수술영상을 획득하는 단계; 및
    상기 가상수술영상을 기초로 상기 실제수술영상 내 수술영역의 주변영역을 추가하여 제공하는 단계를 수행하는 것을 특징으로 하는 장치.
  18. 하드웨어인 컴퓨터와 결합되어, 제9항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2019/002090 2018-02-20 2019-02-20 수술영상 제공 방법 및 장치 WO2019164272A1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR10-2018-0019866 2018-02-20
KR10-2018-0019868 2018-02-20
KR10-2018-0019867 2018-02-20
KR20180019867 2018-02-20
KR20180019868 2018-02-20
KR20180019866 2018-02-20
KR1020180131478A KR102013837B1 (ko) 2018-02-20 2018-10-31 수술영상 제공 방법 및 장치
KR10-2018-0131478 2018-10-31
KR1020180140050A KR20190100009A (ko) 2018-02-20 2018-11-14 수술영상 제공 방법 및 장치
KR10-2018-0140050 2018-11-14

Publications (1)

Publication Number Publication Date
WO2019164272A1 true WO2019164272A1 (ko) 2019-08-29

Family

ID=67687811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002090 WO2019164272A1 (ko) 2018-02-20 2019-02-20 수술영상 제공 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2019164272A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106834A (ko) * 2009-03-24 2010-10-04 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
KR20110059828A (ko) * 2011-05-16 2011-06-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
KR101374709B1 (ko) * 2006-06-29 2014-03-17 인튜어티브 서지컬 인코포레이티드 컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치
JP5520378B2 (ja) * 2009-08-07 2014-06-11 ユーシーエル ビジネス ピーエルシー ２つの医用画像を位置合わせするための装置および方法
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374709B1 (ko) * 2006-06-29 2014-03-17 인튜어티브 서지컬 인코포레이티드 컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치
KR20100106834A (ko) * 2009-03-24 2010-10-04 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
JP5520378B2 (ja) * 2009-08-07 2014-06-11 ユーシーエル ビジネス ピーエルシー ２つの医用画像を位置合わせするための装置および方法
KR20110059828A (ko) * 2011-05-16 2011-06-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Similar Documents

Publication Publication Date Title
KR102013837B1 (ko) 수술영상 제공 방법 및 장치
WO2019132614A1 (ko) 수술영상 분할방법 및 장치
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2019132169A1 (ko) 수술영상 재생제어 방법, 장치 및 프로그램
WO2018048000A1 (ko) 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
WO2018155894A1 (ko) 영상 정합 장치 및 영상 정합 방법
WO2015099427A1 (ko) 의료용 바늘의 삽입 경로의 생성 방법
WO2010093152A2 (ko) 수술 로봇 시스템 및 그 제어 방법
WO2014077613A1 (ko) 정복 시술 로봇 및 그의 구동 제어 방법
WO2014208971A1 (en) Ultrasound image display method and apparatus
JP2024008966A (ja) ロボット操作手術器具の位置を追跡システムおよび方法
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
EP2829218A1 (en) Image completion system for in-image cutoff region, image processing device, and program therefor
WO2016072586A1 (en) Medical image processing apparatus and method
WO2017183945A1 (ko) 3차원 모델 기반 하악골 우각부 절제 수술용 가이드 기구 및 그 제조 방법
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2021206518A1 (ko) 수술 후 수술과정 분석 방법 및 시스템
WO2010058927A2 (ko) 안면 영상 촬영장치
WO2019164272A1 (ko) 수술영상 제공 방법 및 장치
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2022108387A1 (ko) 임상 기록 데이터 생성 방법 및 장치
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
WO2023008818A1 (ko) Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19757878

Country of ref document: EP

Kind code of ref document: A1