WO2014175608A1 - Method for comparing preoperative respiratory level with intraoperative respiratory level - Google Patents

Method for comparing preoperative respiratory level with intraoperative respiratory level Download PDF

Info

Publication number
WO2014175608A1
WO2014175608A1 PCT/KR2014/003431 KR2014003431W WO2014175608A1 WO 2014175608 A1 WO2014175608 A1 WO 2014175608A1 KR 2014003431 W KR2014003431 W KR 2014003431W WO 2014175608 A1 WO2014175608 A1 WO 2014175608A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
operating room
preoperative
level
image template
Prior art date
Application number
PCT/KR2014/003431
Other languages
French (fr)
Korean (ko)
Inventor
서준범
박창민
김남국
Original Assignee
재단법인 아산사회복지재단
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130046939A external-priority patent/KR101464330B1/en
Priority claimed from KR1020130046926A external-priority patent/KR101529659B1/en
Priority claimed from KR1020130046936A external-priority patent/KR101513229B1/en
Application filed by 재단법인 아산사회복지재단, 서울대학교병원 filed Critical 재단법인 아산사회복지재단
Publication of WO2014175608A1 publication Critical patent/WO2014175608A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022Stereoscopic imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12Devices for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Definitions

  • This disclosure relates generally to a method of comparing preoperative respiratory level and operating room respiratory level (METHOD OF COMPARING PREOPERATIVE RESPIRATORY LEVEL WITH INTRAOPERATIVE RESPIRATORY LEVEL). It is about how to compare levels.
  • Volume graphics is a field of computer graphics that deals with the visualization of objects represented by sample data having three or more dimensions. These samples, called volume elements or voxels, contain digital information representing the physical characteristics of the object. For example, the voxel data of a particular object may represent density, type of material, temperature, speed, or other property in discrete points, in space, throughout the interior and surroundings of the object.
  • Volume Rendering is a form of digital signal processing, which gives each voxel of a voxel-based representation color and transparency. to be.
  • Each of these voxels, given their color and transparency, is projected onto a two-dimensional viewing surface, such as a computer screen, where the background voxels are applied to the foreground opaque voxels. It is hidden by the form. This accumulation of projected voxels results in a visual image of the object.
  • Volume Rendering renders a volume or volume data set, which is the volume of data points called volume elements or voxels. It consists of a 3-D array of data points, a voxel is a three-dimensional counterpart of a pixel that contains color and transparency information, and changes the color and transparency of the object to You can see the outside and inside in different forms, for example, a doctor who wants to look at the ligaments, tendons, and bones of a knee before surgery can make blood, skin, and muscles appear completely transparent in a tomography scan of the knee. .
  • three-dimensional volume data sets or three-dimensional volume data such as CT images, MRI images, PET images, etc. can be utilized using this volume rendering technique (not necessarily limited to volume rendering techniques, It is usefully used.), Displayed on a monitor, and using the displayed image, it is possible to use a variety of methods, such as preparing for surgery, planning a surgery, using a surgical navigation apparatus, or using during surgery.
  • FIGS. 1 and 2 are diagrams illustrating an example of conventional interventional surgery.
  • a specific breathing level A of a patient before surgery eg, a state in which the patient inhales or exhales as much as possible
  • operation S100 a 3D image 100 of the patient is obtained.
  • a medical 3D image acquisition device such as a CT device, a Cone-beam CT (CBCT) device, or an MRI device may be used.
  • the surgery is planned using the obtained three-dimensional image 100 (S200).
  • a path 300 is inserted to insert a biopsy needle into the patient's target 200.
  • the image acquisition device eg, Fluoroscopy device, CBCT device; 400 placed in the operating room is moved to the path 300 planned in step S200, that is, the biopsy needle ( 500 is aligned with the same orientation as the orientation 300 to be inserted (S300).
  • the patient's breathing level (A) when acquiring the preoperative 3D image 100 is the patient's breathing level at the current operating room.
  • the patient should be breathed at a specific breathing level (A: the patient inhales or exhales as much as possible), and then includes the affected part using the image acquisition device 400 in the operating room.
  • the patient's breathing level (B) should be matched with the patient's breathing level (A) when acquiring a preoperative 3D image (S400).
  • the doctor's intuition is used here. In a method that does not depend on the physician's intuition, the respiratory level (A) when acquiring the pre-operative 3D image 100 is recorded on a computer, and then the respiratory level of the patient is continuously recorded at the operating room, and the two are compared When the patient's respiratory level (B) is the same as the respiratory level (A), it can be notified by an alarm sound, or the biopsy needle 500 can be configured to operate automatically.
  • Respiration level (A, B) can be applied to the conventional method of measuring the breath (for example, pressure belt type, breath meter using the InfraRed marker, etc.).
  • the biopsy needle 500 into the human body, it is possible to insert the surgical tool in the human body in the planned orientation (300) (S500).
  • the three-dimensional image 100 and the patient's image 600 used in FIG. 2 are for illustrative purposes and will be easily understood by those skilled in the art.
  • US Patent No. 5,368,844 is mentioned.
  • the method comprises: acquiring a three-dimensional image including an According to one aspect of the present disclosure and a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template according to at least one reference path; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; and the preoperative respiratory level characterized in that it comprises a; A method of comparing operating room respiration levels is provided.
  • obtaining a three-dimensional image including a Surgical Target Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template continuously provided over time according to at least one reference path; and, the comparison line provided in the preoperative image template and the operating room image template Comparing the respiratory level at the operating room and the respiratory level in the step of obtaining a three-dimensional image using a comparison line; Is provided.
  • acquiring a three-dimensional image including a Surgical Target Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; wherein the preoperative image template includes a plurality of medical images, the preoperative image template Generating a; Generating an intraoperative image template continuously provided over time according to at least one reference path in the operating room; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; including, in the comparing step, Among the plurality of medical images of the template, a method of comparing the preoperative breathing level and the operating room breathing level, characterized by finding the medical image closest to the operating room image template and displaying the affected part on the medical image together with the operating room image template. Is provided.
  • FIG 1 and 2 are views for explaining an example of conventional interventional surgery (intervention surgery)
  • 3 and 4 are views for explaining an example of a method of comparing the preoperative respiratory level and the operating room respiratory level according to the present disclosure
  • FIG. 5 is a view showing an example of a method of creating a pre-operative image template
  • FIG. 6 is a diagram illustrating an example of a display screen according to the present disclosure.
  • FIG. 7 is a view showing an example of a method of comparing the pre-operative image template and the operating room image template
  • FIG. 8 is a diagram illustrating an example of a method of generating a comparison line from an operating room image template
  • FIG. 9 is a diagram illustrating an example of an edge detection method according to the present disclosure.
  • FIG. 10 illustrates an example of a display screen according to the present disclosure.
  • 3 and 4 are diagrams illustrating an example of a method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure.
  • a three-dimensional image 10 including the affected part 20 is obtained. (S10).
  • at least one reference path 30, 31 is set in the 3D image 10 (S20).
  • a preoperative image template 11 corresponding to at least one reference path 30, 31 is generated from the 3D image 10 (S30).
  • an intraoperative image template 12 is generated in accordance with at least one reference path 30 or 31 at the operating room (S40).
  • the respiratory level at step S10 of obtaining the three-dimensional image 10 is compared with the respiratory level at the operating room ( S50).
  • the affected part 20 is not limited to a person, but may extend to an animal that breathes.
  • the 3D image 10 may be a CT image, an MRI image, a PET image, a 3D ultrasound image, or the like. Via the device, it can be acquired in advance, stored in the computer 70, displayed via the monitor 71, and used by the user through the computer 70.
  • the CT image and the CBCT image are used as the 3D image 10. This is because the CT image is suitable for imaging the internal organs that interlock with the breath.
  • the concept of preoperative is a relative time concept, which can be obtained before the patient enters the operating room, but within the operating room, the CT device, the CBCT device, etc. can be obtained, and the surgical plan can be made.
  • one volume data set may be created before entering the operating room, and another volume data set may be created at the operating room.
  • Reference paths 30 and 31 are established in the course of planning the surgery.
  • Reference paths 30 and 31 may be, for example, insertion paths of surgical instruments (eg, biopsy needles; see FIG. 2).
  • the reference paths 30 and 31 can be determined by setting the entry point 32 and the orientation (the direction of the surgical tool, the vector) at which the surgical instrument enters the patient's body.
  • the present disclosure can also be applied to surgery in which the surgical instrument is not inserted into the human body. For example, as a starting point 32, a point at which the patient is to be incised with a surgical instrument is set, and the reference paths 30 and 31 can be determined by setting the line with the point and the lesion.
  • the present disclosure may be applied not only to surgical operations and surgical intervention procedures, but also to medical treatment and laser treatment.
  • the method of the present disclosure can be applied to set the orientation to which the laser will be irradiated in the preoperative 3D image 10 and to check the breathing level of the patient at the operating room. Therefore, in the present disclosure, the term surgery should be understood as a comprehensive medical act including a surgical operation, a surgical intervention procedure, a diagnostic act, and the like.
  • the accuracy of the respiration level comparison can be further improved.
  • the intraoperative image was taken with the reference path 30 set before the operation, it is possible to have various advantages, such as being able to use the reference path 31 that is well visible, in case the lesion is not easily seen.
  • the preoperative image template 11 includes at least one medical image corresponding to the at least one reference path 30, 31. Also, the preoperative image template 11 may include a plurality of medical images obtained from one reference path 30.
  • the pre-operative image template 11 preferably has a similar shape to that obtained by the image acquisition device 40. For example, when the image acquired by the image acquisition device 40 is a two-dimensional fluoroscopy image and the three-dimensional image 10 is a CT image, a parallel or perspective ray summ algorithm (Ray) Sum Algorithm) By using the Maximum Intensity Projection (MIP) or Minimum Intensity Projection (MinIP), it is possible to obtain an image similar to a perspective image with respect to at least one reference path (30, 31), which is a known technique. .
  • MIP Maximum Intensity Projection
  • MinIP Minimum Intensity Projection
  • the operating room image template 12 also includes at least one medical image corresponding to the at least one reference path 30, 31.
  • devices such as C-arm, Cone-beam can be used, but are not limited to this, and adjust the orientation to the patient. Any device may be used as long as the device can be used. Preferably, Fluoroscopy images are used which allow the generation of continuous two-dimensional images.
  • the operating room image template 12 may be an image 13 obtained by the image acquisition device 40 or may be generated by processing the image 13 as necessary.
  • the image 13 or operating room image template 12 is acquired by the image acquisition device 40, stored and processed in the computer 80, and displayed on the monitor 81.
  • the computer 80 and the computer 70 may interwork.
  • the computer 80 may use the preoperative image template 11 without storing it separately.
  • the computer 80 also performs a function of comparing the preoperative image template 11 and the operating room image template 12. This process can be displayed on the monitor 81.
  • the two templates 11 and 12 coincide with each other to some extent, it is also possible to sound an alarm or display the degree of the match numerically.
  • methods such as Mean Squares Difference, Normalized Correlation, Pattern Intensity, and Mutual Information may be used.
  • FIG. 5 is a diagram illustrating an example of a method for creating a preoperative image template, in which the preoperative image template 11 includes five medical images 11a, 11b, 11c, 11d, and 11e.
  • the five medical images 11a, 11b, 11c, 11d, and 11e consist of at least one actual medical image and at least one predictive medical image.
  • the medical image 11a is generated along the reference path 30 from the actually photographed three-dimensional image 10 and the remaining medical images 11b, 11c, 11d, and 11e are based on the medical image 11a.
  • By predicting the movement of the affected part 20 according to the breath can be generated based on the experience of the doctor.
  • this pre-operative image template 11 when used with the operating room image template 12 in the operating room, it is possible to more easily determine the breathing level of the patient.
  • two medical images 11a and 11e can be generated from an actual medical image.
  • two three-dimensional images 10 are required, and once the CT image is taken in a fully inhaled state and the CT image is taken in a fully exhaled state, two three-dimensional images 10 may be obtained. From each of these two medical images 11a and 11e can be obtained along the reference path 30.
  • two actual captured medical images 11a and 11e that is, using at least two or more actual captured medical images 11a and 11e, the accuracy of the predicted medical images 11b, 11c and 11d is increased. It becomes possible.
  • the accuracy of the prediction can be further improved.
  • the medical image 11c may be generated through actual imaging.
  • the movement of the affected part 20 according to the respiration level can be represented very accurately, and the operating room image template 12 is
  • the comparison between each other can be made easier.
  • the preoperative image template 11 may be made using thin plate warping, bspline warping, or the like.
  • FIG. 6 is a diagram illustrating an example of a display screen according to the present disclosure and may be understood as one graphical user interface (GUI). It is possible to display the preoperative image template 11 and the operating room image template 12 simultaneously, but depending on the performance of the computer and in terms of time consumption, there are cases where it is difficult or unnecessary. As shown in FIG. 6, in the state where only the operating room image template 12 is shown, the similarity with the preoperative image template 11 is calculated by a computer internal process, and as the similarity increases on the display, the color of the screen becomes darker. In other words, it can be expressed in a visual or audible manner intuitively, such as by expressing through a color, or by giving a flickering.
  • GUI graphical user interface
  • a portion that can be compared from the pre-image template 11 to be displayed as a comparison line (L1, L2, L3, L4, L5), it helps to understand the similarity between the two intuitively Can be. As the degree of similarity increases, it is also possible to change the color of the comparison lines L1, L2, L3, L4, and L5 to increase the intuitive power. It is also possible to display the pre-operative image template 11 and to obtain and display the required portion of the operating room image template 12. As a part to be compared, it is also possible to use an organ such as a diaphragm. In addition, it is possible to assist the operator by showing at least one of the compass 1000, the starting point 32, and the reference path 30 indicating the orientation.
  • the patient can adjust the breathing level by himself.
  • Surgery or interventional procedures e.g. biopsies, endoscopic procedures
  • medical robots using a master-slave system will leave the doctor at the operating room, but even in this case, by using the method according to the present disclosure, the patient will be able to breathe on their own You will have the advantage of matching them.
  • FIG. 7 is a diagram illustrating an example of a method of comparing a preoperative image template and an operating room image template, in which a comparison line 11-1 taken from the preoperative image template is displayed, and on the operating room image template 12.
  • the comparison line 12-1 is shown. 20 is affected.
  • the comparison line 11-1 may be generated automatically or manually in the process of forming the preoperative image template. By displaying the patient's breathing signals together, the comparison between the two can be helped.
  • a diaphragm can be used for the comparison line 11-1 and the comparison line 12-1.
  • FIG. 8 is a diagram illustrating an example of a method of generating a comparison line from an operating room image template, and a C-arm fluoroscopy image is illustrated as the operating room image template 12.
  • the diaphragm is used for the comparison line 12-1.
  • the edge detection method such as the enhancement method using the Hessian Matrix, as shown in FIG.
  • a method of finding the whole diaphragm by detecting and detecting the diaphragm edge portion may be used. This is done through the internal process of the computer.
  • the comparative line 12-1 in addition to the diaphragm, contrast-enhanced kidney, pulmonary vessels, bronchus, bone, or the like can be used.
  • the operating room image template 12 thus formed may be used to determine the breathing level of the patient in the operating room without the help of the preoperative image template 11.
  • the operating room image template 12 thus formed may be used to determine the breathing level of the patient in the operating room without the help of the preoperative image template 11.
  • identifying the movement of the comparison line 12-1 on the operating room image template 12 it is a matter of course that the movement of the affected area or organ near the comparison line 12-1 can be predicted.
  • the comparison line 11-1 obtained from the preoperative image template 11 is used as the target respiration level, and the diaphragm is extracted from the operating room image template 12 using the comparison line 12-1, and the image is displayed on the display.
  • the patient sees this display, the patient can adjust his or her breathing level while intuiting a change in color density, a change in the degree of flickering, an alarm sound, and the like. More preferably, in addition to adjusting the breathing level intuitively using visual and / or auditory, by quantifying and displaying the similarity evaluated through Mutual Information, etc., the patient can adjust the breathing level more comfortably (Fig. 7). Reference).
  • FIG. 10 is a diagram illustrating an example of a display screen according to the present disclosure, in which an affected part 20 obtained from a preoperative image template is displayed together on the operating room image template 12.
  • an affected part 20 obtained from a preoperative image template is displayed together on the operating room image template 12.
  • the operating room image template 12 is changed in real time (provided continuously in the course of time), a plurality of pre-operated image templates 11 are operated at the current respiration level through a computer internal process.
  • the intestinal image template 12 It is possible to match the intestinal image template 12, and for each image in the pre-operative image template 11, by separating the affected part 20 manually or automatically, the pre-operative image template 11 as necessary It is possible to display the affected part 20 obtained in the present invention on the operating room image template 12.
  • the affected part 20 may be augmented to be visually well represented using a known volume rendering technique, such as a specific color.
  • the affected area 20 may be obtained directly from the three-dimensional image 10, rather than from each image in the preoperative image template 11, but is not preferred.
  • At least one reference path is a plurality, and a plurality of preoperative image templates are generated for the plurality of reference paths.
  • At least one reference path is a path for insertion of a biopsy needle to compare the preoperative breathing level with the operating room breathing level.
  • the preoperative image template includes at least one of a fully inhaled medical image and a fully exhaled medical image.
  • the pre-operative image template comprises a plurality of medical images.
  • the preoperative respiratory level comprising at least one real medical image generated from a three-dimensional image and at least one predictive medical image predicted and generated from the at least one real medical image; To compare the respiratory level with the operating room.
  • At least one actual medical image comprises at least one of a fully inhaled medical image and a fully exhaled medical image.
  • (11) acquiring a 3D image including a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template continuously provided over time according to at least one reference path; And comparing the breathing level at the step of obtaining the 3D image with the breathing level at the operating room by using the comparison line provided in the preoperative image template and the comparison line provided in the operating room image template.
  • Method for comparing the preoperative breathing level and the operating room breathing level characterized in that.
  • An example of an operating room image template provided continuously over time may be a fluoroscopy image. Any type of image may be used as long as the image is obtained in real time.
  • the comparison line provided in the operating room image template is a diaphragm, the method of comparing the preoperative breathing level and the operating room breathing level.
  • a method of comparing the preoperative breathing level and the operating room breathing level characterized in that in the comparing step, the breathing signal is displayed together.
  • the preoperative breathing level and the operating room breathing level characterized in that it informs the proximity of the comparison line provided in the pre-operative image template of the comparison line provided in the operating room image template How to compare.
  • an operating room image template including a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; wherein the preoperative image template includes a plurality of medical images, the preoperative image template Generating a; Generating an intraoperative image template continuously provided over time according to at least one reference path in the operating room; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; including, in the comparing step, A method of comparing a preoperative respiratory level and a surgical respiratory level comprising finding a medical image closest to an operating room image template from among a plurality of medical images of the template and displaying the affected area on the medical image with the operating room image template.
  • An example of an operating room image template provided continuously over time may be a fluoroscopy image. Any type of image may be used as long as the image is obtained in real time.
  • the method of comparing the preoperative breathing level and the operating room breathing level it is possible to guide the breathing level of the patient using a medical image without the help of a separate breathing apparatus.
  • the method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure even if there is no operator in the operating room (for example, surgery, intervention, diagnosis, etc. by a medical robot using a master-slave system) The patient can easily adjust his breathing level.
  • the method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure, by guiding the breathing level using the patient's internal organs, it is easier for the patient to adjust the breathing level.

Abstract

The present disclosure relates to a method for comparing a preoperative respiratory level with an intraoperative respiratory level. The method comprises the steps of: obtaining a three-dimensional image including a surgical target; setting at least one reference path from the three-dimensional image; generating a preoperative image template corresponding to the at least one reference path from the three-dimensional image; generating an intraoperative image template to conform to the at least one reference path; and comparing a respiratory level in the step of obtaining a three-dimensional image with an intraoperative respiratory level using the preoperative image template and the intraoperative respiratory level.

Description

수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법How to compare preoperative breathing level with operating room breathing level
본 개시(Disclosure)는 전체적으로 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법(METHOD OF COMPARING PREOPERATIVE RESPIRATORY LEVEL WITH INTRAOPERATIVE RESPIRATORY LEVEL)에 관한 것으로, 특히 의료용 이미지를 이용하여 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 관한 것이다.DISCLOSURE This disclosure relates generally to a method of comparing preoperative respiratory level and operating room respiratory level (METHOD OF COMPARING PREOPERATIVE RESPIRATORY LEVEL WITH INTRAOPERATIVE RESPIRATORY LEVEL). It is about how to compare levels.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).This section provides background information related to the present disclosure which is not necessarily prior art.
컴퓨터 그래픽스(Computer Graphics)는 객체(object)의 2차원적 또는 3차원적 그래픽 표현을 2차원 디스플레이 스크린 상에 나타내는데 주로 이용된다. 볼륨 그래픽스(Volume Graphics)는 컴퓨터 그래픽스의 한 분야로서, 3차원 또는 그 이상의 차원을 가지는 샘플 데이터로 표현되는 객체(object)를 시각화하는 것을 다룬다. 이 샘플들은 볼륨 구성요소(volume elements) 또는 복셀(voxels)이라 불리우며, 객체의 물리적 특징을 표현하는 디지털 정보를 포함한다. 예를 들어, 특정 물체의 복셀 데이터는 밀도, 물질의 유형, 온도, 속도, 또는 다른 특성을, 이산적 점들(discrete points)로, 공간에서, 그 객체의 내부 및 주변 전체에 걸쳐 표현할 수 있다.Computer Graphics is primarily used to present a two-dimensional or three-dimensional graphical representation of an object on a two-dimensional display screen. Volume graphics is a field of computer graphics that deals with the visualization of objects represented by sample data having three or more dimensions. These samples, called volume elements or voxels, contain digital information representing the physical characteristics of the object. For example, the voxel data of a particular object may represent density, type of material, temperature, speed, or other property in discrete points, in space, throughout the interior and surroundings of the object.
근래에, 볼륨 렌더링(Volume Rendering)이라 불리는 볼륨 그래픽스 방법이 도입되었으며, 이는 디지털 신호 프로세싱(digital signal processing)의 한 형태로서, 복셀기반 표현의 각각의 복셀에 색상(color) 및 투명도를 부여하는 방법이다. 이렇게 색상과 투명도가 부여된 각 복셀들은 컴퓨터 스크린과 같은 2차원의 표시 화면(viewing surface)에 투사되며(projected), 이 때 백그라운드(background)의 복셀들은 포어그라운드(foreground)의 불투명한 복셀들에 의해 가려지는 형태로 된다. 이러한 투사된 복셀들의 축적이 객체의 시각적 이미지(visual image)를 결과한다.In recent years, a volume graphics method called Volume Rendering has been introduced, which is a form of digital signal processing, which gives each voxel of a voxel-based representation color and transparency. to be. Each of these voxels, given their color and transparency, is projected onto a two-dimensional viewing surface, such as a computer screen, where the background voxels are applied to the foreground opaque voxels. It is hidden by the form. This accumulation of projected voxels results in a visual image of the object.
정리하면, 볼륨 렌더링(Volume Rendering)은 볼륨(volume) 또는 볼륨 데이터 세트(volume data set)를 렌더링하는 것으로, 볼륨 데이터 세트는 볼륨 구성요소(volume elements) 또는 복셀(voxels)이라 불리는 데이터 포인트들의 3차원 배열(3-D array of data points)로 이루어지고, 복셀은 픽셀(pixel)의 3차원적 대응물로서 색상과 투명도 정보를 포함하고 있으며, 특정 복셀의 데이터 값인 색상과 투명도를 변경함으로써 객체의 외부 및 내부를 다른 형태로 볼 수 있는데, 예를 들어 수술에 앞서 무릎의 인대, 힘줄 및 뼈를 살펴 보고자 하는 의사는 무릎의 단층 스캔에서, 피, 피부 및 근육을 완전히 투명하게 보이도록 할 수 있다.In summary, Volume Rendering renders a volume or volume data set, which is the volume of data points called volume elements or voxels. It consists of a 3-D array of data points, a voxel is a three-dimensional counterpart of a pixel that contains color and transparency information, and changes the color and transparency of the object to You can see the outside and inside in different forms, for example, a doctor who wants to look at the ligaments, tendons, and bones of a knee before surgery can make blood, skin, and muscles appear completely transparent in a tomography scan of the knee. .
다른 관점에서, 의료 분야에 있어서, CT 이미지, MRI 이미지, PET 이미지 등의 3차원 볼륨 데이터 세트 또는 3차원 볼륨 데이터가 이러한 볼륨 렌더링 기법을 이용하여(볼륨 렌더링에 한정될 필요는 없지만 볼륨 렌더링 기법이 유용하게 사용되고 있다.), 모니터 상에 디스플레이되고, 이 디스플레이된 이미지를 이용하여, 수술을 준비하거나 수술을 계획하거나, 수술용 항법 장치에 이용하거나, 수술 중에 이용하는 등 다양하게 이용할 수 있게 된다.In another aspect, in the medical field, three-dimensional volume data sets or three-dimensional volume data such as CT images, MRI images, PET images, etc. can be utilized using this volume rendering technique (not necessarily limited to volume rendering techniques, It is usefully used.), Displayed on a monitor, and using the displayed image, it is possible to use a variety of methods, such as preparing for surgery, planning a surgery, using a surgical navigation apparatus, or using during surgery.
생검(Biopsy)과 같이 수술용 도구(Surgical instrument)의 인체 삽입을 필요로 하는 수술을 계획할 때도, 의료용 3차원 이미지의 도움이 필요하다. 그러나 이러한 의료용 3차원 이미지는 환자의 특정 호흡 상태에서 획득되므로, 환자가 호흡이 계속되는 수술장 내에서 이 의료용 3차원 이미지를 이용하는데, 몇 가지 프로세스의 도움이 필요하다.When planning surgery that requires the insertion of a surgical instrument, such as a biopsy, medical 3D imaging is also needed. However, since such medical three-dimensional images are obtained in a specific breathing state of the patient, the patient needs the help of several processes to use the medical three-dimensional images in the operating room where breathing continues.
도 1 및 도 2는 종래의 중재 시술(intervention surgery)의 일 예를 설명하는 도면으로서, 먼저 수술전의 환자의 특정 호흡 레벨(A; 예: 환자가 숨을 최대한 들이쉰 상태 또는 숨을 최대한 내쉰 상태)에서 수술전 환자의 3차원 이미지(100)를 획득한다(S100). 3차원 이미지(100)의 획득에는, CT 장치, Cone-beam CT(CBCT) 장치, MRI 장치와 같은 의료용 3차원 이미지 획득 장치가 이용될 수 있다. 다음으로, 획득된 3차원 이미지(100)를 이용하여 수술을 계획한다(S200). 생검의 경우에, 환자의 환부(Target; 200)로 생검 바늘(Needle)을 삽입할 경로(300)를 계획하게 된다. 다음으로, 환자가 수술장에 들어와서, 수술이 시작되면, 수술장에 놓인 이미지 획득 장치(예: Fluoroscopy 장치, CBCT 장치; 400)를 단계(S200)에서 계획된 경로(300), 즉 생검 바늘(500)이 삽입될 방위(300)와 동일한 방위로 맞춘다(S300). 환부가 환자의 호흡에 영향을 받는 경우에, 수술이 계획대로 진행되려면, 수술전 3차원 이미지(100)를 획득할 때의 환자의 호흡 레벨(A)이, 현재 수술장에서의 환자의 호흡 레벨과 동일해야 하므로, 환자를 특정 호흡 레벨(A: 환자가 숨을 최대한 들이쉰 상태 또는 숨을 최대한 내쉰 상태)로 호흡하게 한 다음, 수술장 내의 이미지 획득 장치(400)를 이용하여, 환부를 포함하는 환자의 이미지(600)를 획득하여, 환자의 호흡 레벨(B)을 수술전 3차원 이미지를 획득할 때의 환자의 호흡 레벨(A)과 맞추어야 한다(S400). 이때 의사의 직관이 사용된다. 의사의 직관에 의존하지 않는 방법으로, 수술전 3차원 이미지(100)를 획득할 때의 호흡 레벨(A)을 컴퓨터에 기록한 다음, 수술장에서도 연속적으로 환자의 호흡 레벨을 기록하고, 양자를 비교하여 환자의 호흡 레벨(B)이 호흡 레벨(A)과 동일할 때, 경보음으로 알려주거나, 생검 바늘(500)이 자동으로 작동되도록 구성할 수 있다. 호흡 레벨(A,B)의 측정에는 종래의 호흡 측정 방법(예: 압력 벨트식, InfraRed 마커를 이용한 호흡 측정기 등)이 적용될 수 있다. 이러한 상태에서, 생검 바늘(500)을 인체에 삽입함으로써, 계획된 방위(300)로 수술용 도구를 인체에 삽입할 수 있게 된다(S500). 도 2에서 사용된 3차원 이미지(100)와 환자의 이미지(600)는 설명을 위한 것으로, 서로 일치하지 않는 점을 당업자는 쉽게 알 수 있을 것이다. 호흡 레벨 측정에 관한 종래 기술로서, 미국 등록특허공보 제5,368,844호를 들 수 있다.1 and 2 are diagrams illustrating an example of conventional interventional surgery. First, a specific breathing level A of a patient before surgery (eg, a state in which the patient inhales or exhales as much as possible) is described. In operation S100, a 3D image 100 of the patient is obtained. In order to acquire the 3D image 100, a medical 3D image acquisition device such as a CT device, a Cone-beam CT (CBCT) device, or an MRI device may be used. Next, the surgery is planned using the obtained three-dimensional image 100 (S200). In the case of a biopsy, a path 300 is inserted to insert a biopsy needle into the patient's target 200. Next, when the patient enters the operating room, and the operation is started, the image acquisition device (eg, Fluoroscopy device, CBCT device; 400) placed in the operating room is moved to the path 300 planned in step S200, that is, the biopsy needle ( 500 is aligned with the same orientation as the orientation 300 to be inserted (S300). If the affected part is affected by the patient's breathing, for the operation to proceed as planned, the patient's breathing level (A) when acquiring the preoperative 3D image 100 is the patient's breathing level at the current operating room. The patient should be breathed at a specific breathing level (A: the patient inhales or exhales as much as possible), and then includes the affected part using the image acquisition device 400 in the operating room. By acquiring an image 600 of the patient, the patient's breathing level (B) should be matched with the patient's breathing level (A) when acquiring a preoperative 3D image (S400). The doctor's intuition is used here. In a method that does not depend on the physician's intuition, the respiratory level (A) when acquiring the pre-operative 3D image 100 is recorded on a computer, and then the respiratory level of the patient is continuously recorded at the operating room, and the two are compared When the patient's respiratory level (B) is the same as the respiratory level (A), it can be notified by an alarm sound, or the biopsy needle 500 can be configured to operate automatically. Respiration level (A, B) can be applied to the conventional method of measuring the breath (for example, pressure belt type, breath meter using the InfraRed marker, etc.). In this state, by inserting the biopsy needle 500 into the human body, it is possible to insert the surgical tool in the human body in the planned orientation (300) (S500). The three-dimensional image 100 and the patient's image 600 used in FIG. 2 are for illustrative purposes and will be easily understood by those skilled in the art. As a prior art related to respiratory level measurement, US Patent No. 5,368,844 is mentioned.
이에 대하여 '발명의 실시를 위한 형태'의 후단에 기술한다.This will be described later in the section on Embodiments of the Invention.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all, provided that this is a summary of the disclosure. of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 적어도 하나의 기준 경로에 맞추어 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법이 제공된다.According to an aspect of the present disclosure, the method comprises: acquiring a three-dimensional image including an According to one aspect of the present disclosure and a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template according to at least one reference path; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; and the preoperative respiratory level characterized in that it comprises a; A method of comparing operating room respiration levels is provided.
본 개시에 따른 다른 하나의 태양에 의하면(According to another aspect of the present disclosure), 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계;로서, 그리고, 수술전 이미지 템플릿에 구비된 비교선과 수술장 이미지 템플릿에 구비된 비교선을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법이 제공된다.According to another aspect of the present disclosure (According to another aspect of the present disclosure), obtaining a three-dimensional image including a Surgical Target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template continuously provided over time according to at least one reference path; and, the comparison line provided in the preoperative image template and the operating room image template Comparing the respiratory level at the operating room and the respiratory level in the step of obtaining a three-dimensional image using a comparison line; Is provided.
본 개시에 따른 또 다른 하나의 태양에 의하면(According to still another aspect of the present disclosure), 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;로서, 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 구비하는, 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며, 비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법이 제공된다.According to still another aspect of the present disclosure, acquiring a three-dimensional image including a Surgical Target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; wherein the preoperative image template includes a plurality of medical images, the preoperative image template Generating a; Generating an intraoperative image template continuously provided over time according to at least one reference path in the operating room; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; including, in the comparing step, Among the plurality of medical images of the template, a method of comparing the preoperative breathing level and the operating room breathing level, characterized by finding the medical image closest to the operating room image template and displaying the affected part on the medical image together with the operating room image template. Is provided.
이에 대하여 '발명의 실시를 위한 형태'의 후단에 기술한다.This will be described later in the section on Embodiments of the Invention.
도 1 및 도 2는 종래의 중재 시술(intervention surgery)의 일 예를 설명하는 도면,1 and 2 are views for explaining an example of conventional interventional surgery (intervention surgery),
도 3 및 도 4는 본 개시에 따른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법의 일 예를 설명하는 도면,3 and 4 are views for explaining an example of a method of comparing the preoperative respiratory level and the operating room respiratory level according to the present disclosure,
도 5는 수술전 이미지 템플릿을 만드는 방법의 일 예를 나타내는 도면,5 is a view showing an example of a method of creating a pre-operative image template,
도 6은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면,6 is a diagram illustrating an example of a display screen according to the present disclosure;
도 7은 수술전 이미지 템플릿과 수술장 이미지 템플릿을 비교하는 방법의 일 예를 나타내는 도면,7 is a view showing an example of a method of comparing the pre-operative image template and the operating room image template,
도 8은 수술장 이미지 템플릿에서 비교선을 생성하는 방법의 일 예를 나타내는 도면,8 is a diagram illustrating an example of a method of generating a comparison line from an operating room image template;
도 9는 본 개시에 따른 Edge Detection 방법의 일 예를 나타내는 도면,9 is a diagram illustrating an example of an edge detection method according to the present disclosure;
도 10은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면.10 illustrates an example of a display screen according to the present disclosure.
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)). The present disclosure will now be described in detail with reference to the accompanying drawing (s).
도 3 및 도 4는 본 개시에 따른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법의 일 예를 설명하는 도면으로서, 먼저, 환부(20)를 포함하는 3차원 이미지(10)를 획득한다(S10). 다음으로, 3차원 이미지(10)에서 적어도 하나의 기준 경로(30,31)를 설정한다(S20). 다음으로, 3차원 이미지(10)로부터 적어도 하나의 기준 경로(30,31)에 대응하는 수술전 이미지 템플릿(11; Preoperative Image Template)을 생성한다(S30). 다음으로, 수술장에서 적어도 하나의 기준 경로(30,31)에 맞추어 수술장 이미지 템플릿(12; Intraoperative Image Template)을 생성한다(S40). 다음으로, 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 이용하여, 3차원 이미지(10)를 획득하는 단계(S10)에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교한다(S50).3 and 4 are diagrams illustrating an example of a method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure. First, a three-dimensional image 10 including the affected part 20 is obtained. (S10). Next, at least one reference path 30, 31 is set in the 3D image 10 (S20). Next, a preoperative image template 11 corresponding to at least one reference path 30, 31 is generated from the 3D image 10 (S30). Next, an intraoperative image template 12 is generated in accordance with at least one reference path 30 or 31 at the operating room (S40). Next, using the preoperative image template 11 and the operating room image template 12, the respiratory level at step S10 of obtaining the three-dimensional image 10 is compared with the respiratory level at the operating room ( S50).
환부(20)는 사람에 제한되지 않고, 호흡을 하는 동물로 확장될 수 있다.The affected part 20 is not limited to a person, but may extend to an animal that breathes.
3차원 이미지(10)는 CT 이미지, MRI 이미지, PET 이미지, 3차원 초음파 이미지 등일 수 있다. 해당 장치를 통해, 사전에 획득되어, 컴퓨터(70)에 저장되고, 모니터(71)를 통해 디스플레이되고, 컴퓨터(70)를 통해 사용자에 의해 이용될 수 있다. 바람직하게는, 3차원 이미지(10)로 CT 이미지, CBCT 이미지가 이용된다. CT 이미지가 호흡과 함께 연동되는 내부 장기의 촬영에 적합하기 때문이다. 수술전이라는 개념은 상대적인 시간 개념으로, 이는 수술장에 환자가 들어가기 이전에 획득될 수 있지만, 수술장 내에서, CT 장치, CBCT 장치 등을 두고 획득되어, 수술 계획이 이루어질 수 있음은 물론이다. 또한 수술장에 들어가기 전에 하나의 볼륨 데이터 세트(Volume Data Set)가 만들어지고, 수술장에서도 또 하나의 볼륨 데이터 세트가 만들어질 수도 있다. The 3D image 10 may be a CT image, an MRI image, a PET image, a 3D ultrasound image, or the like. Via the device, it can be acquired in advance, stored in the computer 70, displayed via the monitor 71, and used by the user through the computer 70. Preferably, the CT image and the CBCT image are used as the 3D image 10. This is because the CT image is suitable for imaging the internal organs that interlock with the breath. The concept of preoperative is a relative time concept, which can be obtained before the patient enters the operating room, but within the operating room, the CT device, the CBCT device, etc. can be obtained, and the surgical plan can be made. In addition, one volume data set may be created before entering the operating room, and another volume data set may be created at the operating room.
기준 경로(30,31)는 수술을 계획하는 과정에서 설정된다. 기준 경로(30,31)는 예를 들어, 수술용 도구(예: 생검 바늘; 도 2 참조)의 삽입 경로일 수 있다. 이 경우에, 수술용 도구가 환자의 몸으로 진입하는 시작점(32; entry point)과 방위(수술용 도구의 진행방향, 벡터)를 설정함으로써, 기준 경로(30,31)가 결정될 수 있다. 본 개시는 수술용 도구가 인체에 삽입되지 않는 수술에도 적용될 수 있다. 예를 들어, 시작점(32)으로서, 수술용 도구로 환자를 절개할 지점이 설정되고, 이 지점과 환부를 있는 선을 설정함으로써 기준 경로(30,31)가 결정될 수 있다. 또한 외과적 수술 및 외과적 중재 시술이 아니라, 진단적인 의료행위 및 레이저 치료 등에도 본 개시가 적용될 수 있다. 예를 들어, 수술전 3차원 이미지(10)에서 레이저가 조사될 방위를 설정하고, 수술장에서 환자의 호흡 레벨을 체크하기 위해 본 개시의 방법이 적용될 수 있다. 따라서 본 개시에 있어서, 수술이라는 의미는 외과적 수술, 외과적 중재 시술, 진단 행위 등을 포함하는 포괄적 의료행위로 이해되어야 한다. 기준 경로(30,31)를 복수 개 설정하는 경우에, 호흡 레벨 비교의 정확성을 한층 높일 수 있게 된다. 또한 수술전에 설정한 기준 경로(30)로 수술중 이미지를 촬영하였을 때, 환부가 잘 보이지 않는 경우에 대비하여, 잘 보이는 기준 경로(31)를 이용하는 것도 가능해지는 등 다양한 이점을 가질 수 있게 된다. Reference paths 30 and 31 are established in the course of planning the surgery. Reference paths 30 and 31 may be, for example, insertion paths of surgical instruments (eg, biopsy needles; see FIG. 2). In this case, the reference paths 30 and 31 can be determined by setting the entry point 32 and the orientation (the direction of the surgical tool, the vector) at which the surgical instrument enters the patient's body. The present disclosure can also be applied to surgery in which the surgical instrument is not inserted into the human body. For example, as a starting point 32, a point at which the patient is to be incised with a surgical instrument is set, and the reference paths 30 and 31 can be determined by setting the line with the point and the lesion. In addition, the present disclosure may be applied not only to surgical operations and surgical intervention procedures, but also to medical treatment and laser treatment. For example, the method of the present disclosure can be applied to set the orientation to which the laser will be irradiated in the preoperative 3D image 10 and to check the breathing level of the patient at the operating room. Therefore, in the present disclosure, the term surgery should be understood as a comprehensive medical act including a surgical operation, a surgical intervention procedure, a diagnostic act, and the like. In the case where a plurality of reference paths 30 and 31 are set, the accuracy of the respiration level comparison can be further improved. In addition, when the intraoperative image was taken with the reference path 30 set before the operation, it is possible to have various advantages, such as being able to use the reference path 31 that is well visible, in case the lesion is not easily seen.
수술전 이미지 템플릿(11)은 적어도 하나의 기준 경로(30,31)에 대응하는 적어도 하나의 의료용 이미지를 포함하게 된다. 또한 수술전 이미지 템플릿(11)은 하나의 기준 경로(30)로부터 얻어지는 복수 개의 의료용 이미지를 포함할 수 있다. 수술전 이미지 템플릿(11)은 이미지 획득 장치(40)에 의해 취득되는 형태와 유사한 형태를 가지는 것이 바람직하다. 예를 들어, 이미지 획득 장치(40)에 의해 취득되는 이미지가 2차원 형광 투시 이미지이고, 3차원 이미지(10)가 CT 이미지인 경우에, 패러렐(Parallel) 또는 퍼스펙티브(Perspective) 레이 섬 알고리즘(Ray Sum Algorithm) Maximum Intensity Projection(MIP), 또는 Minimum Intensity Projection(MinIP) 등을 이용하여, 적어도 하나의 기준 경로(30,31) 대하여 투시 영상과 유사한 영상을 얻을 수 있으며, 이러한 기술은 기지의 기술이다. The preoperative image template 11 includes at least one medical image corresponding to the at least one reference path 30, 31. Also, the preoperative image template 11 may include a plurality of medical images obtained from one reference path 30. The pre-operative image template 11 preferably has a similar shape to that obtained by the image acquisition device 40. For example, when the image acquired by the image acquisition device 40 is a two-dimensional fluoroscopy image and the three-dimensional image 10 is a CT image, a parallel or perspective ray summ algorithm (Ray) Sum Algorithm) By using the Maximum Intensity Projection (MIP) or Minimum Intensity Projection (MinIP), it is possible to obtain an image similar to a perspective image with respect to at least one reference path (30, 31), which is a known technique. .
수술장 이미지 템플릿(12)도 적어도 하나의 기준 경로(30,31)에 대응하는 적어도 하나의 의료용 이미지를 포함하게 된다. 수술장 이미지 획득 장치(40)를 적어도 하나의 기준 경로(30,31)에 맞추기 위해, C-arm, Cone-beam과 같은 장치가 사용될 수 있으며, 이것에 제한되지 않고, 환자에 대해 방위를 조절할 수 있는 장치라면 어떠한 장치가 사용되어도 좋다. 바람직하게는, 연속적 2차원 이미지의 생성이 가능한 형광 투시(Fluoroscopy) 이미지가 사용된다. 수술장 이미지 템플릿(12)은 이미지 획득 장치(40)에 의해 얻어지는 이미지(13)이거나, 이미지(13)를 필요에 따라 가공함으로써 생성될 수 있다. 이미지(13) 또는 수술장 이미지 템플릿(12)은 이미지 획득 장치(40)에 의해 획득되어, 컴퓨터(80)에 저장되고 처리되며, 모니터(81)를 통해 디스플레이된다. 컴퓨터(80)와 컴퓨터(70)는 연동할 수 있다. 이 경우에, 컴퓨터(80)에 수술전 이미지 템플릿(11)을 별도로 저장하지 않아도 이를 이용할 수 있게 된다. 또한 컴퓨터(80)는 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 비교하는 기능을 수행한다. 이러한 과정이 모니터(81)에 디슬플레이될 수 있다. 또한 두 템플릿(11,12)이 어느 정도 일치하는 경우에 경보음을 내거나, 일치의 정도를 수치로 표시하는 것도 가능하다. 단순히 이미지라는 표현을 사용해도 좋지만, 두 이미지가 비교된다는 의미에서, 이 비교에 두 이미지가 기준이 된다는 의미에서, 그리고 복수의 이미지가 포함될 수 있다는 의미에서, 이미지 템플릿이라는 용어를 사용한다. 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)의 유사성을 판단하는 방법으로는 Mean Squares Difference, Normalized Correlation, Pattern Intensity, Mutual Information 등의 방법이 사용될 수 있다.The operating room image template 12 also includes at least one medical image corresponding to the at least one reference path 30, 31. In order to align the operating room image acquisition device 40 to at least one reference path 30, 31, devices such as C-arm, Cone-beam can be used, but are not limited to this, and adjust the orientation to the patient. Any device may be used as long as the device can be used. Preferably, Fluoroscopy images are used which allow the generation of continuous two-dimensional images. The operating room image template 12 may be an image 13 obtained by the image acquisition device 40 or may be generated by processing the image 13 as necessary. The image 13 or operating room image template 12 is acquired by the image acquisition device 40, stored and processed in the computer 80, and displayed on the monitor 81. The computer 80 and the computer 70 may interwork. In this case, the computer 80 may use the preoperative image template 11 without storing it separately. The computer 80 also performs a function of comparing the preoperative image template 11 and the operating room image template 12. This process can be displayed on the monitor 81. In addition, when the two templates 11 and 12 coincide with each other to some extent, it is also possible to sound an alarm or display the degree of the match numerically. You can simply use the expression image, but we use the term image template in the sense that two images are compared, in the sense that two images are the basis for this comparison, and in the sense that multiple images can be included. As a method for determining the similarity between the preoperative image template 11 and the operating room image template 12, methods such as Mean Squares Difference, Normalized Correlation, Pattern Intensity, and Mutual Information may be used.
도 5는 수술전 이미지 템플릿을 만드는 방법의 일 예를 나타내는 도면으로서, 수술전 이미지 템플릿(11)이 5개의 의료용 이미지(11a,11b,11c,11d,11e)로 되어 있다. 5개의 의료용 이미지(11a,11b,11c,11d,11e)는 적어도 하나의 실제 의료용 이미지와 적어도 하나의 예측 의료용 이미지로 이루어진다. 예를 들어, 의료용 이미지(11a)를 실제 촬영된 3차원 이미지(10)로부터 기준 경로(30)를 따라 생성하고, 나머지 의료용 이미지(11b,11c,11d,11e)를 의료용 이미지(11a)를 바탕으로 의사의 경험을 바탕으로 호흡에 따른 환부(20)의 움직임을 예측하여 생성할 수 있다. 이러한 수술전 이미지 템플릿(11)을 통해, 수술장에서 수술장 이미지 템플릿(12)과 함께 사용할 때, 환자의 호흡 레벨을 보다 용이하게 파악할 수 있게 된다. 또한, 예를 들어, 2개의 의료용 이미지(11a,11e)를 실제 의료용 이미지로부터 생성할 수 있다. 이때, 2개의 3차원 이미지(10)가 필요하며, 한번은 완전히 들이쉰 상태에서 CT 촬영을 하고, 한번은 완전히 내쉰 상태에서 CT 촬영을 함으로써, 2개의 3차원 이미지(10)를 얻을 수 있다. 이들 각각으로부터 기준 경로(30)를 따라 2개의 의료용 이미지(11a,11e)를 얻을 수 있다. 2개의 실제 촬영된 의료용 이미지(11a,11e)를 이용함으로써, 즉, 적어도 2개 이상의 실제 촬영된 의료용 이미지(11a,11e)를 이용함으로써, 예측 의료용 이미지(11b,11c,11d)의 정확도를 높일 수 있게 된다. 특히, 호흡 레벨의 상한과 하한에 대한 의료용 이미지(11a,11e)를 얻는 경우에, 예측의 정확성을 더욱 높일 수 있게 된다. 필요에 따라, 의료용 이미지(11c) 등도 실제 촬영을 통해 생성할 수 있다. 예를 들어, 수술전 이미지 템플릿(11)에 20개 정도의 실제 및 예측 의료용 이미지를 포함함으로써, 호흡 레벨에 따른 환부(20)의 움직임을 매우 정확하게 표현할 수 있으며, 수술장 이미지 템플릿(12)이 연속적으로 움직이는 환부를 나타내는 이미지인 경우에, 상호 간의 비교를 더욱 용이하게 할 수 있게 된다. 예를 들어, 수술전 이미지 템플릿(11) 내의 모든 이미지를 백그라운드 이미지로 나타낸 다음, 수술장 이미지 템플릿(12)을 나타내는 것도 가능하다. 이것도 또한 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12) 비교의 한 예라 할 수 있다. 또한, 특정한 수술장 이미지 템플릿(12)에 가장 유사한 이미지를 Mutual Information 등을 이용하여 컴퓨터의 내적 과정으로 수술전 이미지 템플릿(12)에서 찾아 함께 디스플레이하는 것도 가능하다. 또한 수술전 이미지 템플릿(11)은 thin plate warping, bspline warping 등을 이용해서 만들 수 있다. FIG. 5 is a diagram illustrating an example of a method for creating a preoperative image template, in which the preoperative image template 11 includes five medical images 11a, 11b, 11c, 11d, and 11e. The five medical images 11a, 11b, 11c, 11d, and 11e consist of at least one actual medical image and at least one predictive medical image. For example, the medical image 11a is generated along the reference path 30 from the actually photographed three-dimensional image 10 and the remaining medical images 11b, 11c, 11d, and 11e are based on the medical image 11a. By predicting the movement of the affected part 20 according to the breath can be generated based on the experience of the doctor. Through this pre-operative image template 11, when used with the operating room image template 12 in the operating room, it is possible to more easily determine the breathing level of the patient. Also, for example, two medical images 11a and 11e can be generated from an actual medical image. In this case, two three-dimensional images 10 are required, and once the CT image is taken in a fully inhaled state and the CT image is taken in a fully exhaled state, two three-dimensional images 10 may be obtained. From each of these two medical images 11a and 11e can be obtained along the reference path 30. By using two actual captured medical images 11a and 11e, that is, using at least two or more actual captured medical images 11a and 11e, the accuracy of the predicted medical images 11b, 11c and 11d is increased. It becomes possible. In particular, in the case of obtaining the medical images 11a and 11e for the upper and lower limits of the breathing level, the accuracy of the prediction can be further improved. If necessary, the medical image 11c may be generated through actual imaging. For example, by including about 20 actual and predictive medical images in the pre-operative image template 11, the movement of the affected part 20 according to the respiration level can be represented very accurately, and the operating room image template 12 is In the case of an image representing a continuously moving lesion, the comparison between each other can be made easier. For example, it is also possible to represent all images in the preoperative image template 11 as a background image and then to the operating room image template 12. This is also an example of a comparison between the preoperative image template 11 and the operating room image template 12. In addition, it is also possible to find an image most similar to a specific operating room image template 12 using the mutual information and the like in the preoperative image template 12 and display it together. In addition, the preoperative image template 11 may be made using thin plate warping, bspline warping, or the like.
도 6은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면으로서, 하나의 GUI(Graphic User Interface)로 이해될 수 있다. 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 동시적으로 디스플레이하는 것이 가능하지만, 컴퓨터의 성능에 따라, 그리고 시간 소비의 관점에서, 어렵거나 불필요한 경우가 있다. 도 6에서와 같이, 수술장 이미지 템플릿(12)만을 도시한 상태에서, 수술전 이미지 템플릿(11)과의 유사도는 컴퓨터 내적 과정으로 계산하고, 디스플레이 상에는 유사도가 증가함에 따라, 화면의 색을 짙게 하거나, 붉은 색으로 표시하는 등의 방법으로 색을 통해 표현하거나, 깜빡거림을 주어 표현하거나 하는 등의 방법으로 시각적, 청각적인 방법으로 직관적으로 알려줄 수 있게 된다. 또한, 수술전 이미지 템플릿(11)으로부터 비교의 대상이 될 수 있는 부분을 선택하여 이를 비교선(L1,L2,L3,L4,L5)으로 표시함으로써, 양자의 유사도를 직관적으로 이해하는데 도움을 줄 수 있다. 유사도가 높아짐에 따라, 비교선(L1,L2,L3,L4,L5)의 색에 변화를 주어 직관력을 높이는 것도 가능하다. 수술전 이미지 템플릿(11)을 디스플레이하고, 수술장 이미지 템플릿(12)에서 필요한 부분을 얻어 나타내는 것도 가능하다. 비교의 대상이 될 수 있는 부분으로서, 횡경막과 같은 장기를 이용하는 것도 가능하다. 또한 방위를 나타내는 나침반(1000), 시작점(32), 기준 경로(30) 중의 적어도 하나를 도시하여 시술자를 돕는 것이 가능하다. 또한 본 개시에 따른 방법에 의하면, 환자가 스스로 호흡 레벨을 맞출 수 있게 된다. 마스터-슬레이브 시스템을 이용하는 의료용 로봇을 이용하는 수술 또는 중재 시술(예: 생검, 내시경 시술)의 경우 의사가 수술장에 부재하게 되지만, 이러한 경우에도 본 개시에 따른 방법을 이용함으로써, 환자가 스스로 호흡 레벨을 맞출 수 있는 이점을 가지게 된다.FIG. 6 is a diagram illustrating an example of a display screen according to the present disclosure and may be understood as one graphical user interface (GUI). It is possible to display the preoperative image template 11 and the operating room image template 12 simultaneously, but depending on the performance of the computer and in terms of time consumption, there are cases where it is difficult or unnecessary. As shown in FIG. 6, in the state where only the operating room image template 12 is shown, the similarity with the preoperative image template 11 is calculated by a computer internal process, and as the similarity increases on the display, the color of the screen becomes darker. In other words, it can be expressed in a visual or audible manner intuitively, such as by expressing through a color, or by giving a flickering. In addition, by selecting a portion that can be compared from the pre-image template 11 to be displayed as a comparison line (L1, L2, L3, L4, L5), it helps to understand the similarity between the two intuitively Can be. As the degree of similarity increases, it is also possible to change the color of the comparison lines L1, L2, L3, L4, and L5 to increase the intuitive power. It is also possible to display the pre-operative image template 11 and to obtain and display the required portion of the operating room image template 12. As a part to be compared, it is also possible to use an organ such as a diaphragm. In addition, it is possible to assist the operator by showing at least one of the compass 1000, the starting point 32, and the reference path 30 indicating the orientation. In addition, according to the method according to the present disclosure, the patient can adjust the breathing level by himself. Surgery or interventional procedures (e.g. biopsies, endoscopic procedures) using medical robots using a master-slave system will leave the doctor at the operating room, but even in this case, by using the method according to the present disclosure, the patient will be able to breathe on their own You will have the advantage of matching them.
도 7은 수술전 이미지 템플릿과 수술장 이미지 템플릿을 비교하는 방법의 일 예를 나타내는 도면으로서, 수술전 이미지 템플릿에서 취해진 비교선(11-1)이 표시되어 있고, 수술장 이미지 템플릿(12) 상에서 비교선(12-1)이 표시되어 있다. 20은 환부이다. 비교선(11-1)과 비교선(12-1)을 이용함으로써, 수술장 이미지 템플릿(12)으로 연속적인 이미지가 제공되는 경우에, 환자가 호흡을 진행함에 따라 양자의 비교를 보다 용이하게 할 수 있게 된다. 비교선(11-1)은 수술전 이미지 템플릿을 형성하는 과정에서, 자동 또는 매뉴얼로 생성하는 것이 가능하다. 환자의 호흡 신호를 함께 디스플레이함으로써, 양자의 비교를 도울 수 있다. 비교선(11-1)과 비교선(12-1)으로 횡경막을 사용할 수 있다.FIG. 7 is a diagram illustrating an example of a method of comparing a preoperative image template and an operating room image template, in which a comparison line 11-1 taken from the preoperative image template is displayed, and on the operating room image template 12. The comparison line 12-1 is shown. 20 is affected. By using the comparison line 11-1 and the comparison line 12-1, when a continuous image is provided to the operating room image template 12, the comparison between the two is more easily performed as the patient proceeds to breathe. You can do it. The comparison line 11-1 may be generated automatically or manually in the process of forming the preoperative image template. By displaying the patient's breathing signals together, the comparison between the two can be helped. A diaphragm can be used for the comparison line 11-1 and the comparison line 12-1.
도 8은 수술장 이미지 템플릿에서 비교선을 생성하는 방법의 일 예를 나타내는 도면으로서, 수술장 이미지 템플릿(12)으로서 C-arm 형광 투시(Fluoroscopy) 이미지가 도시되어 있다. 비교선(12-1)으로 횡경막이 사용되고 있다. 횡경막의 경계를 강화해서 나타내기 위해, 예를 들어, 도 9에 도시된 것과 같은 Edge Detection 방법(예: Hessian Matrix를 이용한 강화법)을 이용하여 Edge를 강화하고 횡경막이 있을 만한 부분의 확률맵을 이용하여 횡경막 Edge 부분을 찾아서 검출하여 횡경막 전체를 찾는 방법이 사용될 수 있다. 이는 컴퓨터의 내적 과정으로 이루어진다. 비교선(12-1)으로서, 횡경막 이외에, 조영 증강된 신장, 폐혈관, 기관지, 뼈 등을 사용하는 것도 가능하다. 이렇게 형성된 수술장 이미지 템플릿(12)은 수술전 이미지 템플릿(11)의 도움없이 수술장 내에서 환자의 호흡 레벨을 파악하는데 이용할 수 있음은 물론이다. 또한 수술장 이미지 템플릿(12) 상의 비교선(12-1)의 움직임을 파악함으로써, 비교선(12-1) 인근의 환부 내지는 장기의 움직임을 예측할 수 있음은 물론이다.FIG. 8 is a diagram illustrating an example of a method of generating a comparison line from an operating room image template, and a C-arm fluoroscopy image is illustrated as the operating room image template 12. The diaphragm is used for the comparison line 12-1. In order to enhance the boundary of the diaphragm, for example, the edge detection method such as the enhancement method using the Hessian Matrix, as shown in FIG. A method of finding the whole diaphragm by detecting and detecting the diaphragm edge portion may be used. This is done through the internal process of the computer. As the comparative line 12-1, in addition to the diaphragm, contrast-enhanced kidney, pulmonary vessels, bronchus, bone, or the like can be used. The operating room image template 12 thus formed may be used to determine the breathing level of the patient in the operating room without the help of the preoperative image template 11. In addition, by identifying the movement of the comparison line 12-1 on the operating room image template 12, it is a matter of course that the movement of the affected area or organ near the comparison line 12-1 can be predicted.
도 6 내지 도 9에 기술된 예는, 서로 통합하여 사용될 수 있다. 예를 들어, 수술전 이미지 템플릿(11)에서 얻어진 비교선(11-1)을 목표 호흡 레벨로 하고, 수술장 이미지 템플릿(12)에 비교선(12-1)으로 횡경막을 추출하여, 디스플레이 상에 나타내어, 환자가 이 디스플레이를 보면서, 색 농도의 변화, 깜박임의 정도 변화, 경보음 등을 직감하면서, 자신의 호흡 레벨을 맞추게 할 수 있다. 더욱 바람직하게는, 시각 및/또는 청각을 이용해 직감적으로 호흡 레벨을 맞추는 것에 더해, Mutual Information 등을 통해 평가된 유사도를 정량화해서 표시해줌으로써, 환자가 보다 편안하게 호흡 레벨을 맞출 수 있게 된다(도 7 참조).The examples described in FIGS. 6 to 9 can be used integrated with each other. For example, the comparison line 11-1 obtained from the preoperative image template 11 is used as the target respiration level, and the diaphragm is extracted from the operating room image template 12 using the comparison line 12-1, and the image is displayed on the display. As the patient sees this display, the patient can adjust his or her breathing level while intuiting a change in color density, a change in the degree of flickering, an alarm sound, and the like. More preferably, in addition to adjusting the breathing level intuitively using visual and / or auditory, by quantifying and displaying the similarity evaluated through Mutual Information, etc., the patient can adjust the breathing level more comfortably (Fig. 7). Reference).
도 10은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면으로서, 수술장 이미지 템플릿(12)에 수술전 이미지 템플릿으로부터 얻어진(segumented) 환부(20)가 함께 디스플레이되어 있다. 수술장에서, 수술장 내에 여러 기구물이나, 시술자의 손 등에 의해, 수술장 이미지 템플릿(12)에 환부(20)가 반영되지 않는 등의 문제점이 있을 수 있으나, 이와 같은 방법을 통해 문제점을 개선할 수 있게 된다. 수술장 이미지 템플릿(12)이 실시간으로 변경되는 경우(시간의 흐름에 따라 연속적으로 제공되는 경우)에도, 컴퓨터 내적 과정을 통해, 복수로 마련된 수술전 이미지 템플릿(11)을 현재 호흡 레벨에서의 수술장 이미지 템플릿(12)과 매칭할 수 있으며, 수술전 이미지 템플릿(11) 내의 각각의 이미지에 대해, 수동 또는 자동으로, 환부(20)를 구분해둠으로써, 필요에 따라 수술전 이미지 템플릿(11)에서 얻어진 환부(20)를 수술장 이미지 템플릿(12) 상에 디스플레이할 수 있게 된다. 바람직하게는 환부(20)는 주지의 볼륨 렌더링 기술을 이용하여, 특정의 색으로 표현되는 등 시각적으로 잘 띠도록 증강되어 표현될 수 있다. 환부(20)를 수술전 이미지 템플릿(11) 내의 각각의 이미지에서 얻는 것이 아니라, 3차원 이미지(10)로부터 직접 얻을 수도 있지만, 바람직하지는 않다.FIG. 10 is a diagram illustrating an example of a display screen according to the present disclosure, in which an affected part 20 obtained from a preoperative image template is displayed together on the operating room image template 12. In the operating room, there may be a problem such that the affected part 20 is not reflected in the operating room image template 12 due to various instruments or the operator's hand in the operating room, etc. It becomes possible. Even if the operating room image template 12 is changed in real time (provided continuously in the course of time), a plurality of pre-operated image templates 11 are operated at the current respiration level through a computer internal process. It is possible to match the intestinal image template 12, and for each image in the pre-operative image template 11, by separating the affected part 20 manually or automatically, the pre-operative image template 11 as necessary It is possible to display the affected part 20 obtained in the present invention on the operating room image template 12. Preferably, the affected part 20 may be augmented to be visually well represented using a known volume rendering technique, such as a specific color. The affected area 20 may be obtained directly from the three-dimensional image 10, rather than from each image in the preoperative image template 11, but is not preferred.
이하 본 개시의 다양한 실시 형태에 대하여 설명한다.Hereinafter, various embodiments of the present disclosure will be described.
(1) 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 적어도 하나의 기준 경로에 맞추어 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(1) obtaining a three-dimensional image including a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template according to at least one reference path; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; and the preoperative respiratory level characterized in that it comprises a; How to compare the operating room breathing level.
(2) 적어도 하나의 기준 경로는 복수 개이며, 복수 개의 기준 경로에 대한 복수 개의 수술전 이미지 템플릿이 생성되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(2) at least one reference path is a plurality, and a plurality of preoperative image templates are generated for the plurality of reference paths.
(3) 적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(3) at least one reference path is a path for insertion of a biopsy needle to compare the preoperative breathing level with the operating room breathing level.
(4) 수술전 이미지 템플릿은 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지 중의 적어도 하나를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(4) The preoperative image template includes at least one of a fully inhaled medical image and a fully exhaled medical image.
(5) 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(5) a method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the pre-operative image template comprises a plurality of medical images.
(6) 수술전 이미지 템플릿은 3차원 이미지로부터 생성된 적어도 하나의 실제 의료용 이미지와 이 적어도 하나의 실제 의료용 이미지로부터 예측되어 생성되는 적어도 하나의 예측 의료용 이미지를 구비하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(6) the preoperative respiratory level comprising at least one real medical image generated from a three-dimensional image and at least one predictive medical image predicted and generated from the at least one real medical image; To compare the respiratory level with the operating room.
(7) 적어도 하나의 실제 의료용 이미지는 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지 중의 적어도 하나를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(7) at least one actual medical image comprises at least one of a fully inhaled medical image and a fully exhaled medical image.
(8) 비교하는 단계에서, 수술전 이미지 템플릿을 백그라운드하여, 수술장 이미지 템플릿을 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(8) comparing the preoperative breathing level and the operating room breathing level, characterized in that in the comparing step, the preoperative image template is background, displaying the operating room image template.
(9) 비교하는 단계에서, 수술전 이미지 템플릿으로부터 수술장 이미지 템플릿에 가장 유사한 의료용 이미지를 찾아 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(9) comparing the preoperative breathing level and the operating room breathing level, characterized in that in the step of comparing, finding and displaying together the medical image most similar to the operating room image template from the preoperative image template.
(10) 비교하는 단계에서, 수술장 이미지 템플릿을 디스플레이한 상태에서, 수술전 이미지 템플릿과의 유사도를 비교하여, 디스플레이상에 시각적으로 표현하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(10) In the comparing step, in the state of displaying the operating room image template, comparing the similarity with the pre-operative image template, and visually expressing on the display the preoperative breathing level and the operating room breathing level How to compare.
(11) 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿에 구비된 비교선과 수술장 이미지 템플릿에 구비된 비교선을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법. 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿의 예로 Fluoroscopy 영상을 들 수 있으며, 실시간적으로 영상을 얻는 형태의 것이라면 어떠한 형태의 영상이어도 좋다.(11) acquiring a 3D image including a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; Generating an intraoperative image template continuously provided over time according to at least one reference path; And comparing the breathing level at the step of obtaining the 3D image with the breathing level at the operating room by using the comparison line provided in the preoperative image template and the comparison line provided in the operating room image template. Method for comparing the preoperative breathing level and the operating room breathing level, characterized in that. An example of an operating room image template provided continuously over time may be a fluoroscopy image. Any type of image may be used as long as the image is obtained in real time.
(12) 비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 시각적으로 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(12) comparing the preoperative breathing level and the operating room breathing level, characterized in that visually displaying the proximity of the comparison line provided in the pre-operative image template of the comparison line provided in the operating room image template How to.
(13) 수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(13) The method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the comparison line provided in the operating room image template is the inside of the edge-enhanced patient.
(14) 수술장 이미지 템플릿에 구비된 비교선은 횡경막인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(14) The comparison line provided in the operating room image template is a diaphragm, the method of comparing the preoperative breathing level and the operating room breathing level.
(15) 비교하는 단계에서, 호흡 신호가 함께 디스플레이되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(15) A method of comparing the preoperative breathing level and the operating room breathing level, characterized in that in the comparing step, the breathing signal is displayed together.
(16) 수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(16) The method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the operating room image template is a continuous fluoroscopic image provided.
(17) 비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 청각적으로 알려주는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(17) in the comparing step, the preoperative breathing level and the operating room breathing level characterized in that it informs the proximity of the comparison line provided in the pre-operative image template of the comparison line provided in the operating room image template How to compare.
(18) 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;로서, 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 구비하는, 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며, 비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법. 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿의 예로 Fluoroscopy 영상을 들 수 있으며, 실시간적으로 영상을 얻는 형태의 것이라면 어떠한 형태의 영상이어도 좋다.(18) acquiring a three-dimensional image including a surgical target; Setting at least one reference path in the three-dimensional image; Generating a preoperative image template corresponding to the at least one reference path from the 3D image; wherein the preoperative image template includes a plurality of medical images, the preoperative image template Generating a; Generating an intraoperative image template continuously provided over time according to at least one reference path in the operating room; And, using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; including, in the comparing step, A method of comparing a preoperative respiratory level and a surgical respiratory level comprising finding a medical image closest to an operating room image template from among a plurality of medical images of the template and displaying the affected area on the medical image with the operating room image template. An example of an operating room image template provided continuously over time may be a fluoroscopy image. Any type of image may be used as long as the image is obtained in real time.
본 개시에 따른 하나의 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 별도의 호흡 측정 장치의 도움없이 의료용 이미지를 이용하여 환자의 호흡 레벨을 가이드할 수 있게 된다. According to the method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure, it is possible to guide the breathing level of the patient using a medical image without the help of a separate breathing apparatus.
또한 본 개시에 따른 다른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 수술장에 시술자가 없는 경우(예: master-slave 시스템을 이용한 의료용 로봇에 의한 수술, 중재술, 진단 등)에도 환자가 쉽게 자신의 호흡 레벨을 맞출 수 있게 된다.In addition, according to the method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure, even if there is no operator in the operating room (for example, surgery, intervention, diagnosis, etc. by a medical robot using a master-slave system) The patient can easily adjust his breathing level.
또한 본 개시에 따른 다른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 환자의 내부 장기 등을 이용하여 호흡 레벨을 가이드함으로써, 보다 쉽게 환자가 호흡 레벨을 맞출 수 있게 된다.In addition, according to the method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure, by guiding the breathing level using the patient's internal organs, it is easier for the patient to adjust the breathing level.
또한 본 개시에 따른 다른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 증강현실 시각화된 수술장 이미지를 제공할 수 있게 된다.In addition, according to the method of comparing the preoperative breathing level and the operating room breathing level according to the present disclosure, it is possible to provide an augmented reality visualized operating room image.

Claims (30)

  1. 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계;Obtaining a three-dimensional image including a wound target;
    3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계;Setting at least one reference path in the three-dimensional image;
    3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;Generating a preoperative image template corresponding to the at least one reference path from the 3D image;
    적어도 하나의 기준 경로에 맞추어 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고,Generating an intraoperative image template according to at least one reference path; And,
    수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.Using the preoperative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image; the preoperative breathing level and operating room comprising a How to compare breathing levels.
  2. 청구항 1에 있어서,The method according to claim 1,
    적어도 하나의 기준 경로는 복수 개이며,At least one reference path is plural,
    복수 개의 기준 경로에 대한 복수 개의 수술전 이미지 템플릿이 생성되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.A method for comparing preoperative breathing level and operating room breathing level, characterized in that a plurality of preoperative image templates are generated for a plurality of reference paths.
  3. 청구항 1에 있어서,The method according to claim 1,
    적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.Wherein at least one reference path is the path of insertion of the biopsy needle.
  4. 청구항 1에 있어서,The method according to claim 1,
    수술전 이미지 템플릿은 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지 중의 적어도 하나를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.And the preoperative image template comprises at least one of a fully inhaled medical image and a fully exhaled medical image.
  5. 청구항 1에 있어서,The method according to claim 1,
    수술전 이미지 템플릿은 복수 개의 의료용 이미지를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The pre-operative image template comprises a plurality of medical images to compare the preoperative breathing level and the operating room breathing level.
  6. 청구항 5에 있어서,The method according to claim 5,
    수술전 이미지 템플릿은 3차원 이미지로부터 생성된 적어도 하나의 실제 의료용 이미지와 이 적어도 하나의 실제 의료용 이미지로부터 예측되어 생성되는 적어도 하나의 예측 의료용 이미지를 구비하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The preoperative image template comprises at least one real medical image generated from a three-dimensional image and at least one predictive medical image predicted and generated from the at least one real medical image. How to compare breathing levels.
  7. 청구항 6에 있어서,The method according to claim 6,
    적어도 하나의 실제 의료용 이미지는 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지 중의 적어도 하나를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The at least one actual medical image comprises at least one of a fully inhaled medical image and a fully exhaled medical image.
  8. 청구항 1에 있어서,The method according to claim 1,
    비교하는 단계에서, 수술전 이미지 템플릿을 백그라운드하여, 수술장 이미지 템플릿을 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.And comparing the preoperative respiratory level with the preoperative respiratory level characterized by displaying the operating room image template in the background.
  9. 청구항 1에 있어서,The method according to claim 1,
    비교하는 단계에서, 수술전 이미지 템플릿으로부터 수술장 이미지 템플릿에 가장 유사한 의료용 이미지를 찾아 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.In the comparing step, the preoperative breathing level and the operating room breathing level, characterized in that to find and display together the medical image most similar to the operating room image template from the preoperative image template.
  10. 청구항 1에 있어서,The method according to claim 1,
    비교하는 단계에서, 수술장 이미지 템플릿을 디스플레이한 상태에서, 수술전 이미지 템플릿과의 유사도를 비교하여, 디스플레이상에 시각적으로 표현하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.In the comparing step, the method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the visual representation on the display by comparing the similarity with the pre-operative image template while the operating room image template is displayed .
  11. 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계;Obtaining a three-dimensional image including a wound target;
    3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계;Setting at least one reference path in the three-dimensional image;
    3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;Generating a preoperative image template corresponding to the at least one reference path from the 3D image;
    적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고,Generating an intraoperative image template continuously provided over time according to at least one reference path; And,
    수술전 이미지 템플릿에 구비된 비교선과 수술장 이미지 템플릿에 구비된 비교선을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.Comparing the respiratory level at the step of obtaining the three-dimensional image with the respiratory level at the operating room by using a comparison line provided in the preoperative image template and a comparison line provided in the operating room image template. To compare the preoperative breathing level with the operating room breathing level.
  12. 청구항 11에 있어서,The method according to claim 11,
    비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 시각적으로 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.In the comparing step, comparing the preoperative breathing level and the operating room breathing level characterized in that the visual display of the proximity to the comparison line provided in the preoperative image template of the comparison line provided in the operating room image template.
  13. 청구항 11에 있어서,The method according to claim 11,
    수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The comparison line provided in the operating room image template is a method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the interior of the edge-enhanced patient.
  14. 청구항 11에 있어서,The method according to claim 11,
    수술장 이미지 템플릿에 구비된 비교선은 횡경막인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The comparison line provided in the operating room image template is a diaphragm, the method of comparing the preoperative breathing level and the operating room breathing level.
  15. 청구항 11에 있어서,The method according to claim 11,
    비교하는 단계에서, 호흡 신호가 함께 디스플레이되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.In the comparing step, the respiratory signal is displayed together with the preoperative breathing level and the operating room breathing level.
  16. 청구항 11에 있어서The method according to claim 11
    수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The operating room image template is a method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the continuous fluoroscopic images provided.
  17. 청구항 16에 있어서,The method according to claim 16,
    수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The comparison line provided in the operating room image template is a method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the interior of the edge-enhanced patient.
  18. 청구항 17에 있어서,The method according to claim 17,
    수술장 이미지 템플릿에 구비된 비교선은 횡경막인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The comparison line provided in the operating room image template is a diaphragm, the method of comparing the preoperative breathing level and the operating room breathing level.
  19. 청구항 11에 있어서,The method according to claim 11,
    비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 청각적으로 알려주는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.In the comparing step, the method of comparing the preoperative breathing level and the operating room respiratory level characterized in that it informs the proximity of the comparison line provided in the pre-operative image template of the comparison line provided in the operating room image template .
  20. 청구항 11에 있어서,The method according to claim 11,
    적어도 하나의 기준 경로는 복수 개인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.At least one reference path is plural.
  21. 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계;Obtaining a three-dimensional image including a wound target;
    3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계;Setting at least one reference path in the three-dimensional image;
    3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;로서, 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 구비하는, 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;Generating a preoperative image template corresponding to the at least one reference path from the 3D image; wherein the preoperative image template includes a plurality of medical images, the preoperative image template Generating a;
    수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고,Generating an intraoperative image template continuously provided over time according to at least one reference path in the operating room; And,
    수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며,Comprising: using the pre-operative image template and the operating room image template, comparing the respiratory level in the operating room and the respiratory level in the step of obtaining a three-dimensional image;
    비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.In the comparing step, the preoperative breathing level and the surgery, characterized by finding a medical image closest to the operating room image template among the plurality of medical images of the preoperative image template and displaying the affected part on the medical image together with the operating room image template. How to compare intestinal breathing levels.
  22. 청구항 21에 있어서,The method according to claim 21,
    적어도 하나의 기준 경로는 복수 개이며,At least one reference path is plural,
    복수 개의 기준 경로에 대한 복수 개의 수술전 이미지 템플릿이 생성되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.A method for comparing preoperative breathing level and operating room breathing level, characterized in that a plurality of preoperative image templates are generated for a plurality of reference paths.
  23. 청구항 21에 있어서,The method according to claim 21,
    적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.Wherein at least one reference path is the path of insertion of the biopsy needle.
  24. 청구항 21에 있어서,The method according to claim 21,
    수술전 이미지 템플릿은 3차원 이미지로부터 생성된 적어도 하나의 실제 의료용 이미지와 이 적어도 하나의 실제 의료용 이미지로부터 예측되어 생성되는 적어도 하나의 예측 의료용 이미지를 구비하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The preoperative image template comprises at least one real medical image generated from a three-dimensional image and at least one predictive medical image predicted and generated from the at least one real medical image. How to compare breathing levels.
  25. 청구항 24에 있어서,The method of claim 24,
    적어도 하나의 실제 의료용 이미지는 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지 중의 적어도 하나를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The at least one actual medical image comprises at least one of a fully inhaled medical image and a fully exhaled medical image.
  26. 청구항 21에 있어서The method according to claim 21
    수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The operating room image template is a method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the continuous fluoroscopic images provided.
  27. 청구항 21에 있어서,The method according to claim 21,
    수술전 이미지 템플릿은 CT 이미지인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The preoperative image template is a method for comparing the preoperative breathing level and the operating room breathing level, characterized in that the CT image.
  28. 청구항 24에 있어서,The method of claim 24,
    수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The operating room image template is a method of comparing the preoperative breathing level and the operating room breathing level, characterized in that the continuous fluoroscopic images provided.
  29. 청구항 28에 있어서,The method according to claim 28,
    수술전 이미지 템플릿은 CT 이미지인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The preoperative image template is a method for comparing the preoperative breathing level and the operating room breathing level, characterized in that the CT image.
  30. 청구항 29에 있어서,The method of claim 29,
    적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.Wherein at least one reference path is the path of insertion of the biopsy needle.
PCT/KR2014/003431 2013-04-26 2014-04-18 Method for comparing preoperative respiratory level with intraoperative respiratory level WO2014175608A1 (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020130046939A KR101464330B1 (en) 2013-04-26 2013-04-26 Method of comparing preoperative respiratory level with intraoperative respiratory level
KR10-2013-0046926 2013-04-26
KR1020130046926A KR101529659B1 (en) 2013-04-26 2013-04-26 Method of comparing preoperative respiratory level with intraoperative respiratory level
KR10-2013-0046939 2013-04-26
KR1020130046936A KR101513229B1 (en) 2013-04-26 2013-04-26 Method of comparing preoperative respiratory level with intraoperative respiratory level
KR10-2013-0046936 2013-04-26

Publications (1)

Publication Number Publication Date
WO2014175608A1 true WO2014175608A1 (en) 2014-10-30

Family

ID=51792109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/003431 WO2014175608A1 (en) 2013-04-26 2014-04-18 Method for comparing preoperative respiratory level with intraoperative respiratory level

Country Status (1)

Country Link
WO (1) WO2014175608A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521507A (en) * 2002-04-03 2005-07-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ CT integrated respiratory monitor
KR20080039919A (en) * 2005-07-22 2008-05-07 토모테라피 인코포레이티드 System and method of detecting a breathing phase of a patient receiving radiation therapy
JP2010502244A (en) * 2006-09-05 2010-01-28 ヴィジョン アールティー リミテッド Patient monitor
JP2012196260A (en) * 2011-03-18 2012-10-18 Mitsubishi Heavy Ind Ltd Control device for radiation therapy device, processing method and program for the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521507A (en) * 2002-04-03 2005-07-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ CT integrated respiratory monitor
KR20080039919A (en) * 2005-07-22 2008-05-07 토모테라피 인코포레이티드 System and method of detecting a breathing phase of a patient receiving radiation therapy
JP2010502244A (en) * 2006-09-05 2010-01-28 ヴィジョン アールティー リミテッド Patient monitor
JP2012196260A (en) * 2011-03-18 2012-10-18 Mitsubishi Heavy Ind Ltd Control device for radiation therapy device, processing method and program for the same

Similar Documents

Publication Publication Date Title
US11481987B2 (en) Augmenting real-time views of a patient with three-dimensional data
KR102562252B1 (en) How to align the patient's image data with the patient's actual field of view using an optical cord attached to the patient
JP6509906B2 (en) Method of operating a medical device
US11883118B2 (en) Using augmented reality in surgical navigation
JP6987893B2 (en) General-purpose devices and methods for integrating diagnostic trials into real-time treatment
CN101243472B (en) Selectivity merges 2Dx ray image and the system and method for 3D ultrasonoscopy
JP2010517632A (en) System for continuous guidance of endoscope
US20210294435A1 (en) Interactive 3d cursor for use in medical imaging
EP3164075B1 (en) Unified coordinate system for multiple ct scans of patient lungs
EP2372660A2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
JP6049202B2 (en) Image processing apparatus, method, and program
KR20130108320A (en) Visualization of registered subsurface anatomy reference to related applications
JPH11104072A (en) Medical support system
JP4686279B2 (en) Medical diagnostic apparatus and diagnostic support apparatus
WO2014050018A1 (en) Method and device for generating virtual endoscope image, and program
KR101464330B1 (en) Method of comparing preoperative respiratory level with intraoperative respiratory level
JP2011024913A (en) Medical image processor, medical image processing program, and x-ray ct apparatus
WO2014175608A1 (en) Method for comparing preoperative respiratory level with intraoperative respiratory level
KR101513229B1 (en) Method of comparing preoperative respiratory level with intraoperative respiratory level
KR101529659B1 (en) Method of comparing preoperative respiratory level with intraoperative respiratory level
EP3788981B1 (en) Systems for providing surgical guidance
EP4191598A1 (en) Endoscope image processing device
JP2022109778A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14787656

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14787656

Country of ref document: EP

Kind code of ref document: A1