WO2023177225A1 - 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법 - Google Patents

3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법 Download PDF

Info

Publication number
WO2023177225A1
WO2023177225A1 PCT/KR2023/003498 KR2023003498W WO2023177225A1 WO 2023177225 A1 WO2023177225 A1 WO 2023177225A1 KR 2023003498 W KR2023003498 W KR 2023003498W WO 2023177225 A1 WO2023177225 A1 WO 2023177225A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
atelectasis
lung
simulation
image
Prior art date
Application number
PCT/KR2023/003498
Other languages
English (en)
French (fr)
Inventor
황인태
황진욱
이승학
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2023177225A1 publication Critical patent/WO2023177225A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Definitions

  • the present invention relates to a thoracoscopic simulation device and method that generates a 3D model of atelectasis based on CT lung images and performs simulation including indicating lung nodule locations and safety resection margins.
  • Lung cancer is the third most common cancer in 2018 after stomach and thyroid, and the number of annual patients in Korea has been increasing continuously since 2016. Every two years, low-dose chest CT (computed tomography) tests are performed on smokers aged 54 or older, and through this, the detection rate of lung nodules that may be early lung cancer is increasing.
  • the lungs unlike other body tissues, are displayed in black on CT images, and lung nodules are masses of less than 30 mm and, unlike the lungs, are displayed as white circular dots.
  • a lung segmentation method using the intensity value distribution of pixels/voxels is used.
  • the boundary lines are obtained using the difference in brightness between the lungs and other body tissues, and these are overlapped to create a 3D lung model.
  • a chest CT scan for medical staff to diagnose pulmonary nodules is performed with the patient at maximum inspiration, and the result of the CT scan is an image taken when the lungs are at their largest size.
  • the medical staff performs an actual surgery to remove a lung nodule, it is performed while the patient is breathing, and depending on the patient's posture, it enters a state of atelectasis that sinks due to gravity.
  • Atelectasis is a condition in which all or part of the lungs are contracted in situations where breathing is difficult, such as blocked bronchial tubes or lung surgery. It is physically blocked due to discharge from various diseases or diseases such as lung cancer. It happens by.
  • the lung volume is at its largest during a CT scan, and in atelectasis, the volume is reduced to about 30-40% of the maximum volume. Therefore, it is possible to secure space for the thoracic surgical tool to move in proportion to the reduced volume within the chest cavity.
  • CT imaging is performed with maximum breathing, but during surgery, it is performed in a state of atelectasis where air has been removed from the lungs, so the location of the lung nodules visible in the CT image and the state of the lungs seen in the actual surgery are determined. There is a large discrepancy between the positions of the lung nodules and the lung nodules, making it difficult to specify the actual location of the lung nodules for resection during surgery.
  • methods for marking the location of pulmonary nodules requiring resection during pulmonary nodule surgery include staining, hook wire method, radiopharmaceutical injection, and near-infrared fluorescent material injection.
  • these additional procedures have problems in that it is difficult to determine the location of the lung nodule in the actual operating room, a large amount of intact tissue must be incised, and the operator and patient are continuously exposed to radiation and fluorescent substances during the surgery.
  • the patient's recovery is slow and there is a risk of pulmonary hemorrhage and air embolism during the procedure, so it can be said that the harm to the patient is greater than the benefit gained from the procedure.
  • One object of the present invention is to solve the problem of the prior art, which does not provide much help in patient recovery and the main surgery, although various auxiliary procedures are performed to track how the position of pulmonary nodules has changed in atelectasis.
  • One object of the present invention is to create a 3D lung model from a lung CT image to simulate the atelectasis state and visualize the actual location of the lung nodule during surgery, thereby eliminating the need to perform additional auxiliary procedures before surgery and allowing the operator and patient to avoid radiation exposure during surgery. and to avoid the need for exposure to fluorescent substances.
  • One object of the present invention is to simulate an atelectasis state by generating a 3D lung model from a CT image of the lung in an inspiratory state.
  • the problem to be solved by the present invention is not limited to the problems mentioned above, and other problems and advantages of the present invention that are not mentioned can be understood through the following description and can be understood more clearly through the examples of the present invention. It will be.
  • one problem that the present invention seeks to solve is that although various auxiliary procedures are being performed to track how the position of pulmonary nodules has changed in atelectasis, they are not of great help in the patient's recovery and the main surgery. The goal is to solve the problems of the prior art.
  • One object of the present invention is to create a 3D lung model from a lung CT image to simulate the atelectasis state and visualize the actual location of the lung nodule during surgery, thereby eliminating the need to perform additional auxiliary procedures before surgery and allowing the operator and patient to avoid radiation exposure during surgery. and to avoid the need for exposure to fluorescent substances.
  • One object of the present invention is to simulate an atelectasis state by generating a 3D lung model from a CT image of the lung in an inspiratory state.
  • the thoracoscopic simulation method is a thoracoscopic simulation method in which at least part of each step is performed by the processor of the thoracoscopic simulation device, and generates a 3D lung model with lung nodules displayed based on the chest CT image in the inspiratory state for the patient.
  • the thoracoscopy simulation device includes a processor and a memory operably connected to the processor and storing at least one code executed by the processor, wherein the memory, when executed through the processor, causes the processor to determine the inspiratory state for the patient.
  • a 3D lung model with pulmonary nodules is created, and the 3D lung model in the inspiratory state is transformed to create a 3D model of atelectasis in the expiratory state.
  • the 3D model of atelectasis and the location of the ribs included in the chest CT image are created.
  • auxiliary procedures before surgery that were previously performed can be omitted, and the actual lung nodule localization time during surgery is reduced, thereby reducing surgery time and reducing the burden of additional risks for the procedure.
  • the short duration of radiation and chemicals forced the operator to perform excessive resection and surgery within a limited time.
  • the operator is able to operate safely and effectively. surgery can be performed.
  • Figure 1 is an exemplary diagram of a thoracoscopic surgery environment based on a thoracoscopic simulation device according to this embodiment.
  • Figure 2 is a block diagram schematically illustrating the configuration of the thoracoscopy simulation device according to this embodiment.
  • Figure 3 is an example diagram illustrating a lung model in a maximum inspiration state and a lung model in a maximum expiration state according to this embodiment.
  • Figure 4 is an example diagram explaining the creation of a 3D model of atelectasis in an expiratory state according to this embodiment.
  • Figure 5 is an example diagram illustrating a pulmonary nodule displayed on a 3D rib cage model according to this embodiment and a safe margin for removing the pulmonary nodule.
  • Figure 6 is an example of simultaneously displaying a thoracoscopy image and a simulation image according to this embodiment.
  • Figure 7 is a block diagram schematically illustrating the configuration of a thoracoscopy simulation device according to another embodiment.
  • Figure 8 is a flowchart for explaining the thoracoscopy simulation method according to this embodiment.
  • a “part” may be a hardware component, such as a processor or circuit, and/or a software component executed by the hardware component, such as a processor.
  • Figure 1 is an exemplary diagram of a thoracoscopic surgery environment based on a thoracoscopic simulation device according to this embodiment.
  • VATS video-assisted thoracic surgery
  • Video thoracoscopy surgery performed by the thoracoscopy simulation device 100 involves making 3-4 small (e.g., about 1-2 cm) holes in the patient's chest, and viewing a monitor through one of the holes (FIG. 2). After inserting the thoracoscope (110 in FIG. 2) connected to 131) and inserting the surgical tool (120 in FIG. 2) through another perforation, the operator inserts the thoracoscope (110 in FIG. 2) and the surgical tool (120 in FIG. 2). ) may be a method of performing thoracic surgery by manipulating.
  • 3-4 small e.g., about 1-2 cm
  • This video thoracoscopic surgery can be applied widely, from relatively simple surgeries for simple benign diseases such as hyperhidrosis or pneumothorax to highly difficult surgeries such as lung cancer resection.
  • the scope of video thoracoscopic surgery is increasing because it not only provides mild pain, rapid recovery after surgery, and excellent cosmetic effects compared to open thoracotomy, but also reduces hospital costs by shortening the hospitalization period.
  • the thoracoscopy simulation device 100 is described as being applied to an actual video thoracic surgery, but it is not limited to this, and the actual surgical environment is when patient information (surgical position and chest CT image) is already stored. It can also operate in a virtual surgical environment other than this.
  • Figure 2 is a block diagram schematically illustrating the configuration of the thoracoscopy simulation device according to the present embodiment
  • Figure 3 is an example illustrating the lung model in the maximum inspiratory state and the lung model in the maximum expiratory state according to the present embodiment
  • 4 is an example diagram illustrating the creation of a 3D model of atelectasis in an expiratory state according to this embodiment
  • FIG. 5 illustrates a safe margin for removing pulmonary nodules and pulmonary nodules displayed on the thoracic 3D model according to this embodiment.
  • Figure 6 is an example diagram of simultaneously displaying a thoracoscopy image and a simulation image according to this embodiment. In the following description, parts that overlap with the description of FIG. 1 will be omitted.
  • the thoracoscopy simulation device 100 includes a thoracoscope 110, a surgical tool 120, a monitor 130, a tracking unit 140, a user interface 150, a storage unit 160, and a simulation unit. It may include a processing unit 170 and a control unit 180.
  • the thoracoscope 110 can be inserted into one of the perforations made in the chest to photograph the surgical site.
  • the image captured by the thoracoscope 110 may be displayed on one of the monitors 131 under the control of the control unit 180.
  • the surgical tool 120 is inserted into the remaining perforations in the chest, and can incise tissue and achieve hemostasis, grasp mucous membrane, or perform dissection, etc., by the operator's manipulation.
  • the surgical tool 120 may include an incision tool 121 for cutting tissue and hemostasis and a forceps tool 122 for grasping or peeling the mucous membrane.
  • the surgical tool 120 may further include other tools in addition to the incision tool 121 and the forceps tool 122.
  • the thoracoscope 110 and the surgical tool 120 may be provided with markers (not shown) that can track their respective location information.
  • a thoracoscope marker (not shown) may be provided on one end of the inserted thoracoscope 110
  • a surgical tool marker (not shown) may be provided on one end of the inserted surgical tool 120.
  • the thoracoscope marker and the surgical tool marker may have preset reference points stored in the storage unit 160.
  • the present invention is not limited to using a marker, and is equipped with a gyro sensor, an inertial sensor, an acceleration sensor, etc. instead of the above-described marker, and uses a thoracoscope (110) based on their electrical signals and camera images. It is possible to determine the location information of the surgical tool 120 and determine the movement path and direction of progress.
  • the tracking unit 140 can track a thoracoscope marker, a surgical tool marker, and a marker (not shown) attached to the patient.
  • the tracking unit 140 compares (registers) the positions of the current thoracoscope marker and surgical tool marker with the reference points stored in the storage unit 160 to identify the thoracoscope 110 and surgical tool within the image displayed on the monitor 130. (120) It is possible to determine the location information of the patient and determine the movement path and direction of progress.
  • the tracking unit 140 may determine the location information of the marker using a magnetic field, or may determine the location information of the marker using optical marker recognition or an optical signal transmission/reception method.
  • the tracking unit 140 is equipped with a gyro sensor, an inertial sensor, an acceleration sensor, etc. instead of the above-described marker on the thoracoscope 110 and the surgical tool 120, and analyzes their electrical signals to perform the thoracoscope 110 and the surgical tool 120. It is possible to determine the location information of the tool 120 and the movement path and direction of progress.
  • the position of the thoracoscope 110 and the surgical tool 120 is determined by object recognition based on feature points of a stereo camera or depth camera image and posture estimation based on measurements from an inertial sensor coupled to the surgical tool. Information, movement path, and posture can be determined. Lidar cameras, RGBD cameras, etc. can be used similarly. In this specification, description is made based on markers, but the scope of the present invention is not limited thereto. A person skilled in the art may recognize that the present invention can be implemented based on the sensors and cameras described above in addition to the marker.
  • the user interface 150 may include an input interface (not shown) and an output interface (not shown).
  • the input interface is a configuration that allows the operator to input information related to the operation and control of the thoracoscopy simulation device 100 and may include, for example, a mouse, a keyboard, etc. In an optional embodiment, the input interface may further include a mark (not shown) for voice recognition.
  • the microphone is an example, its location and implementation method are not limited, and an input means for inputting an audio signal can be used without limitation.
  • the output interface may include a speaker (not shown).
  • the speaker may output information related to the operation of the thoracoscopy simulation device 100 as auditory data. That is, the speaker can output information related to the operation of the thoracoscopy simulation device 100 as audio data.
  • the control unit 180 Under the control of the control unit 180, it responds to notification messages such as warning sounds, notification sounds, and error states, and the operator's voice command. Information and processing results corresponding to the operator's voice commands can be output as audio.
  • the speaker is an example, and its location and implementation method are not limited, and may include all output means for outputting audio signals.
  • the output interface is a configuration that allows the operator to output information related to the operation and control of the thoracoscopy simulation device 100, and is a configuration for interface with the operator.
  • the user interface 150 is configured so that the operator can not only input information related to the thoracoscopy simulation device 100, but also check information related to the thoracoscopy simulation device 100, and has a control panel capable of input and output. It can be included.
  • the control panel may include the monitor 130 described above.
  • Such a user interface 150 may include, for example, a display member capable of touch recognition.
  • Reference points for thoracoscopy simulation may be stored in the storage unit 160.
  • a reference point in the world coordinate system for tracking the positions of the thoracoscope 110 and the surgical tool 120 may be stored.
  • the tracking unit 140 uses the coordinate system of the thoracoscope 110 (which may be based on the coordinate system of the marker attached to the thoracoscope 110) and the coordinate system of the patient (which may be based on the coordinate system of the marker attached to the patient). Calibration to match the world coordinate system can be performed.
  • the position of the thoracoscope with respect to the patient is determined by tracking the position of the marker attached to the thoracoscope, and a 3D atelectasis model is simulated based on this position to determine the field of view (FOV) of the thoracoscope (110).
  • a portion corresponding to the view can be displayed on one of the monitors 132.
  • the tracking unit 140 may estimate the posture of the thoracoscope 110 and the surgical tool 120 based on the inertial sensors of the thoracoscope 110 and the surgical tool 120.
  • the storage unit 160 may store patient information, such as the patient's surgical posture and the patient's chest CT image.
  • patient's surgical posture may be specified by the operator's decision, or may be changed by tracking the position of a marker attached to the patient.
  • the patient's chest CT image may include a plurality of slice images taken while the patient is in a state of maximum inspiration, and some of the plurality of slice images may include pulmonary nodules.
  • the storage unit 160 may further store the patient's body information, for example, location information of ribs, to create a 3D model of the rib cage.
  • location information of the ribs can be calculated and stored from the patient's chest CT image.
  • the simulation processing unit 170 may generate a 3D lung model, a 3D model of atelectasis, and a 3D chest model using the patient's surgical posture determined based on a marker attached to the patient or the operator's vision and the patient's chest CT image.
  • the simulation processing unit 170 may generate a simulation image of the 3D model of atelectasis based on the tracked position of the thoracoscope 110 or the position of the surgical tool 120 and the 3D model of the rib cage.
  • the simulation image generated by the simulation processing unit 170 may be output to one of the monitors 132 under the control of the control unit 180.
  • the simulation processing unit 170 may generate a 3D lung model with lung nodules displayed based on a chest CT image in an inspiratory state for the patient.
  • the simulation processing unit 170 may generate a 3D lung model based on the chest CT image of the patient in an inspiratory state stored in the storage unit 160.
  • the simulation processing unit 170 may display the location of a lung nodule on the generated 3D lung model.
  • the simulation processing unit 170 may segment the lung portion based on the brightness value of a pixel or voxel from a chest CT image in an inspiratory state for the patient.
  • the explanation below takes pixels as an example, but in the case of 3D separation algorithms, etc., it can also be performed on a voxel basis.
  • a chest CT image the lungs are filled with air, so they have the darkest color in the body, and other muscles, bones, and other organs appear generally white, so it is difficult to distinguish the lungs from other organs by pixels in the image. You can distinguish them by recognizing the difference in brightness.
  • a window of a certain pixel size can be set, the contrast difference within each window can be calculated while moving from the upper left to the lower right, and the position where the calculated value is large can be remembered.
  • By connecting each memorized position with a line it is divided into a low-brightness area, and in this way, the lungs and other devices can be distinguished in the chest CT image.
  • These boundaries may mean outlines in a three-dimensional volume.
  • the outline created based on the memorized position has a spatial vertex that defines the outline, and the vertex (
  • the number of vertices may vary. Therefore, in order to create an effective 3D lung model, the number of vertices defining each outline can be matched and the lines can be simplified.
  • the simulation processing unit 170 of the device performing this task can specify the order of points in space. The starting point of this sequence can be matched as closely as possible. Afterwards, a line perpendicular to the direction of the chest CT image is created connecting the vertices in the specified order of each outline, for example, the 10th, 20th, and 30th vertices of the a outline and the 10th, 20th, and 30th vertices of the b outline immediately below. can do.
  • a 3D model can be created based on the lines obtained and the outline extracted from the chest CT image. Since the outer surface defined through the above steps is a virtual surface created by lines, it is necessary to convert it to a mesh-type figure to define it accurately.
  • a mesh the smallest unit of surface in computer graphics, is a surface defined within three lines connecting three points.
  • a 3D lung model can be defined through multiple (e.g., hundreds of thousands) vertices.
  • the simulation processing unit 170 may generate a 3D model of collapsed lung in an expiratory state by modifying the 3D lung model in an inspiratory state.
  • FIG. 3A shows a 3D lung model in a maximal inspiratory state
  • FIG. 3b shows a 3D model of atelectasis in a maximal expiratory state.
  • Chest CT scan to find lung nodules is performed with the patient at maximum inspiration, as shown in Figure 3a, and the result of the CT scan is an image taken with the lungs at their largest size.
  • the simulation processing unit 170 can eliminate the above-described discrepancy by modifying the previously generated 3D lung model to create a 3D model of atelectasis in an expiratory state.
  • the simulation processing unit 170 may determine the direction of gravity based on the position of the marker or the patient's posture determined by the perspective of the medical staff (eg, operator).
  • the patient's posture may include the surgical posture of the patient scheduled for surgery depending on the location of the pulmonary nodule.
  • the simulation processing unit 170 may generate an atelectasis 3D model by moving the positions of at least some vertices included in the 3D lung model based on the determined direction of gravity. In this embodiment, the simulation processor 170 may rotate the 3D lung model to match the patient's posture.
  • the simulation processing unit 170 can create a 3D model of atelectasis in the 3D lung model in an inspiratory state through a process of reducing the gap between each vertex and simultaneously moving each vertex a certain distance in the direction of gravity according to the surgical posture.
  • FIG. 4 conceptually illustrates the atelectasis 3D model creation process.
  • the simulation processing unit 170 When explaining the atelectasis 3D model creation of the simulation processing unit 170 with reference to FIG. 4, the simulation processing unit 170 generates a plurality of vertices included in the 3D lung model. After loading, an atelectasis 3D model can be created by moving the positions of all or part of the divided vertices for simulation. Referring to FIG. 4A, for convenience of explanation, some of the vertices shown in FIG. 4A are indicated as a first vertex 411, a second vertex 412, and a third vertex 413.
  • the simulation processing unit 170 may load a plurality of vertices included in the 3D lung model (or a 3D lung model in an intake state) and then generate a virtual ground for the movement limit of the vertices based on the direction of gravity. . Referring to FIG. 4B, the recreated figure is located on the virtual ground 420.
  • the simulation processor 170 can calculate the separation distance from the ground to the vertices constituting the figure using the simulation resolution. From FIG. 4C, the simulation processor 170 calculates the first distance d1 from the ground 420 to the first vertex 411 and the second distance d2 from the ground 420 to the second vertex 412. ) and the third separation distance (d3) from the ground 420 to the third vertex 413 can be calculated.
  • the simulation processing unit 170 may move the positions of at least some vertices in the direction of gravity based on the separation distance.
  • moving the position of at least some vertices in the direction of gravity based on the separation distance may include moving vertices farther from the ground a longer distance in the direction of the ground. This may mean that vertices that are more affected by gravity are moved a longer distance in the direction of the ground, since vertices farther from the ground are more affected by gravity.
  • the simulation processing unit 170 can move the second vertex 412 a longer distance in the ground direction than the first and third vertices 411 and 413.
  • the simulation processing unit 170 may move the separation distance for each vertex by the same preset ratio. From FIG. 4C, the rate of moving the second vertex 412 in the ground direction with respect to the second separation distance d2, and the first and third vertices 411 and 413 with respect to the first and third separation distances d1 and d3. It may include moving the at the same rate in the direction of the ground.
  • the simulation processing unit 170 may move the separation distances for at least two vertices among the vertices to be moved by different ratios.
  • the rate at which the corresponding vertex is moved in the ground direction may be preset for each separation distance.
  • different ratios can be stored in the storage unit 160 so that different ratios are applied to each separation distance through prior experimentation. From FIG. 4C, the first ratio to move the second vertex 412 in the ground direction with respect to the second separation distance d2 is preset, so the simulation processing unit 170 moves the second vertex 412 by the first ratio. It can be moved.
  • the second ratio for moving the first and third vertices 411 and 413 in the ground direction is set in advance with respect to the first and third separation distances d1 and d3, so the simulation processing unit 170 And the third vertices 411 and 413 may be moved by a second ratio.
  • the first ratio and the second ratio are different from each other, and it can be seen that the first ratio (e.g., 70% compared to the reference 100%) is larger than the second ratio (e.g., 30% compared to the reference 100%). there is.
  • the simulation processing unit 170 may generate sub-vertexes in which the separation distance is divided into preset numbers and adjust the rate at which each sub-vertex is moved in the ground direction.
  • the first to sixth sub-vertexes 431 to 436 can be generated by dividing the first separation distance d1 into a preset number of equal parts.
  • the first sub-vertex 431 is the same as the above-described first vertex 411, and the sixth sub-vertex 436 may be in contact with the ground 420.
  • the method of adjusting the rate at which the first to sixth sub-vertexes 431 to 436 are moved in the ground direction is the same as that shown in FIG. 4C, so it will be omitted.
  • each vertex can be calculated to move under the influence of other vertices located nearby.
  • vertices located at both protruding points of a folded structure may have a shorter movement length in the direction of the ground than vertices located at protruding points of an unfolded structure, and may move in a diagonal direction with respect to the ground.
  • organ vertices such as the stomach and ribcage
  • the organ vertex calculates the distance to the lung vertex moving in the direction of gravity in real time, and when it comes within a specified distance, it can have the function of switching the movement direction of the lung vertex to a nearby organ vertex with a lower position. Accordingly, the lung vertices move in the direction of gravity according to the shape of the surface of the rib cage vertex of the inner shape of the ball and then gather at the bottom of the rib cage, and have the effect of moving along the outer surface of the upper vertex of the outer shape of the ball.
  • the above method is an atelectasis simulation that reflects the surface shape of internal organs in an actual atelectasis state.
  • the simulation processing unit 170 may generate an atelectasis 3D model based on vertices whose positions have been moved by reflecting gravity and perform surface rendering.
  • a graphical visualization technique is essential, and surface rendering can be performed for this purpose.
  • Surface rendering is a visualization method that expresses the position of a specific scalar value for a vertex as a basic shape. It can be said to be a three-dimensional extension of a two-dimensional contour.
  • the content related to surface rendering is known and detailed description will be omitted.
  • the simulation processing unit 170 may generate a chest 3D model using the atelectasis 3D model and the positions of the ribs included in the chest CT image.
  • Figure 5a shows a 3D model of the chest created using the atelectasis 3D model and the patient's rib position information.
  • the ribcage 3D model, including the atelectasis 3D model, may be displayed on one of the monitors 132.
  • the simulation processing unit 170 may display the location of the lung nodule on the atelectasis 3D model.
  • Figure 5b shows an example where the location of a lung nodule (pink) is displayed on the atelectasis 3D model included in the rib cage 3D model.
  • the position of the lung nodule in the atelectasis 3D model can be set by setting the position of the lung nodule in the 3D lung model and moving the position of the lung nodule along with the movement of the vertex according to gravity.
  • the simulation processing unit 170 may display a safe margin (green ball in FIG. 5C) indicating the removal range around the lung nodule to distinguish it from the surrounding tissue.
  • the simulation processing unit 170 displays an interface (not shown, which may be a visual or audio interface) that changes the size or display of the safe margin on the monitor 130, and changes the safe margin based on the medical staff's input from the interface. You can change the size or display.
  • the simulation processing unit 170 may place a 3D model of the rib cage in a virtual space and generate a simulation image based on the location of the tracked thoracoscope 110 or surgical tool 120 and the 3D model of the chest cage.
  • the simulation image may include an image obtained by applying the position tracking result of the thoracoscope 110 using a marker or sensor or the position tracking result of the surgical tool 120 to the 3D model of the chest.
  • the simulation processing unit 170 loads the chest 3D model as shown in FIGS. 5A to 5C or displays it on the monitor 130, receives the degree of deformation of the atelectasis 3D model through the user interface 150, and deforms the 3D model. Based on the degree, the atelectasis 3D model can be further modified. This is to reduce the gap caused by the difference between the actual surgery image and the simulation image, and can be performed by manipulation by the operator or surgical assistant.
  • the simulation processing unit 170 when a simulation image is generated, the simulation processing unit 170 generates a thoracoscope image captured by the thoracoscope 110, and the simulation image is a 3D atelectasis corresponding to the FOV of the thoracoscope 110 based on the position of the thoracoscope 110. Parts of the model can be displayed simultaneously.
  • Figure 6 shows an example of simultaneously displaying a thoracoscopy image and a simulation image on the monitor 130.
  • the simulation processing unit 170 compares the ratio of the lung portion to the rib cage in the thoracoscopy image and simulation image simultaneously displayed on the monitor 130, and when the difference value exceeds the reference value, the lung portion in the thoracoscopy image is compared.
  • the atelectasis 3D model can be further modified based on the proportions of the parts.
  • the atelectasis 3D model can be further modified based on the results of comparing the actual distance of atelectasis from the thorax in the thoracoscopic image on the left of FIG. 6 and the simulated distance of atelectasis from the thorax in the simulation image on the right of FIG. 6 .
  • the simulation processing unit 170 may transmit the simulation image to a wearable device (not shown) worn by the operator through a network (not shown).
  • the control unit 180 is a type of central processing device and can control the entire operation of the thoracoscopy simulation device 100.
  • the control unit 180 or simulation processing unit 170 may include all types of devices that can process data, such as a processor.
  • 'processor' may mean, for example, a data processing device built into hardware that has a physically structured circuit to perform a function expressed by code or instructions included in a program.
  • Examples of data processing devices built into hardware include a microprocessor, central processing unit (CPU), processor core, multiprocessor, and application-specific integrated (ASIC). circuit) and FPGA (field programmable gate array), etc., but the scope of the present invention is not limited thereto.
  • Figure 7 is a block diagram schematically illustrating the configuration of a thoracoscopy simulation device according to another embodiment. In the following description, parts that overlap with the description of FIGS. 1 to 6 will be omitted.
  • the processor 191 may process the functions performed by the tracking unit 140, user interface 150, storage unit 160, simulation processing unit 170, and control unit 180 shown in FIG. 2. .
  • This processor 191 can control the entire operation of the thoracoscopy simulation device 100.
  • 'processor' may mean, for example, a data processing device built into hardware that has a physically structured circuit to perform a function expressed by code or instructions included in a program.
  • data processing devices built into hardware include a microprocessor, central processing unit (CPU), processor core, multiprocessor, and application-specific integrated (ASIC). circuit) and FPGA (field programmable gate array), etc., but the scope of the present invention is not limited thereto.
  • the memory 192 is operably connected to the processor 191 and can store at least one code in association with an operation performed by the processor 191.
  • the memory 192 may perform the function of temporarily or permanently storing data processed by the processor 191.
  • the memory 192 may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.
  • Such memory 192 may include internal memory and/or external memory, such as volatile memory such as DRAM, SRAM, or SDRAM, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, Non-volatile memory such as NAND flash memory, or NOR flash memory, flash such as SSD, CF (compact flash) card, SD card, Micro-SD card, Mini-SD card, Xd card, or memory stick. It may include a storage device such as a drive or HDD.
  • FIG. 8 is a flowchart for explaining the thoracoscopy simulation method according to this embodiment.
  • the thoracoscopy simulation method according to this embodiment may be performed by the processor 191 provided in the thoracoscopy simulation device 100.
  • the processor 191 provided in the thoracoscopy simulation device 100.
  • the processor 191 may generate a 3D lung model with lung nodules displayed based on a chest CT image in an inspiratory state for the patient.
  • the processor 191 may transform the 3D lung model to create a 3D model of atelectasis in an expiratory state.
  • the processor 191 determines the direction of gravity based on the patient's surgical posture and moves the positions of at least some vertices included in the 3D lung model based on the direction of gravity.
  • a 3D model of atelectasis can be created.
  • the processor 191 may load a plurality of vertices or models included in the 3D lung model to generate the atelectasis 3D model.
  • the processor 191 may generate a ground for the movement limit of the vertex based on the direction of gravity.
  • the processor 191 can calculate the separation distance from the ground to the vertex.
  • the processor 191 may move the positions of at least some vertices in the direction of gravity based on the separation distance.
  • moving the position of at least some vertices in the direction of gravity based on the separation distance may include moving vertices farther from the ground a longer distance in the direction of the ground.
  • moving vertices farther from the ground a longer distance in the direction of the ground means moving the separation distance for each vertex by the same preset ratio, or moving the separation distance for at least two of the vertices to be moved by different ratios. This may include moving it.
  • the processor 191 may generate an atelectasis 3D model including vertices whose positions have been moved.
  • the processor 191 calculates the distance between the vertex and the vertex of the stomach and ribcage created based on CT in real time, and when moving in the direction of gravity, when the distance approaches, changes the next direction of movement to the vertex in the adjacent downward direction. can do.
  • the processor 191 may generate a 3D model of the chest using the atelectasis 3D model and the positions of the ribs included in the chest CT image.
  • the processor 191 may display the location of the lung nodule on the 3D model of atelectasis, and display a safe margin indicating the removal range around the lung nodule based on the location of the lung nodule to distinguish it from the surrounding tissue.
  • the processor 191 may display an interface for changing the size or display of the safe margin and change the size or display of the safe margin based on an input from the interface.
  • the processor 191 renders the rib cage 3D model and displays it on the monitor 130, then receives the degree of deformation of the atelectasis 3D model through the user interface 150, and creates the atelectasis 3D model based on the degree of deformation. Additional modifications are possible. This is to reduce the gap caused by the difference between the actual surgery image and the simulation image, and can be performed by manipulation by the operator or surgical assistant.
  • the processor 191 may position the 3D model of the chest in a virtual space and generate a simulation image based on the 3D model of the chest and the positions of the tracked thoracoscope and surgical tools.
  • the simulation image may include an image obtained by applying the position tracking result of the thoracoscope 110 using a marker or sensor or the position tracking result of the surgical tool 120 to the 3D model of the chest.
  • the processor 191 may simultaneously display the thoracoscopy image captured by the thoracoscope 110 and the simulation image on different screens.
  • the simulation image may be simulating a portion of the atelectasis 3D model corresponding to the FOV at the location relative to the thoracoscope.
  • the processor 191 compares the ratio of the lung portion to the rib cage in the thoracoscopy image and the simulation image simultaneously displayed on the monitor 130, and when the difference value exceeds a reference value, the processor 191 compares the ratio of the lung portion in the thoracoscopy image.
  • the atelectasis 3D model can be further modified based on proportions.
  • the processor 191 may transmit the simulation image to a wearable device (not shown) worn by the operator through a network (not shown).
  • Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded on a computer-readable medium.
  • the medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and It may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • the computer program may be designed and configured specifically for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of computer programs may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 CT 폐 영상을 기반으로 무기폐 3D 모델을 생성하여 폐결절 위치 및 안전 절제마진 표시를 포함하는 시뮬레이션을 수행하는 흉강경 시뮬레이션 장치 및 방법에 관한 것이다. 본 실시 예에 따른 흉강경 시뮬레이션 방법은, 각 단계의 적어도 일부가 프로세서에 의해 수행되는 흉강경 시뮬레이션 방법으로서, 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성하는 단계와, 3D 폐 모델을 변형하여 호기 상태의 무기폐 3D 모델을 생성하는 단계와, 무기폐 3D 모델과, 흉부 CT 이미지에 포함된 갈비뼈의 위치를 이용하여 흉곽 3D 모델을 생성하는 단계와, 가상의 공간에 흉곽 3D 모델을 위치시키고, 추적된 흉 강경 및 수술도구의 위치와 흉곽 3D 모델을 기반으로 하여 시뮬레이션 영상을 생성하는 단계를 포함할 수 있다.

Description

3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법
본 발명은 CT 폐 영상을 기반으로 무기폐 3D 모델을 생성하여 폐결절 위치 및 안전 절제마진 표시를 포함하는 시뮬레이션을 수행하는 흉강경 시뮬레이션 장치 및 방법에 관한 것이다.
폐암은 위, 갑상선에 이어 2018년 기준 발생자 수 3위의 암으로 2016 년 이후 국내 연간 환자는 지속적으로 증가하고 있다. 매 2년마다 만 54세 이상 흡연자를 대상으로 저선량 흉부 CT(computed tomography) 검사를 실시하고 있으며, 이를 통하여 초기 폐암 가능성이 있는 폐결절 발견율이 높아지고 있다. 폐는 CT 영상에서 다른 신체 조직과 다르게 검은색으로 표시되며, 이중 폐결절은 30mm이하의 덩어리로 폐와는 다르게 흰색의 원형점으로 표시된다.
흉부 CT 폐 영상에서 폐를 분할하기 위하여 픽셀/복셀의 밝기값 (intensity value) 분포를 이용한 폐 분할 방법이 사용되고 있다. CT 영상에서 검 은색으로 표시되는 폐의 특성을 이용하여 폐와 다른 신체 조직간의 밝기 차이를 이용하여 경계선을 획득하고 이들을 중첩시켜 3차원 폐 모델을 제작한다.
의료진이 폐결절을 진단하기 위한 흉부 CT 촬영은 환자의 최대 흡기 상태에서 이루어지며, CT 촬영의 결과물은 폐의 크기가 가장 큰 상태에서 촬영된 모습이다. 그러나 의료진이 폐결절을 제거하는 실제 수술 시에는 환자의 호기 상태에서 진행되며 환자의 자세에 따라 중력에 의해 가라앉는 무기폐 상태가 된다.
무기폐(無氣肺, atelectasis)는 기관지가 막히거나 폐 수술 등, 숨을 쉬기 어려운 상황에서 폐의 전체, 혹은 일부가 수축한 상태로 각종 질병으로 인한 분비물이나 폐암 등의 질환으로 인해 물리적인 폐쇄에 의해 일어난다. 폐의 부피는 CT 촬영시 가장 큰 상태가 되며 무기폐 상태에서는 최대 상태의 약 30~40%정도의 부피로 줄어든다. 따라서 흉곽내 줄어든 부피만큼 흉강경 수술 도구가 움직일 수 있는 공간을 확보할 수 있게 된다.
CT 영상 촬영은 호흡을 최대로 들어 마신 상태에서 이루어지게 되나, 수술 시에는 폐에서 공기가 빠진 상태인 무기폐 상태에서 이루어지게 되므로, CT 영상에서 보이는 폐결절의 위치와 실제 수술에서 볼 수 있는 폐의 상태와 폐결절의 위치에는 큰 괴리가 있어, 수술 시 폐결절 절제를 위해 폐결절의 실제 위치를 특정하는 데 어려움이 있다.
이에 무기폐 상태에서 폐결절의 위치가 수술 시 어떻게 변화하였는 지를 추적하기 위한 여러 가지 보조 시술들이 행해지고 있으나, 환자의 회복 및 본 수술에 있어서 큰 도움이 되지 않는 문제점이 있다.
한편, 폐결절 수술 시에 절제가 필요한 폐결절의 위치를 표시하기 위한 방법으로 염색법, 후크 와이어법, 방사성 의약품 주입법, 근적외선 형광물질 주입법 등이 있다. 그러나 이러한 추가적인 시술들은 실 수술장에서 폐결절의 위치를 판별하기 어렵고, 이상 없는 조직을 많이 절개해야 하며, 수술 시 시술자와 환자가 지속적으로 방사선 및 형광물질에 노출되는 문제점이 있다. 또한 환자의 회복이 느리며 시술시 폐출혈, 공기 색전증 등의 위험이 있어 시술을 통해 얻는 이득보다 환자에게 끼치는 해가 더 크다고 할 수 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일 과제는, 무기폐 상태에서 폐결절의 위치가 어떻게 변화하였는지를 추적하기 위한 여러 가지 보조 시술들이 행해지고 있으나, 환자의 회복 및 본 수술에 있어서 큰 도움이 되지 않는 종래 기술의 문제점을 해결하는데 있다.
본 발명의 일 과제는, 폐 CT 영상으로부터 3D 폐 모델을 생성하여 무기폐 상태를 시뮬레이션하여 수술 시 실제 폐결절의 위치를 시각화함으로써 수술 전 추가적인 보조 시술들을 수행할 필요가 없고, 수술 시 시술자와 환자가 방사선 및 형광물질에 노출될 필요가 없도록 하는데 있다.
본 발명의 일 과제는, 흡기 상태의 폐 CT 영상으로부터 3D 폐 모델을 생성하여 무기폐 상태를 시뮬레이션 하도록 하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 본 발명의 일 과제는, 무기폐 상태에서 폐결절의 위치가 어떻게 변화하였는 지를 추적하기 위한 여러 가지 보조 시술들이 행해지고 있으나, 환자의 회복 및 본 수술에 있어서 큰 도움이 되지 않는 종래 기술의 문제점을 해결하는데 있다.
본 발명의 일 과제는, 폐 CT 영상으로부터 3D 폐 모델을 생성하여 무기폐 상태를 시뮬레이션하여 수술 시 실제 폐결절의 위치를 시각화함으로써 수술 전 추가적인 보조 시술들을 수행할 필요가 없고, 수술 시 시술자와 환자가 방사선 및 형광물질에 노출될 필요가 없도록 하는데 있다.
본 발명의 일 과제는, 흡기 상태의 폐 CT 영상으로부터 3D 폐 모델을 생성하여 무기폐 상태를 시뮬레이션 하도록 하는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 과제 및 장점들은 특허 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 실시 예에 따른 흉강경 시뮬레이션 방법은, 각 단계의 적어도 일부가 흉강경 시뮬레이션 장치의 프로세서에 의해 수행되는 흉강경 시뮬레이션 방법으로서, 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성하는 단계와, 흡기 상태의 3D 폐 모델을 변형하여 호기 상태의 무기 폐 3D 모델을 생성하는 단계와, 무기폐 3D 모델과, 흉부 CT 이미지에 포함된 갈비 뼈의 위치를 이용하여 흉곽 3D 모델을 생성하는 단계와, 가상의 공간에 흉곽 3D 모델을 위치시키고, 추적된 흉강경 및 수술도구의 위치와 흉곽 3D 모델을 기반으로 하여 시뮬레이션 영상을 생성하는 단계를 포함할 수 있다.
본 실시 예에 따른 흉강경 시뮬레이션 장치는, 프로세서 및 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때, 프로세서가 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성 하고, 흡기 상태의 3D 폐 모델을 변형하여 호기 상태의 무기폐 3D 모델을 생성하고, 무기폐 3D 모델과, 흉부 CT 이미지에 포함된 갈비뼈의 위치를 이용하여 흉곽 3D 모델을 생성하고, 가상의 공간에 흉곽 3D 모델을 위치시키고, 추적된 흉강 경 및 수술도구의 위치와 흉곽 3D 모델을 기반으로 하여 시뮬레이션 영상을 생성하도록 야기하는 코드를 저장할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상 기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 기존에 행해지던 수술 전 추가적인 보조 시술을 생략할 수 있고, 수술 시의 실제 폐결절 위치 추적(localization) 시간이 감소되어 수술 시간을 줄여주고 시술에 대한 추가적인 위험부담을 덜 수 있다.
또한, 기존 방법에서 방사선 및 화학물질의 짧은 지속시간으로 인하 여 시술자로 하여금 과도한 절제 및 제한된 시간 내의 수술을 강요하였으나, 실시 간으로 폐결절의 위치를 추적하고 절제 마진을 표시함으로써 시술자가 안전하고 효 과적인 수술을 할 수 있다.
또한, 무기폐 상태의 시뮬레이션을 통하여 실제 수술에서 일어날 수 있는 여러 가지 위험 요소를 수술 전에 인지하고 이에 대비할 수 있으며, 폐결절 제거 수술에 대한 시술 교육을 수행할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되 지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 실시 예에 따른 흉강경 시뮬레이션 장치를 기반으로 한 흉강경 수술 환경의 예시도이다.
도 2는 본 실시 예에 따른 흉강경 시뮬레이션 장치의 구성을 개략적으로 설 명하기 위하여 도시한 블록도이다.
도 3은 본 실시 예에 따른 최대 흡기 상태의 폐 모델 및 최대 호기 상태의 폐 모델을 설명하는 예시도이다.
도 4는 본 실시 예에 따른 호기 상태의 무기폐 3D 모델 생성을 설명하는 예시도이다.
도 5는 본 실시 예에 따른 흉곽 3D 모델 상에 표시된 폐결절 및 폐결절을 제 거하기 위한 세이프 마진을 설명하는 예시도이다.
도 6은 본 실시 예에 따른 흉강경 영상 및 시뮬레이션 영상을 동시에 디스플레이한 예시도이다.
도 7은 다른 실시 예에 따른 흉강경 시뮬레이션 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 8은 본 실시 예에 따른 흉강경 시뮬레이션 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다 양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백 하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존 재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등 의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구 성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 출원서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 실시 예에 따른 흉강경 시뮬레이션 장치를 기반으로 한 흉강경 수술 환경의 예시도이다. 도 1을 참조하면, 가슴(흉부) 내부의 수술을 할 때, 과거에는 환자의 가슴을 열고 수술하는 개흉 수술을 시행하였으나, 최근에는 비디오 흉강경 수술(VATS: video-assisted thoracic surgery)을 시행하고 있다.
흉강경 시뮬레이션 장치(100)에 의해 수행되는 비디오 흉강경 수술은, 환자의 가슴에 3-4군데의 작은(예를 들어, 약 1-2cm) 천공을 뚫고, 그 중 하나의 천공을 통하여 모니터(도 2의 131)와 연결된 흉강경(도 2의 110)을 삽입하고, 다른 천공을 통해 수술 도구(도 2의 120)를 삽입한 후, 수술자가 흉강경(도 2의 110) 및 수술 도구(도 2의 120)를 조작하여 흉부 수술을 시행하는 방법일 수 있다.
이러한 비디오 흉강경 수술은 비교적 간단한 다한증 또는 기흉과 같은 단순한 양성질환의 수술에서부터 폐암 절제술 등 난이도가 높은 수술에 이르기까지 광범위하게 적용될 수 있다. 비디오 흉강경 수술은 개흉 수술에 비해 경미한 통증, 수술 후 빠른 회복 및 우수한 미용 효과뿐만 아니라, 입원기간의 단축으로 인한 병원비용 절감으로 그 대상 범위가 늘어나고 있다.
본 실시 예에서 흉강경 시뮬레이션 장치(100)를 실제적인 비디오 흉강경 수술 시에 적용하는 것으로 기재하고 있으나, 이에 한정되지 않고, 환자의 정보(수술 자세 및 흉부 CT 이미지)가 기 저장되어 있는 경우 실제 수술 환경이 아닌 가상의 수술 환경에서도 동작할 수 있다.
도 2는 본 실시 예에 따른 흉강경 시뮬레이션 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이고, 도 3은 본 실시 예에 따른 최대 흡기 상태의 폐 모델 및 최대 호기 상태의 폐 모델을 설명하는 예시도이고, 도 4는 본 실시 예에 따른 호기 상태의 무기폐 3D 모델 생성을 설명하는 예시도이고, 도 5는 본 실시 예에 따른 흉곽 3D 모델 상에 표시된 폐결절 및 폐결절을 제거하기 위한 세이프 마진을 설명하는 예시도이고, 도 6은 본 실시 예에 따른 흉강경 영상 및 시뮬레이션 영상을 동시에 디스플레이한 예시도이다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 2 내지 도 6을 참조하면, 흉강경 시뮬레이션 장치(100)는 흉강경(110), 수술도구(120), 모니터(130), 추적부(140) 사용자 인터페이스(150), 저장부(160), 시뮬레이션 처리부(170) 및 제어부(180)를 포함할 수 있다.
흉강경(110)은 가슴에 뚫린 천공들 중 하나에 삽입되어 수술 부위를 촬영할 수 있다. 흉강경(110)이 촬영한 영상은 제어부(180)의 제어 하에 모니터 중 하나(131)에 디스플레이 될 수 있다.
수술도구(120)는 가슴에 뚫린 나머지 천공들에 삽입되고, 수술자의 조작에 의해 조직을 절개 및 지혈을 수행하거나, 점막을 파지하거나 박리 등을 수행할 수 있다. 여기서, 수술도구(120)는 조직을 절개 및 지혈을 수행하는 절개도구(121) 및 점막을 파지하거나 박리하는 겸자도구(122)를 포함할 수 있다. 본 실시 예에서, 수술도구(120)는 절개도구(121) 및 겸자도구(122) 이외에 다른 도구 등을 더 포함할 수 있다.
본 실시 예에서 흉강경(110)과 수술도구(120)에는 각각의 위치 정보를 추적할 수 있는 마커(미도시)가 구비될 수 있다. 예를 들어 삽입되는 흉강경(110)의 일단에는 흉강경 마커(미도시)가 구비될 수 있고, 삽입되는 수술도구(120)의 일단에는 수술도구 마커(미도시)가 구비될 수 있다. 본 실시 예에서 흉강경 마커 및 수술도구 마커는 기 설정된 기준점이 저장부(160)에 저장될 수 있다. 아래에서 추가로 설명하지만, 본 발명은 마커를 사용하는 것에 한정되지 않고, 상술한 마커가 아닌 자이로 센서, 관성 센서, 가속도 센서 등을 장착하고 이들의 전기적 신호와 카메라 영상에 기반하여 흉강경(110)과 수술도구(120)의 위치정보를 파악하고, 이동경로 및 진행방향을 파악할 수 있다.
추적부(140)는 흉강경 마커, 수술도구 마커 및 환자에 부착된 마커(미도시)를 추적할 수 있다. 추적부(140)는 현재 흉강경 마커 및 수술도구 마커의 위치와 저장부(160)에 저장된 기준점을 비교(정합, registration)하여 모니터(130) 상에 디스플레이되는 영상 내에서 흉강경(110)과 수술도구(120)의 환자에 대한 위치정보를 파악하고, 이동경로 및 진행방향을 파악할 수 있다. 본 실시 예에서 추적부(140)는 자기장을 이용하여 마커의 위치 정보를 파악하거나, 광학적 마커의 인식 또는 광학신호의 송수신 방법을 이용하여 마커의 위치 정보를 파악할 수 있다.
선택적 실시 예로 추적부(140)는 흉강경(110)과 수술도구(120)에 상술한 마커가 아닌 자이로 센서, 관성 센서, 가속도 센서 등을 장착하고 이들의 전기적 신호를 분석하여 흉강경(110)과 수술도구(120)의 위치정보를 파악하고, 이동 경로 및 진행방향을 파악할 수 있다. 관성 센서를 사용하는 경우 스테레오 카메라 또는 깊이 카메라(depth camera) 영상의 특징점에 기반한 객체 인식과 수술 도구에 결합된 관성 센서의 측정값에 기반한 자세 추정으로 흉강경(110)과 수술도구(120)의 위치정보, 이동경로 및 자세 등을 판단할 수 있다. 라이다(Lidar) 카메라, RGBD 카메라 등의 경우도 유사하게 사용될 수 있다. 본 명세서에서는 마커를 기반으로 하여 설명하지만, 본 발명의 범위가 이에 한정되는 것은 아니다. 통상의 기술자는 마커 이외에 위에서 설명한 센서 및 카메라에 기반하여 본 발명을 구현할 수 있음을 인식할 수 있다.
사용자 인터페이스(150)는 입력 인터페이스(미도시) 및 출력 인터페이스(미도시)를 포함할 수 있다.
입력 인터페이스는 수술자가 흉강경 시뮬레이션 장치(100)의 동작 및 제어와 관련한 정보를 입력할 수 있는 구성으로, 예를 들어, 마우스, 키보드 등을 포함할 수 있다. 선택적 실시 예로, 입력 인터페이스는 음성 인식을 위한 마크(미도시)를 더 포함할 수 있다. 마이크는 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 오디오 신호 입력을 위한 입력 수단은 제한 없이 차용될 수 있다.
한편, 본 실시 예에서, 출력 인터페이스는 스피커(미도시)를 포함할 수 있다. 스피커는, 흉강경 시뮬레이션 장치(100)의 동작과 관련한 정보를 청각 데이터로 출력할 수 있다. 즉 스피커는 흉강경 시뮬레이션 장치(100)의 동작과 관련한 정보를 오디오 데이터로 출력할 수 있는데, 제어부(180)의 제어에 따라 경고음, 알림음, 에러상태 등의 알림 메시지와, 수술자의 음성 명령에 대응하는 정보, 수술자 음성 명령에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. 스피커는 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 오디오 신호 출력을 위한 출력 수단을 모두 포함할 수 있다.
출력 인터페이스는 수술자가 흉강경 시뮬레이션 장치(100)의 동작 및 제어와 관련한 정보를 출력할 수 있는 구성으로, 수술자와의 인터페이스를 위한 구성이다.
즉 사용자 인터페이스(150)는 수술자가 흉강경 시뮬레이션 장치(100)와 관련한 정보를 입력할 수 있을 뿐만 아니라, 흉강경 시뮬레이션 장치(100)와 관련한 정보를 확인할 수 있는 구성으로, 입력 및 출력이 가능한 콘트롤 패널을 포함할 수 있다. 여기서, 콘트롤 패널은 상술한 모니터(130)를 포함할 수 있다. 이와 같은 사용자 인터페이스(150)는 예를 들어 터치 인식이 가능한 소정의 디스플레이 부재를 포함할 수 있다.
저장부(160)에는 흉강경 시뮬레이션을 위한 기준점이 저장될 수 있다. 일 실시 예로, 흉강경(110) 및 수술도구(120)의 위치를 추적하기 위한 월드 좌표계의 기준점이 저장될 수 있다. 추적부(140)는 흉강경(110)(흉강경(110)에 부착된 마커의 좌표계를 기준으로 할 수 있다)의 좌표계, 환자(환자에 부착된 마커의 좌표계를 기준으로 할 수 있다)의 좌표계를 월드 좌표계와 정합시키는 캘리브레이션을 수행할 수 있다. 이후 정합된 좌표계에서 마커를 사용하는 경우 흉강경에 부착된 마커의 위치를 추적하여 환자에 대한 흉강경의 위치를 판단하고, 이 위치를 기준으로 3차원 무기폐 모델을 시뮬레이션하여 흉강경(110)의 FOV(field of view)에 대응하는 부분을 모니터 중 하나(132)에 표시할 수 있다. 추적부(140)는 흉강경(110) 및 수술도구(120)의 관성 센서에 기반하여 흉강경(110) 및 수술도구(120)의 자세를 추정할 수 있다.
저장부(160)에는 환자의 정보 예를 들어, 환자의 수술 자세와 환자의 흉부 CT 이미지가 저장될 수 있다. 일 실시 예에서 환자의 수술 자세는 수술자의 결정에 의해 지정되거나, 환자에 부착된 마커의 위치를 추적하여 변경될 수 있다. 또한 환자의 흉부 CT 이미지는 환자의 최대 흡기 상태에서 촬영된 복수개의 슬라이스 이미지들을 포함할 수 있고, 복수개의 슬라이스 이미지들 중 일부에 폐결절이 포함될 수 있다.
저장부(160)에는 흉곽 3D 모델 생성을 위해 환자의 신체 정보 예를 들어, 갈비뼈의 위치 정보가 더 저장될 수 있다. 여기서, 갈비뼈의 위치 정보는 환자의 흉부 CT 이미지로부터 산출되어 저장될 수 있다.
시뮬레이션 처리부(170)는 환자에 부착된 마커 또는 수술자의 시각에 기반하여 결정된 환자의 수술 자세와 환자의 흉부 CT 이미지를 이용하여 3D 폐 모델, 무기폐 3D 모델 및 흉곽 3D 모델을 생성할 수 있다. 시뮬레이션 처리부(170)는 추적된 흉강경(110)의 위치 또는 수술도구(120)의 위치와 흉곽 3D 모델을 기반으로 하여 무기폐 3차원 모델의 시뮬레이션 영상을 생성할 수 있다. 시뮬레이션 처리부(170)에서 생성한 시뮬레이션 영상은 제어부(180)의 제어 하에 모니터 중 하나(132)에 출력될 수 있다.
시뮬레이션 처리부(170)는 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성할 수 있다. 본 실시 예에서 시뮬레이션 처리부(170)는 저장부(160)에 저장된 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 3D 폐 모델을 생성할 수 있다. 일 실시 예에서, 시뮬레이션 처리부(170)는 생성된 3D 폐 모델에 폐결절의 위치를 표시할 수 있다. 시뮬레이션 처리부(170)는 3D 폐 모델을 생성하기 위해, 환자에 대한 흡기 상태의 흉부 CT 이미지로부터 픽셀 또는 복셀의 밝기값을 기반으로 하여 폐 부분을 분리(segmentation)할 수 있다. 아래에서는 픽셀을 예로 들어 설명하지만 3차원 분리 알고리즘 등의 경우 복셀 기반으로 수행될 수도 있다.
기본적으로 흉부 CT 이미지에서 폐 부분은 공기가 차 있으므로 인체 내에서 가장 어두운 색을 띠게 되고, 이외의 근육이나 뼈, 기타 장기는 대체로 흰 색으로 나타나므로 폐와 다른 장기를 구분하는 데에는 영상에서 픽셀의 명도 차이를 인식하여 구분할 수 있다. 디지털화된 흉부 CT 이미지는 일정한 픽셀 크기의 윈도우를 설정하고, 좌상단에서 우하단까지 이동하면서 각 윈도우 내의 명암 차이를 계산하고, 그 계산 값이 큰 위치를 기억할 수 있다. 기억된 각 위치를 기준으로 선으로 연결하면 하나의 명도가 낮은 구역으로 구획되고 이러한 방법을 통해 흉부 CT 이미지에서 폐와 다른 장치들을 구분할 수 있다. 이러한 경계선은 3차원 볼륨에서의 외곽선을 의미할 수 있다. 3방향에서 촬영된 복수의 흉부 CT 이미지에서 폐 부분을 의미하는 외곽선들을 추출하여 흉부 CT 이미지의 해상도, 즉 각 영상 획득을 위한 촬영 시점들 간의 거리를 계산 이에 비례하여 외곽선들을 배열할 수 있다.
이렇게 기억된 위치를 기반으로 생성된 외곽선은 그 외곽선을 정의하는 공간상의 버텍스(vertex)가 있으며, 무기폐 3차원 모델의 실시간 시뮬레이션을 위한 처리 장치의 연산 능력이나 모니터(130)의 해상도 등에 따라 버텍스(vertex)의 개수는 달라질 수 있다. 이에 효과적인 3D 폐 모델 생성을 위해 각 외곽선을 정의하는 버텍스의 개수를 일치하고 선을 단순화시킬 수 있다. 본 작업을 수행하는 장치의 시뮬레이션 처리부(170)는 공간상의 점에 대해 순서를 지정할 수 있다. 이 순서의 시작점을 가장 가깝게 일치시킬 수 있다. 이 후 각 외곽선의 지정된 순서의 버텍스, 예를 들어 a 외곽선의 10, 20, 30번째 버텍스와 바로 아래 b 외곽선의 10, 20, 30번째 버텍스를 연결하는 흉부 CT 이미지의 방향과 직교하는 선을 생성할 수 있다. 이를 통해 얻어진 선들과 흉부 CT 이미지에서 추출된 외곽선을 기반으로 3차원 모델을 생성할 수 있다. 위 단계를 통해 정의된 외곽면은 선들에 의해 만들어진 가상의 면이므로 이를 정확하게 정의하기 위해서는 메쉬 형태의 도형으로 전환할 필요가 있다. 컴퓨터 그래픽에서 면의 최소 단위인 메쉬는 3개의 점을 잇는 3개의 선 안에 정의되는 면이다. 이를 통해 3D 폐 모델은 복수(예를 들어, 수십 만개)의 버텍스를 통해 정의될 수 있다.
시뮬레이션 처리부(170)는 흡기 상태의 3D 폐 모델을 변형하여 호기 상태의 무기폐(collapsed lung) 3D 모델을 생성할 수 있다. 도 3을 참조하면, 도 3a에는 최대 흡기 상태의 3D 폐 모델이 도시되어 있고, 도 3b에는 최대 호기 상태의 무기폐 3D 모델이 도시되어 있다. 폐결절을 찾기 위한 흉부 CT 촬영은 도 3a와 같이 환자의 최대 흡기 상태에서 이루어지며, CT 촬영의 결과물은 폐의 크기가 가장 큰 상태에서 촬영된 모습이다. 그러나 폐결절을 제거하는 실제 수술 시에는 환자의 호기 상태에서 진행되며 환자의 자세에 따라 중력에 의해 가라앉는 무기폐 상태 즉, 도 3b와 같은 상태가 된다. 따라서, 흉부 CT 이미지에서 보이는 폐결절의 위치와 실제 수술에서 볼 수 있는 폐의 상태와 폐결절의 위치에는 큰 괴리가 있을 수 있다. 이에 본 실시 예에서 시뮬레이션 처리부(170)는 앞서 생성한 3D 폐 모델을 변형하여 호기 상태의 무기폐 3D 모델을 생성하여 상술한 괴리를 제거할 수 있다.
시뮬레이션 처리부(170)는 마커의 위치 또는 의료진(예를 들어, 수술자)의 시각에 의해 결정된 환자의 자세에 기반하여 중력 방향을 결정할 수 있다. 여기서, 환자의 자세는 폐결절의 위치에 따라 수술 예정인 환자의 수술 자세를 포함할 수 있다. 시뮬레이션 처리부(170)는 결정된 중력 방향을 기반으로 하여 3D 폐 모델에 포함되는 적어도 일부의 버텍스(vertex)의 위치를 이동시켜 무기폐 3D 모델을 생성할 수 있다. 본 실시 예에서 시뮬레이션 처리부(170)는 3D 폐 모델을 환자의 자세와 일치되게 회전시킬 수 있다. 이후 시뮬레이션 처리부(170)는 흡기 상태의 3D 폐 모델에서, 각 버텍스 간의 간격을 줄이는 동시에 수술 자세에 따른 중력 방향으로 각 버텍스들을 일정 거리만큼 이동시키는 과정을 통해 무기폐 3D 모델을 생성할 수 있다.
도 4는 무기폐 3D 모델 생성 과정을 개념적으로 도시한 것으로, 도 4를 참조하여 시뮬레이션 처리부(170)의 무기폐 3D 모델 생성을 설명하면, 시뮬레이션 처리부(170)는 3D 폐 모델에 포함된 복수개의 버텍스를 로딩한 후, 시뮬레이션을 위하여 분할된 버텍스의 전부 또는 일부의 위치를 이동시켜 무기폐 3D 모델을 생성할 수 있다. 도 4a를 참조하면, 설명의 편의상 도 4a에 도시된 버텍스의 일부를 제1 버텍스(411), 제2 버텍스(412), 제3 버텍스(413)로 표시하였다.
시뮬레이션 처리부(170)는, 3D 폐 모델에 포함된 복수개의 버텍스(또는 흡기 상태의 3D 폐 모델)를 로딩한 후, 중력 방향을 기반으로 하여 버텍스의 이동 한계를 위한 가상의 지면을 생성할 수 있다. 도 4b를 참조하면 가상의 지면(420) 상에 재생성된 도형이 위치하고 있다.
시뮬레이션 처리부(170)는 시뮬레이션 해상도를 이용하여 지면으로부터 도형을 구성하는 버텍스까지의 이격거리를 산출할 수 있다. 도 4c로부터 시뮬레이션 처리부(170)는 지면(420)으로부터 제1 버텍스(411)까지의 제1 이격거리(d1)와, 지면(420)으로부터 제2 버텍스(412)까지의 제2 이격거리(d2)와, 지면(420)으로부터 제3 버텍스(413)까지의 제3 이격거리(d3)를 산출할 수 있다.
시뮬레이션 처리부(170)는 이격거리에 기반하여 적어도 일부의 버텍스의 위치를 중력 방향으로 이동시킬 수 있다. 여기서, 이격거리에 기반하여 적어도 일부의 버텍스의 위치를 중력 방향으로 이동시킨다 함은, 지면에서 먼 버텍스일수록 지면 방향으로 더 긴 거리를 이동시키는 것을 포함할 수 있다. 이는, 지면에서 먼 버텍스 일수록 중력의 영향을 더 많이 받기 때문에, 중력의 영향을 많이 받는 버텍스일수록 지면 방향으로 더 긴 거리를 이동시킨다는 의미를 포함할 수 있다.
도 4c로부터 제1 이격거리(d1), 제2 이격거리(d2) 및 제3 이격거리 (d3) 중 제2 이격거리(d2)가 가장 크고, 제1 이격거리(d1) 및 제3 이격거리(d3)의 크기가 동일하다고 가정하면, 시뮬레이션 처리부(170)는 제2 버텍스(412)를 제1 및 제3 버텍스(411, 413)보다 지면 방향으로 더 긴 거리를 이동시킬 수 있다.
선택적 실시 예로, 시뮬레이션 처리부(170)는 버텍스 각각에 대한 이격거리를 미리 설정된 동일한 비율만큼 이동시킬 수 있다. 도 4c로부터 제2 이격거리(d2)에 대하여 제2 버텍스(412)를 지면 방향으로 이동시킬 비율과, 제1 및 제3 이격거리(d1, d3)에 대하여 제1 및 제3 버텍스(411,413)를 지면 방향으로 이동시킬 비율을 동일하게 하여 이동시키는 것을 포함할 수 있다.
선택적 실시 예로, 시뮬레이션 처리부(170)는 이동되는 버텍스 중 적어도 두 개의 버텍스에 대한 이격거리를 서로 다른 비율만큼 이동시킬 수 있다. 여기서, 이격거리마다 해당 버텍스를 지면 방향으로 이동시킬 비율이 미리 설정되어 있음을 포함할 수 있다. 여기서, 서로 다른 비율은 미리 실험을 통하여 이격거리 마다 서로 다른 비율이 적용되도록 저장부(160)에 저장될 수 있다. 도 4c로부터 제2 이격거리(d2)에 대하여 제2 버텍스(412)를 지면 방향으로 이동시킬 제1 비율이 미리 설정되어 있어서, 시뮬레이션 처리부(170)는 제2 버텍스(412)를 제1 비율만큼 이동시킬 수 있다. 또한, 제1 및 제3 이격거리(d1, d3)에 대하여 제1 및 제3 버텍스(411, 413)를 지면 방향으로 이동시킬 제2 비율이 미리 설정되어 있어서, 시뮬레이션 처리부(170)는 제1 및 제3 버텍스(411, 413)를 제2 비율만큼 이동시킬 수 있다. 여기서, 제1 비율 및 제2 비율은 서로 다르며, 제1 비율(예를 들어, 기준 100% 대비 70%)이 제2 비율(예를 들어, 기준 100% 대비 30%)보다 더 크다는 것을 알 수 있다.
선택적 실시 예로, 시뮬레이션 처리부(170)는 이격거리를 기 설정된 개수로 등분한 서브 버텍스들을 생성하고, 서브 버텍스들 각각에 대하여 지면 방향으로 이동시킬 비율을 조정할 수도 있다. 도 4d로부터 예를 들어, 제1 이격거리(d1)를 기 설정된 개수로 등분하여 제1 내지 제6 서브 버텍스(431 내지 436)를 생성할 수 있다. 여기서, 제1 서브 버텍스(431)는 상술한 제1 버텍스(411)와 동일하고, 제6 서브 버텍스(436)는 지면(420)에 접촉되어 있을 수 있다. 여기서, 제1 내지 제6 서브 버텍스(431 내지 436)에 대하여 지면 방향으로 이동시킬 비율을 조정하는 방법은 도 4c에 도시된 내용과 동일하므로 생략하기로 한다.
위에서 설명한 실시 예들은 개념적으로 단순하게 각 버텍스가 지면 방향으로 수직 이동하는 것처럼 설명했지만, 각 버텍스들은 근접하게 위치한 다른 버텍스들의 영향을 받은 상태에서 이동하도록 계산될 수 있다. 예를 들어 접힌(folding) 구조의 양쪽 돌출 지점에 위치한 버텍스는 접히지 않은 구조의 돌출 지점에 위치한 버텍스보다 지면 방향으로 이동길이가 짧을 수 있으며, 지면에 대하여 사선 방향으로 이동할 수 있다.
또한, 3차원으로 구성된 위, 흉곽 등의 버텍스(이하 장기 버텍스)들을 위에 논의된 버텍스들과 분리된 그룹을 형성하여 구성될 수 있다. 장기 버텍스는 중력방향으로 이동중인 폐 버텍스와의 거리를 실시간으로 계산하여 지정된 거리 이내로 들어올 시, 폐 버텍스의 이동방향을 위치가 낮은 주변 장기 버텍스로 전환하는 기능을 가질 수 있다. 따라서 폐 버텍스들은 공의 내부 형태의 흉곽 버텍스의 표면의 형상에 따라 중력방향으로 이동 후 흉곽의 하단에 모아지고, 공의 외부 형태의 위 버텍스의 외부 표면을 따라 이동하는 효과를 지니게 된다. 위 방법은 실제 무기폐 상태의 내부 장기의 표면 형상을 반영하는 무기폐 시뮬레이션이다.
시뮬레이션 처리부(170)는 중력을 반영하여 위치가 이동된 버텍스들에 기반하여 무기폐 3D 모델을 생성하고 서피스 렌더링을 수행할 수 있다. 3D 데이터를 용이하게 분석하기 위해 그래픽에 의한 가시화(visualization) 기법이 필수적이며, 이를 위해 서피스 렌더링(surface rendering)이 수행될 수 있다. 서피스 렌더링은 버텍스에 대한 특정 스칼라 값의 위치를 기본 도형으로 표현하는 가시화 방법으로 이차원 컨투어(contour)가 3차원으로 확장된 개념이라 할 수 있다. 이하 서피스 렌더링과 관련한 내용은 공지된 내용으로 상세한 설명은 생략하기로 한다.
상술한 바와 같이 무기폐 3D 모델이 생성되면, 시뮬레이션 처리부(170)는 무기폐 3D 모델과, 흉부 CT 이미지에 포함된 갈비뼈의 위치를 이용하여 흉곽 3D 모델을 생성할 수 있다. 도 5a에는 무기폐 3D 모델 및 환자의 갈비뼈 위치 정보를 이용하여 생성한 흉곽 3D 모델이 도시되어 있다. 무기폐 3D 모델을 포함한 흉곽 3D 모델은 모니터 중 하나(132)에 디스플레이 될 수 있다.
흉곽 3D 모델이 생성되면, 시뮬레이션 처리부(170)는 무기폐 3D 모델 상에 폐결절의 위치를 표시할 수 있다. 도 5b에는 흉곽 3D 모델에 포함되는 무기폐 3D 모델 상에 폐결절의 위치(분홍색)가 표시된 예가 도시되어 있다. 무기폐 3D 모델에서 폐결절의 위치는, 일 실시 예에서, 3D 폐 모델에 폐결절의 위치를 설정하고, 중력에 따른 버텍스의 이동과 함께 폐결절의 위치를 이동시킬 수 있다
시뮬레이션 처리부(170)는 폐결절의 위치에 기반하여 폐결절의 주변에 제거 범위를 표시하는 세이프 마진(도 5c의 녹색 공)을 주변 조직과 구별되도록 표시할 수 있다. 여기서, 시뮬레이션 처리부(170)는 세이프 마진의 크기 또는 표시를 변경하는 인터페이스(미도시, 시각적 또는 음성적 인터페이스일 수 있다)를 모니터(130) 상에 표시하고, 의료진의 인터페이스의 입력에 기반하여 세이프 마진의 크기 또는 표시를 변경할 수 있다.
시뮬레이션 처리부(170)는 가상의 공간에 흉곽 3D 모델을 위치시키고, 추적된 흉강경(110) 또는 수술도구(120)의 위치와 흉곽 3D 모델을 기반으로 시뮬레이션 영상을 생성할 수 있다. 여기서, 시뮬레이션 영상은 마커 또는 센서에 의한 흉강경(110)의 위치 추적 결과 또는 수술도구(120)의 위치 추적 결과를, 흉곽 3D 모델에 적용한 영상을 포함할 수 있다.
선택적 실시 예로, 시뮬레이션 처리부(170)는 도 5a 내지 도 5c와 같은 흉곽 3D 모델을 로딩하거나 모니터(130)에 디스플레이한 후, 사용자 인터페이스(150)를 통하여 무기폐 3D 모델의 변형 정도를 수신하고, 변형 정도에 기반하여 무기폐 3D 모델을 추가로 변형할 수 있다. 이는 실제 수술 영상과 시뮬레이션 영상의 차이로 인한 간극을 줄이기 위한 것으로, 수술자 또는 수술 보조자의 조작에 의해 수행될 수 있다.
선택적 실시 예로, 시뮬레이션 처리부(170)는 시뮬레이션 영상이 생성되면 흉강경(110)에 의해 촬영된 흉강경 영상과, 시뮬레이션 영상은 흉강경(110)의 위치에 기반하여 흉강경(110)의 FOV에 대응되는 무기폐 3D 모델의 부분을 동시에 디스플레이 할 수 있다. 도 6에는 모니터(130) 상에 흉강경 영상 및 시뮬레이션 영상을 동시에 디스플레이 한 예가 도시되어 있다.
일 실시 예로, 시뮬레이션 처리부(170)는 모니터(130) 상에 동시에 디스플레이되는 흉강경 영상 및 시뮬레이션 영상에서 흉곽 대비 폐 부분의 비율을 비교하여, 그 차이 값이 기준 값을 초과하는 경우, 흉강경 영상에서 폐 부분의 비율에 기반하여 무기폐 3D 모델을 추가로 변형할 수 있다. 예를 들어, 도 6 좌측의 흉강경 영상에서 흉곽으로부터 실제 무기폐의 거리와 우측의 시뮬레이션 영상에서 흉곽으로부터 시뮬레이션 된 무기폐의 거리를 비교한 결과에 기반하여 무기폐 3D 모델을 추가로 변형할 수 있다.
선택적 실시 예로, 시뮬레이션 처리부(170)는 네트워크(미도시)를 통하여 시뮬레이션 영상을 수술자가 착용한 웨어러블 디바이스(미도시)로 전송할 수도 있다.
제어부(180)는 일종의 중앙처리장치로서 흉강경 시뮬레이션 장치(100) 전체의 동작을 제어할 수 있다. 제어부(180) 또는 시뮬레이션 처리부(170)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티 프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발 명의 범위가 이에 한정되는 것은 아니다.
도 7은 다른 실시 예에 따른 흉강경 시뮬레이션 장치의 구성을 개략 적으로 설명하기 위하여 도시한 블록도이다. 이하의 설명에서 도 1 내지 도 6에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
본 실시 예에서 프로세서(191)는 도 2에 개시된 추적부(140), 사용자 인터페이스(150), 저장부(160), 시뮬레이션 처리부(170) 및 제어부(180)가 수행하는 기능을 처리할 수 있다.
이러한 프로세서(191)는 흉강경 시뮬레이션 장치(100) 전체의 동작을 제어할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서 (microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어 (processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(192)는 프로세서(191)와 동작 가능하게 연결되고, 프로세서 (191)에서 수행되는 동작과 연관하여 적어도 하나의 코드를 저장할 수 있다.
또한, 메모리(192)는 프로세서(191)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(192)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리 (192)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모 리 등과 같은 비휘발성 메모리, SSD, CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
도 8은 본 실시 예에 따른 흉강경 시뮬레이션 방법을 설명하기 위한 흐름도이다. 본 실시 예에 다른 흉강경 시뮬레이션 방법은 흉강경 시뮬레이션 장치(100)에 구비된 프로세서(191)에 의해 수행될 수 있다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 8을 참조하면, S810단계에서, 프로세서(191)는 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성할 수 있다.
S820단계에서, 프로세서(191)는 3D 폐 모델을 변형하여 호기 상태의 무기폐 3D 모델을 생성할 수 있다. 프로세서(191)는 무기폐 3D 모델을 생성 시에, 환자의 수술 자세에 기반하여 중력 방향을 결정하고, 중력 방향을 기반으로 하여 3D 폐 모델에 포함되는 적어도 일부의 버텍스(vertex)의 위치를 이동시켜 무기폐 3D 모델을 생성할 수 있다. 구체적으로 프로세서(191)는 무기폐 3D 모델을 생성하기 위해, 3D 폐 모델에 포함된 복수개의 버텍스 또는 모델을 로딩할 수 있다. 프로세서(191)는 중력 방향을 기반으로 하여 버텍스의 이동 한계를 위한 지면을 생성할 수 있다. 프로세서(191)는 지면으로부터 버텍스까지의 이격거리를 산출할 수 있다. 프로세서(191)는 이격거리에 기반하여 적어도 일부의 버텍스의 위치를 중력 방향으로 이동시킬 수 있다. 여기서, 이격거리에 기반하여 적어도 일부의 버텍스의 위치를 중력 방향으로 이동시키는 것은 지면에서 먼 버텍스 일수록 지면 방향으로 더 긴 거리를 이동시키는 것을 포함할 수 있다. 또한, 지면에서 먼 버텍스 일수록 지면 방향으로 더 긴 거리를 이동시키는 것은 버텍스 각각에 대한 이격거리를 미리 설정된 동일한 비율만큼 이동시키거나, 이동되는 버텍스 중 적어도 두 개의 버텍스에 대한 이격거리를 서로 다른 비율만큼 이동시키는 것을 포함할 수 있다. 프로세서(191)는 위치가 이동된 버텍스를 포함하여 무기폐 3D 모델을 생성할 수 있다. 또한 프로세서(191)은 버텍스와 CT에 기반하여 생성된 위, 흉곽의 버텍스와의 거리를 실시간으로 계산하여 중력방향으로 이동시 그 거리가 가까워지면 다음 이동 방향을 인접한 아래 방향에 있는 버텍스로 방향을 전환할 수 있다.
S830단계에서, 프로세서(191)는 무기폐 3D 모델과, 흉부 CT 이미지에 포함된 갈비뼈의 위치를 이용하여 흉곽 3D 모델을 생성할 수 있다. 일 실시 예로, 프로세서(191)는 무기폐 3D 모델 상에 폐결절의 위치를 표시하고, 폐결절의 위치에 기반하여 폐결절의 주변에 제거 범위를 표시하는 세이프 마진을 주변 조직과 구별되도록 표시할 수 있다. 또한 프로세서(191)는 세이프 마진의 크기 또는 표시를 변경하는 인터페이스를 표시하고, 인터페이스의 입력에 기반하여 세이프 마진의 크기 또는 표시를 변경할 수 있다. 선택적 실시 예로, 프로세서(191)는 흉곽 3D 모델을 렌더링하여 모니터(130)에 디스플레이한 후, 사용자 인터페이스(150)를 통하여 무기폐 3D 모델의 변형 정도를 수신하고, 변형 정도에 기반하여 무기폐 3D 모델을 추가로 변형할 수 있다. 이는 실제 수술 영상과 시뮬레이션 영상의 차이로 인한 간극을 줄이기 위한 것으로, 수술자 또는 수술 보조자의 조작에 의해 수행될 수 있다.
S840단계에서, 프로세서(191)는 가상의 공간에 흉곽 3D 모델을 위치시키고, 추적된 흉강경 및 수술도구의 위치와 흉곽 3D 모델을 기반으로 하여 시뮬레이션 영상을 생성할 수 있다. 여기서, 시뮬레이션 영상은 마커 또는 센서에 의한 흉강경(110)의 위치 추적 결과 또는 수술도구(120)의 위치 추적 결과를, 흉곽 3D 모델에 적용한 영상을 포함할 수 있다.
선택적 실시 예로, 프로세서(191)는 시뮬레이션 영상이 생성되면 흉강경(110)에 의해 촬영된 흉강경 영상과, 시뮬레이션 영상을 서로 다른 화면에 동시에 디스플레이 할 수 있다. 시뮬레이션 영상은 흉강경의 화장에 대한 위치에서의 FOV에 대응되는 무기폐 3D 모델의 부분을 시뮬레이션 하는 것일 수 있다. 선택적 실시 예로, 프로세서(191)는 모니터(130) 상에 동시에 디스플레이 되는 흉강경 영상 및 시뮬레이션 영상에서 흉곽 대비 폐 부분의 비율을 비교하여, 그 차이 값이 기준값을 초과하는 경우, 흉강경 영상에서 폐 부분의 비율에 기반하여 무기폐 3D 모델을 추가로 변형할 수 있다. 선택적 실시 예로, 프로세서(191)는 네트워크(미도시)를 통하여 시뮬레이션 영상을 수술자가 착용한 웨어러블 디바이스(미도시)로 전송할 수도 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성 요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매 체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령 어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이 와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설 명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발 명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범 주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져 서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (21)

  1. 각 단계의 적어도 일부가 프로세서에 의해 수행되는 흉강경 시뮬레이션 방법으로서, 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성하는 단계;
    상기 3D 폐 모델을 변형하여 호기 상태의 무기폐 3D 모델을 생성하는 단계;
    상기 무기폐 3D 모델과, 상기 흉부 CT 이미지에 포함된 갈비뼈의 위치를 이용하여 흉곽 3D 모델을 생성하는 단계; 및
    가상의 공간에 상기 흉곽 3D 모델을 위치시키고, 추적된 흉강경 및 수술도구의 위치와 상기 흉곽 3D 모델을 기반으로 하여 시뮬레이션 영상을 생성하는 단계를 포함하는,
    흉강경 시뮬레이션 방법.
  2. 제 1 항에 있어서,
    상기 무기폐 3D 모델을 생성하는 단계는,
    상기 환자의 자세에 기반하여 중력 방향을 결정하는 단계; 및
    상기 중력 방향을 기반으로 하여 상기 3D 폐 모델에 포함되는 적어도 일부의 버텍스(vertex)의 위치를 이동시켜 상기 무기폐 3D 모델을 생성하는 단계를 포함하는,
    흉강경 시뮬레이션 방법.
  3. 제 2 항에 있어서,
    상기 무기폐 3D 모델을 생성하는 단계는,
    상기 3D 폐 모델에 포함된 복수개의 버텍스를 로딩하는 단계;
    상기 중력 방향을 기반으로 하여 상기 버텍스의 이동 한계를 위한 지면을 생성하는 단계;
    상기 지면으로부터 상기 버텍스까지의 이격거리를 산출하는 단계;
    상기 이격거리에 기반하여 적어도 일부의 상기 버텍스의 위치를 상기 중력 방향으로 이동시키는 단계; 및
    위치가 이동된 상기 버텍스를 포함하여 무기폐 3D 모델을 생성하고 서피스 렌더링을 수행하는 단계를 포함하는,
    흉강경 시뮬레이션 방법.
  4. 제 3 항에 있어서,
    상기 이격거리에 기반하여 적어도 일부의 상기 버텍스의 위치를 상기 중력 방향으로 이동시키는 단계는,
    상기 지면에서 먼 상기 버텍스일수록 상기 지면의 방향으로 더 긴 거리를 이동시키는 단계를 포함하는,
    흉강경 시뮬레이션 방법.
  5. 제 4 항에 있어서,
    상기 지면에서 먼 상기 버텍스일수록 상기 지면의 방향으로 더 긴 거리를 이동시키는 단계는,
    상기 버텍스 각각에 대한 상기 이격거리를 미리 설정된 동일한 비율만큼 이동시키는 단계를 포함하는,
    흉강경 시뮬레이션 방법.
  6. 제 1 항에 있어서,
    상기 흉곽 3D 모델을 생성하는 단계는,
    상기 흉부 CT 이미지에 포함된 갈비뼈의 위치에 기초하여 상기 흉곽 CD 모델을 생성하는,
    흉강경 시뮬레이션 방법.
  7. 제 4 항에 있어서,
    상기 3D 폐 모델에 포함된 복수개의 버텍스 이외에 위와 흉곽을 포함하는 장기 버텍스를 형성하는 단계;
    중력 방향을 기반으로 이동중인 상기 폐 모델의 버텍스와 상기 장기 버텍스와의 거리를 실시간으로 계산하는 단계; 및
    상기 거리가 기 설정된 일정 거리 이내에 해당되는 경우, 상기 폐 모델의 버텍스의 이동방향을 상대적으로 위치가 낮은 폐 주변의 상기 장기 버텍스로 전환시키는 단계를 더 포함하는,
    흉강경 시뮬레이션 방법.
  8. 제 1 항에 있어서,
    상기 흉곽 3D 모델을 생성하는 단계는,
    상기 무기폐 3D 모델 상에 폐결절의 위치를 표시하는 단계; 및
    상기 폐결절의 위치에 기반하여 상기 폐결절의 주변에 제거 범위를 표시하는 세이프 마진을 주변 조직과 구별되도록 표시하는 단계를 더 포함하는,
    흉강경 시뮬레이션 방법.
  9. 제 8 항에 있어서,
    상기 세이프 마진의 크기 또는 표시를 변경하는 인터페이스를 표시하는 단계; 및
    상기 인터페이스의 입력에 기반하여 상기 세이프 마진의 크기 또는 표시를 변경하는 단계를 더 포함하는,
    흉강경 시뮬레이션 방법.
  10. 제 1 항에 있어서,
    상기 무기폐 3D 모델의 변형 정도를 입력 받는 단계; 및
    상기 변형 정도에 기반하여 상기 무기폐 3D 모델을 추가로 변형하는 단계를 포함하는, 흉강경 시뮬레이션 방법.
  11. 제 1 항에 있어서,
    상기 시뮬레이션 영상을 생성하는 단계 이후에, 흉강경에 의해 촬영된 흉강경 영상과, 상기 시뮬레이션 영상을 서로 다른 화면에 동시에 디스플레이 하는 단계를 더 포함하는,
    흉강경 시뮬레이션 방법.
  12. 제 11 항에 있어서,
    상기 흉강경 영상 및 상기 시뮬레이션 영상에서 폐 부분의 비율을 비교하는 단계; 및
    상기 폐 부분의 비율에 기반하여 상기 무기폐 3D 모델을 추가로 변형하는 단계를 포함하는,
    흉강경 시뮬레이션 방법.
  13. 제 1 항에 있어서,
    상기 시뮬레이션 영상을 생성하는 단계 이후에, 상기 시뮬레이션 영상을 수술자가 착용한 웨어러블 디바이스로 전송하는 단계를 더 포함하는,
    흉강경 시뮬레이션 방법.
  14. 흉강경 시뮬레이션 장치로서,
    프로세서; 및
    상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어 도 하나의 코드를 저장하는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서가 환자에 대한 흡기 상태의 흉부 CT 이미지를 기반으로 폐결절이 표시된 3D 폐 모델을 생성하고, 상기 3D 폐 모델을 변형하여 호기 상태의 무기폐 3D 모델을 생성하고, 상기 무기폐 3D 모델과, 상기 흉부 CT 이미지에 포함된 갈비뼈의 위치를 이용하여 흉곽 3D 모델을 생성하고, 가상의 공간에 상기 흉곽 3D 모델을 위치시키고, 추적된 흉강경 및 수술도구의 위치와 상기 흉곽 3D 모델을 기반으로 하여 시뮬레이션 영상을 생성하도록 야기하는 코드를 저장하는,
    흉강경 시뮬레이션 장치.
  15. 제 14 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금, 상기 무기폐 3D 모델을 생성 시에, 상기 환자의 자세에 기반하여 중력 방향을 결정하고, 상기 중력 방향을 기반으로 하여 상기 3D 폐 모델에 포함되는 적어도 일부의 버텍스(vertex)의 위치를 이동시켜 상기 무기폐 3D 모델을 생성하도록 야기하는 코드를 저장하는,
    흉강경 시뮬레이션 장치.
  16. 제 15 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금, 상기 무기폐 3D 모델을 생성 시에, 상기 3D 폐 모델에 포함된 복수개의 버텍스를 로딩하고, 상기 중력 방향을 기반으로 하여 상기 버텍스의 이동 한계를 위한 지면을 생성하고, 상기 지면으로부터 상기 버텍스까지의 이격거리를 산출하고, 상기 이격거리에 기반하여 적어도 일부의 상기 버텍스의 위치를 상기 중력 방향으로 이동시키고, 위치가 이동된 상기 버텍스를 포함하여 무기폐 3D 모델을 생성하고 서피스 렌더링을 수행하도록 야기하는 코드를 저장하는,
    흉강경 시뮬레이션 장치.
  17. 제 16 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금, 상기 이격거리에 기반하여 적어도 일부의 상기 버텍스의 위치를 상기 중력 방향으로 이동시킬 때에, 상기 지면에서 먼 상기 버텍스일수록 상기 지면의 방향으로 더 긴 거리를 이동시키도록 야기하는 코드를 저장하는,
    흉강경 시뮬레이션 장치.
  18. 제 17 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금, 상기 지면에서 먼 상기 버텍스일수록 상기 지면의 방향으로 더 긴 거리를 이동시킬 때에, 상기 버텍스 각각에 대한 상기 이격거리를 미리 설정된 동일한 비율만큼 이동시키도록 야기하는 코드를 저장하는,
    흉강경 시뮬레이션 장치.
  19. 제 17 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금, 상기 지면에서 먼 상기 버텍스 일수록 상기 지면의 방향으로 더 긴 거리를 이동시킬 때에, 이동되는 상기 버텍스 중 적어도 두 개의 상기 버텍스에 대한 이격거리를 서로 다른 비율만큼 이동시키도록 야기하는 코드를 저장하는,
    흉강경 시뮬레이션 장치.
  20. 제 14 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금, 상기 흉곽 3D 모델을 생성 시에, 상기 무기폐 3D 모델 상에 폐결절의 위치를 표시하고, 상기 폐결절의 위치에 기반하여 상기 폐결절의 주변에 제거 범위를 표시하는 세이프 마진을 주변 조직과 구별되도록 표시하도록 야기하는 코드를 더 저장하는, 흉강경 시뮬레이션 장치.
  21. 흉부 CT 이미지를 구성하는 일정한 픽셀 크기의 각 윈도우 내의 명암 차이를 계산하는 단계;
    상기 명암 차이의 계산값이 기 설정된 기준 이상인 위치들을 경계선으로 연결하여 명도가 상대적으로 낮은 구역을 폐로 구분하는 단계;
    상기 경계선을 외곽선으로 설정하고, 3방향에서 촬영된 복수의 상기 흉부 CT 이미지에서 상기 외곽선들을 추출하는 단계;
    상기 각 흉부 CT 이미지의 해상도 및 촬영 시점들 간의 거리를 고려하여 상기 외곽선들을 배열하는 단계; 및
    상기 외곽선을 정의하는 공간상의 버텍스에 기초하여 3D 폐 모델을 생성하는 단계를 포함하는,
    3D 폐 모델 생성 방법.
PCT/KR2023/003498 2022-03-16 2023-03-16 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법 WO2023177225A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0032481 2022-03-16
KR1020220032481A KR20230135256A (ko) 2022-03-16 2022-03-16 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023177225A1 true WO2023177225A1 (ko) 2023-09-21

Family

ID=88024070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003498 WO2023177225A1 (ko) 2022-03-16 2023-03-16 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230135256A (ko)
WO (1) WO2023177225A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100028301A (ko) * 2008-09-04 2010-03-12 울산대학교 산학협력단 Ｃｔ 폐영상에서 기울기와 밝기값 분포를 이용한 폐분할 방법
KR20120122542A (ko) * 2011-04-29 2012-11-07 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
KR20190096575A (ko) * 2018-02-09 2019-08-20 고려대학교 산학협력단 의료 영상 시스템
KR20200089146A (ko) * 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101092470B1 (ko) 2010-12-17 2011-12-13 전남대학교산학협력단 폐 시티에서 좌우 폐의 영역을 분리하는 방법, 그 방법을 수행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체 및 그 프로그램이 저장된 서버 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100028301A (ko) * 2008-09-04 2010-03-12 울산대학교 산학협력단 Ｃｔ 폐영상에서 기울기와 밝기값 분포를 이용한 폐분할 방법
KR20120122542A (ko) * 2011-04-29 2012-11-07 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
KR20190096575A (ko) * 2018-02-09 2019-08-20 고려대학교 산학협력단 의료 영상 시스템
KR20200089146A (ko) * 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HWANG, I. CT image-based atelectasis simulation and lung nodule localization system. 2021년 대한흉부심장혈관외과학회 제53차 추계학술대회 (2021 The Korean Society for Thoracic & Cardiovascular Surgery 53rd Fall Conference). 15 November 2021, 21F-071. *
LEE, JOON-KU; KIM, YANG-MO; KIM, DO-YEON: "Segmentation and Visualization of Human Anatomy using Medical Imagery", JOURNAL OF THE KOREA INSTITUTE OF ELECTRONIC COMMUNICATION SCIENCES, vol. 8, no. 1, 1 January 2013 (2013-01-01), pages 191 - 197, XP009549217, ISSN: 1975-8170, DOI: 10.13067/JKIECS.2013.8.1.191 *

Also Published As

Publication number Publication date
KR20230135256A (ko) 2023-09-25

Similar Documents

Publication Publication Date Title
KR102018565B1 (ko) 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
CN107613897B (zh) 扩增实境的外科导航
US20240033014A1 (en) Guidance for placement of surgical ports
WO2015030455A1 (ko) 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
EP2637593B1 (en) Visualization of anatomical data by augmented reality
EP2372660A2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
JP2020512089A (ja) 奥行き知覚を高める仮想陰影
KR20170095007A (ko) 수술 훈련 시뮬레이션 시스템 및 방법
WO2021006472A1 (ko) 임플란트 시술 계획 수립을 위한 다중 골밀도 표시방법 및 그 영상 처리장치
WO2020149544A1 (ko) 영상 정복 기반 가상 내고정물 생성 방법 및 장치
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2014050019A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
JP2022548237A (ja) Ｖａｔｓ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査
Yagel et al. Building a virtual environment for endoscopic sinus surgery simulation
WO2023177225A1 (ko) 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법
JP2020120827A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2021006471A1 (ko) 임플란트 구조물 자동 식립을 통한 임플란트 수술 계획 수립 방법, 이를 위한 사용자 인터페이스 제공 방법 및 그 치아영상 처리장치
EP2009613A1 (en) System for simultaing a manual interventional operation
US20200113635A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
WO2022108387A1 (ko) 임상 기록 데이터 생성 방법 및 장치
US20220039881A1 (en) System and method for augmented reality spine surgery
KR20200056855A (ko) 기복모델 생성방법, 장치 및 프로그램
KR101540402B1 (ko) 의료용 바늘의 삽입 경로의 생성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23771104

Country of ref document: EP

Kind code of ref document: A1