WO2024014906A1 - 결석 제거를 위한 가이던스 제공 시스템 및 방법 - Google Patents

결석 제거를 위한 가이던스 제공 시스템 및 방법 Download PDF

Info

Publication number
WO2024014906A1
WO2024014906A1 PCT/KR2023/010044 KR2023010044W WO2024014906A1 WO 2024014906 A1 WO2024014906 A1 WO 2024014906A1 KR 2023010044 W KR2023010044 W KR 2023010044W WO 2024014906 A1 WO2024014906 A1 WO 2024014906A1
Authority
WO
WIPO (PCT)
Prior art keywords
guidance
distance
image
medical
guide tube
Prior art date
Application number
PCT/KR2023/010044
Other languages
English (en)
French (fr)
Inventor
공덕유
권준영
김재철
김준영
김준환
로사뚜아니 데 사
백현우
서현세
송규섭
양운제
이동호
장진혁
전지운
Original Assignee
주식회사 로엔서지컬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로엔서지컬 filed Critical 주식회사 로엔서지컬
Priority claimed from KR1020230091218A external-priority patent/KR20240009905A/ko
Publication of WO2024014906A1 publication Critical patent/WO2024014906A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/22—Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/22—Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for
    • A61B17/221—Gripping devices in the form of loops or baskets for gripping calculi or similar types of obstructions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots

Definitions

  • Urinary stones are stones (e.g. stones) that form in the urinary tract, which produces urine and excretes it. Stones are formed when the concentration of minerals dissolved in urine (e.g. calcium, oxalic acid, phosphoric acid, uric acid, etc.) increases, so they can no longer dissolve in urine and turn into crystals, and other crystals clump together with these crystals as the nucleus. In most cases, urinary stones are formed in the kidneys and are found in the renal pelvis, ureters, bladder, and urethra. Pain from urinary stones appears differently depending on the shape, size, and location of the stone.
  • minerals dissolved in urine e.g. calcium, oxalic acid, phosphoric acid, uric acid, etc.
  • ureteral stones cause pain that extends from the side to the back if the stone gets stuck in the upper ureter, and if the stone gets stuck in the lower ureter, pain extends from the lower abdomen to the groin, thighs, and perineum.
  • Bladder stones cause symptoms such as discomfort in the lower abdomen, frequent need to urinate, and difficult urination.
  • Urinary stones can be diagnosed by performing a urine chemistry test, X-ray, CT, urography, or ultrasound.
  • urinary stones can be treated with extracorporeal shock wave lithotripsy (ESWL), stone removal using a flexible ureteroscope (RIRS, Retrograde Intrarenal Surgery), percutaneous nephrolithectomy (PCNL), or kidney stone removal using open or laparoscopic surgery. It can be removed using stone removal surgery.
  • ESWL extracorporeal shock wave lithotripsy
  • RIRS Retrograde Intrarenal Surgery
  • PCNL percutaneous nephrolithectomy
  • kidney stone removal using open or laparoscopic surgery It can be removed using stone removal surgery.
  • a system and method for providing guidance for stone removal may provide a graphical representation of guidance displayed by overlaying a medical image.
  • the system and method for providing guidance for stone removal can provide graphical representation of guidance when using a basket and a laser fiber among medical tools.
  • the system and method for providing guidance for stone removal may provide graphical representations of guidance in different sizes according to the changing estimated distance.
  • a system and method for providing guidance for stone removal may estimate the distance between a medical tool and a camera at the end of a guide tube by simultaneously using image-based distance estimation and encoder-based distance estimation.
  • a system for providing guidance for stone removal includes a guide tube insertable into the ureter for stone removal, a wire movable along the longitudinal axis of the guide tube inside the guide tube, a drive unit for moving the wire, and A medical tool connected to the distal end portion of the wire and exposed to the outside of the guide tube.
  • the medical tool includes a basket or a laser, and is connected to the distal end portion of the guide tube.
  • a guidance graphic representation indicating the size of a stone that can be extracted by a basket based on a slave device including a camera for taking medical images and an estimated distance between the medical tool and the camera at the end of the guide tube It includes a processor that determines the size of the guidance graphic representation, and a master device that overlays and displays the guidance graphic representation having the determined size on the medical image captured by the camera received from the slave device. can do.
  • the processor infers an image-based distance between the medical tool and the camera at the end of the guide tube from the captured medical image, and estimates the encoder-based distance between the medical tool and the camera at the end of the guide tube from the encoder information of the drive unit. And, the estimated distance may be determined based on the image-based distance and the encoder-based distance.
  • the processor estimates the geometric information of the shaft from the shaft area of the basket by using a machine learning model, for example, an object detection or instance segmentation algorithm, from the captured medical image. And, the image-based distance can be inferred from the estimated geometric information based on a machine learning model.
  • a machine learning model for example, an object detection or instance segmentation algorithm
  • the geometric information of the shaft is obtained from the area occupied by the shaft area of the basket in the medical image, the diameter of the estimated circle corresponding to the end of the shaft, the radius of the estimated circle corresponding to the end of the shaft, and the boundary of the medical image. It may include at least one of the length to the end of the shaft, the length from the center of the medical image to the end of the shaft, or the inclination of the shaft.
  • the processor may infer an image-based distance by inputting the medical image into another machine learning model.
  • the processor may determine the estimated distance by applying a bias compensation value determined based on the image-based distance and the encoder-based distance to the encoder-based distance.
  • the bias compensation value may have a value that converges over time after starting the calculation of the estimated distance.
  • the processor may reduce the size of the guidance graphical representation when the estimated distance increases and increase the size of the guidance graphical representation when the estimated distance decreases.
  • the processor detects the moment when the end of the laser fiber contacts the stone through an image, etc., and always keeps a guidance circle spaced according to the distance of the laser fiber so that the doctor can directly direct the laser fiber to the stone.
  • the size of the guidance circle and the stone are compared while making contact, the target image at the point when the end of the laser fiber contacts the stone is captured and stored, and the medical image is output to the display of the master device while the target image is also displayed. Can be printed.
  • the processor may output the guidance graphic representation on the target image based on the selected point in response to receiving an input for selecting a point in the target image from the user.
  • the processor may detect a stone area in the target image and output the guidance graphical representation on the target image based on a reference point within the detected stone area.
  • the guidance graphical representation may be expressed as one of a circular, oval, square, polygonal, or closed curve shape.
  • the size of the guidance graphic representation may be defined based on the size of a sheath guiding the guide tube.
  • the boundary of the guidance graphic representation has a thickness
  • the processor may reduce the thickness of the boundary of the guidance graphic representation when reliability of the estimated distance increases over time.
  • a method of providing guidance for stone removal includes obtaining a medical image captured with a medical tool at the end of a guide tube inserted into the ureter, the medical tool and the guide tube from the captured medical image. Inferring an image-based distance between cameras at the ends, obtaining information about an encoder of a driving part that moves a wire inside the guide tube, based on the encoder between the medical tool and the cameras at the end of the guide tube from the information of the encoder estimating a distance, determining an estimated distance between the medical tool and a camera at the end of the guide tube based on the image-based distance and the encoder-based distance, and creating a graphical representation of guidance of a size determined based on the estimated distance. It may include the step of overlaying and displaying the image on the medical image.
  • the step of inferring the image-based distance includes, when the medical tool is a basket, estimating geometric information of the shaft from the shaft area of the basket from the captured medical image and using a machine learning model, for example, object detection. or instance segmentation) may include inferring the image-based distance from the estimated geometric information based on an algorithm.
  • the geometric information of the laser fiber includes the pixel distance between the tip of the laser fiber in the image and the center of the screen, the length from the border of the medical image to the end of the laser fiber, the area occupied by the laser fiber area, The length of the end of the laser fiber can be used, and the remaining steps are the same as for the basket.
  • Determining the estimated distance includes determining the estimated distance by applying a bias compensation value determined based on the image-based distance and the encoder-based distance to the encoder-based distance, and the bias compensation value is: It may have a value that converges over time after starting the calculation of the estimated distance.
  • the step of overlaying and displaying on the medical image further includes adjusting the size of the guidance graphic representation based on a changing estimated distance between the medical tool and the camera at the end of the guide tube, and of the guidance graphic representation
  • the size may decrease as the estimated distance increases and increase as the estimated distance decreases.
  • the method may further include sensing a user's external input and changing the position of the guidance on the medical image according to the user's external input.
  • the system and method for providing guidance for stone removal provides a graphical representation of guidance that is overlaid and displayed on a medical image, thereby enabling stone removal without damaging internal organs without determining the size of the stone that requires complex calculations. It may be possible.
  • the system and method for providing guidance for stone removal provides a graphical representation of guidance when using a basket and a laser fiber among medical tools, so that the user can determine whether the stone is of a size that can be removed using the basket. , it is possible to determine whether it is necessary to pulverize stones using a laser fiber.
  • the system and method for providing guidance for stone removal provides a graphic representation of the guidance as a circle of a specific actual size according to a changing estimated distance, thereby determining whether the stone can be removed regardless of the estimated distance. It can be identified accurately, and through this, safe procedures can be performed.
  • a system and method for providing guidance for stone removal estimates the distance between a medical tool and a camera at the end of a guide tube with high accuracy by simultaneously using image-based distance estimation and encoder-based distance estimation, thereby providing a high level of stability to the user.
  • a guide graphical representation of reliability can be provided.
  • FIG. 1 shows a system for providing guidance for stone removal according to one embodiment.
  • Figure 2 shows a driving mechanism of a slave device according to one embodiment.
  • Figure 3 shows a guide tube, camera, and medical tool inserted into the ureter according to one embodiment.
  • Figure 4 exemplarily shows a basket holding stones through a system for providing guidance for stone removal according to an embodiment.
  • Figure 5 exemplarily shows a basket or laser fiber that holds a stone to infer an image-based distance in a system for providing guidance for stone removal according to an embodiment.
  • Figure 6 exemplarily shows a graph of image-based distances corresponding to geometric information used in a system for providing guidance for stone removal according to an embodiment.
  • Figure 7 exemplarily shows a marker configured on a medical tool used in a system for providing guidance for stone removal according to an embodiment.
  • Figure 8 exemplarily shows a relationship graph between an image-based distance, an encoder-based distance, and an estimated distance in a system for providing guidance for stone removal according to an embodiment.
  • Figure 9 exemplarily shows a method of fitting a function for deriving a graphical representation radius used in a guidance providing system for stone removal according to an embodiment.
  • FIG. 10 exemplarily shows a graph between a graphical representation radius corresponding to an estimated distance used in a system for providing guidance for stone removal according to an embodiment.
  • FIG. 11 exemplarily shows changes in guidance graphic representation expressed differently according to a changing estimated distance in a system for providing guidance for stone removal according to an embodiment.
  • FIG. 12 exemplarily shows a screen on which a graphical representation of guidance is output in a system for providing guidance for stone removal according to an embodiment.
  • Figure 13 exemplarily shows types of guidance graphic representations in a system for providing guidance for stone removal according to an embodiment.
  • FIG. 14 exemplarily shows the thickness of a boundary of a guidance graphic representation in a system for providing guidance for stone removal according to an embodiment.
  • Figure 15 exemplarily shows a graph of the results of verifying the polynomial regression function used to infer the image-based distance in the system for providing guidance for stone removal according to an embodiment.
  • 16 is a graph of bias compensation values used to calculate an estimated distance according to the size and time of a stone in a system for providing guidance for stone removal according to an embodiment, and a graph between the distance estimated using each image estimation method and the actual distance.
  • the comparison result graph is shown as an example.
  • Figure 17 shows a flowchart of a method for providing guidance for stone removal according to one embodiment.
  • first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • extracorporeal shock wave lithotripsy is a stone removal method that has limitations in that it is suitable for stones less than 1 cm in diameter and is only suitable for small amounts of stones stuck in the ureter.
  • PCNL percutaneous nephrolithotomy
  • RIRS flexible ureteral endoscope
  • RIRS ureteral endoscope
  • the size of the stone may be one of the important factors in the procedure. This is because when removing stones that are too large using a basket, there is a problem that the stones may get caught in the sheath and damage the ureter.
  • this specification presents a system and method that provides guidance to determine whether a stone is removable.
  • FIG. 1 shows a system for providing guidance for stone removal according to one embodiment.
  • a system for providing guidance for stone removal may display guidance on a medical image.
  • the guidance providing system may provide medical images to the user 1900 (eg, operator or medical staff) during a kidney stone removal procedure.
  • the guidance providing system provides a guide tube 1113 and a camera 1114 (e.g. an endoscope camera) for stone removal based on input detected from the user 1900 through an operation unit (e.g. a controller such as a touch screen or master handle).
  • an operation unit e.g. a controller such as a touch screen or master handle
  • medical tools 1107 can be controlled.
  • the medical image in this specification may be an endoscopic image captured by an endoscopic camera.
  • the guidance providing system may include a slave device 1100 and a master device 1200.
  • the master device 1200 may be connected to the slave device 1100 wired and/or wirelessly and exchange data.
  • the master device 1200 may transmit a control command based on the input of the user 1900 to the slave device 1100.
  • the slave device 1100 may control the movement and/or operation of at least one of the guide tube 1113, the camera 1114, or the medical tool 1107 in response to the control command.
  • the slave device 1100 may transmit the operating state and medical images to the master device 1200.
  • the slave device 1100 is a type of slave robot that is equipped with a medical tool and can operate the medical tool 1107 inserted into the body of the patient P under the control of the user 1900 during a procedure.
  • the slave device 1100 may include a support body 1101, a driving body 1102, a rail 1103, and a driving unit 1104.
  • the slave device 1100 operates the driving unit 1104 under the control of the master device 1200, thereby causing movement and/or operation of at least one of the guide tube 1113, the camera 1114, and the medical tool 1107. You can control it.
  • the slave device 1100 may move (e.g., forward or backward), rotate, or bend with respect to at least one of the guide tube 1113, the camera 1114, or the medical tool 1107.
  • FIGS. 2 and 3 A more detailed structure of the slave device 1100 is described in FIGS. 2 and 3 below.
  • the master device 1200 is a type of master console and may include a display, a controller, and a processor.
  • the display of the master device 1200 may provide medical information to the user 1900.
  • the display may visually output a medical image captured by the camera of the slave device 1100.
  • the display may output not only the above-mentioned real-time medical images, but also operation status information, function information, and procedure information of the slave device 1100 as additional information to assist the stone removal procedure.
  • the operation state information is information indicating a state related to the operation of the slave device 1100 and may include, for example, the sheath length, the bending angle of the guide tube, and the rolling angle of the guide tube.
  • Function information is information about functions provided through the master device 1200 and may include a recording function and a snapshot function.
  • the procedure information is illustratively related to a stone removal procedure and may include information (e.g., image) indicating the shape and location of the guide tube inserted into the urethra.
  • the controller may receive input from the user 1900.
  • the master device 1200 may control the master device 1200 and/or the slave device 1100 by interpreting the input of the user 1900 received through the controller.
  • the controller may include at least one of a touch screen, a touch pad, or a master handle.
  • the touch screen is a device integrated with the above-described display, and in this specification, examples in which the display is a touch screen are mainly described, but are not limited thereto.
  • the master handle may receive a manipulation for operation of the slave device 1100 (e.g., movement of the guide tube 1113, camera 1114, or medical tool 1107) from the user 1900.
  • the processor may process and interpret medical images, and control the slave device 1100. For example, the processor may generate a control command to control the slave device 1100 based on the interpretation of the user's 1900 operation detected through a controller (eg, master handle). The processor may transmit the generated control command to the slave device 1100.
  • a controller eg, master handle
  • the processor may receive a medical image from the slave device 1100 and process or analyze the received medical image. For example, the processor may determine a guidance graphic representation to be displayed on the medical image. The processor may determine the size of the guidance graphical representation based on an estimated distance between the medical tool and the camera at the end of the guide tube. The size of the guidance graphic representation can indicate the stone size that can be extracted by the basket. The size at which the guidance graphic representation is displayed on the display will be described later in FIG. 10. The master device 1200 may display the guidance graphic representation having the determined size by overlaying it on the medical image captured by the camera 1114 received from the slave device 1100.
  • Figure 2 shows a driving mechanism of a slave device according to one embodiment.
  • the driving structure of the slave device 1100 includes a guide tube holder 1105, a wire 1106, a medical tool 1107 (e.g., a basket or laser fiber), an endoscope 1110, and an access sheath 1120. It can be included.
  • the endoscope 1110 may include a main body 1111, a handle 1112, a guide tube 1113, and a camera 1114.
  • the access sheath 1120 may include a sheath holder 1121 and a sheath 1122.
  • the slave device 1100 includes a rail 1103, a drive unit 1104, a guide tube holder 1105, a wire 1106, a medical tool 1107, and a camera 1114 at the upper end of the support body 1101 that is movable with respect to the ground. ), the drive body 1102 equipped with the endoscope 1110 and the access sheath 1120 may be arranged.
  • the driving body 1102 may move relative to the support body 1101 for the procedure.
  • the driving body 1102 may receive a signal from the master device 1200 and move in translation in the horizontal and vertical directions with respect to the support body 1101, respectively.
  • the driving body 1102 may rotate yaw with respect to the support body 1101.
  • a rail 1103 is formed on the driving body 1102 so that the driving unit 1104 that drives the endoscope can slide in the longitudinal direction of the driving body 1102.
  • the driving unit 1104 supports the endoscope 1110 and can control the endoscope 1110 by receiving signals from the master device 1200.
  • the driving unit 1104 may move the handle 1112 of the endoscope 1110, which controls the direction in which the guide tube 1113 of the endoscope 1110 is bent.
  • the relative movement of the endoscope 1110 with respect to the driving unit 1104 may be limited. Because of this, the slave device 1100 can improve the stability and accuracy of the procedure as errors arising from the movement of the endoscope 1110 are reduced.
  • the driving unit 1104 includes an encoder (or a motor including an encoder), and the processor of the master device 1200 can use the encoder information of the driving unit 1104.
  • the endoscope 1110 may include a main body 1111, a handle 1112, and a guide tube 1113.
  • the endoscope 1110 can control the bending of the guide tube 1113 based on the relative movement of the handle 1112 with respect to the main body 1111 of the endoscope 1110. Accordingly, the guide tube 1113 may be inserted into the ureter for stone removal. This may mean that the distal end portion of the guide tube 1113 moves toward the location of the stone by bending.
  • the guide tube holder 1105 may support the guide tube 1113 of the endoscope 1110.
  • the guide tube holder 1105 can prevent the guide tube 1113 of the endoscope 1110 from buckling when the driving unit 1104 slides or rotates with respect to the driving body 1102.
  • a plurality of guide tube holders 1105 may be provided along the longitudinal direction of the driving body 1102 and may be spaced apart from each other.
  • Access sheath 1120 may include a sheath holder 1121 and a sheath 1122.
  • the sheath holder 1121 may mount the sheath 1122 to the end of the driving body 1102.
  • the sheath 1122 is mounted inside the ureter (U) and can guide the guide tube 1113. Accordingly, the guide tube 1113 is movable relative to the sheath 1122 and can reach the treatment area of the patient P as it passes through the interior of the sheath 1122.
  • Figure 3 shows a guide tube, camera, and medical tool inserted into the ureter according to one embodiment.
  • the guide tube 1113 may guide the wire 1106 and the medical tool 1107 (eg, basket) disposed therein to the location where the stone (S) is located.
  • the medical tool 1107 eg, basket
  • the wire 1106 may be movable inside the guide tube 1113 along the longitudinal axis (or longitudinal direction) of the guide tube 1113.
  • the wire 1106 is formed by covering the core with a flexible tube rich in elasticity and flexibility, such as a structure in which a spring steel wire is spirally wound around a steel wire or a Teflon tube, and other structures are joined to the end of the steel wire depending on the required task (e.g. Basket, joining semi-circular steel wires with high elasticity and flexibility). Since the entire exterior of the wire 1106 is coated with Teflon, it can move smoothly, preventing it from being broken or excessively bent within the blood vessel during the procedure, and blood vessel damage resulting from this can also be prevented.
  • the wire 1106 may be moved by a drive 1104 that moves the endoscope 1110 or may be moved through another drive configuration.
  • the medical tool 1107 is detachable and can consist of only one of the basket and the laser fiber, so they can be installed alternately. However, the medical tool 1107 is not limited to this, and can also be configured to have both installed at the same time.
  • the basket which is an example of the medical tool 1107, is connected to the end of the wire 1106 and exposed to the outside of the guide tube 1113, and can grip the stone (S) by switching between the expanded state and the contracted state. .
  • the basket may be made of a material that returns to its original shape when no external force is applied, for example, it may be a shape memory alloy.
  • the medical tool 1107 for example, a basket and a laser fiber, may be mounted on a tool driving unit and configured to move forward and backward.
  • the camera 1114 is part of the configuration of the endoscope 1110 and can capture medical images at the end of the guide tube 1113. Accordingly, the camera 1114 can capture a state in which the medical tool 1107 approaches a stone inside an organ (eg, kidney) and grasps or does not grasp the stone, or crushes or does not crush the stone.
  • the camera 1114 may be fixed to the end of the guide tube 1113. Since the medical tool 1107 may be moved (e.g., forward or backward) relative to the guide tube 1113, the distance between the medical tool 1107 and the camera 1114 may vary depending on the operation of the user 1900. . In this specification, the distance that is the standard for determining the size of the guidance graphic representation is the distance from the camera 1114 to the medical tool 1107, and may be the distance between the camera 1114 and the medical tool 1107.
  • Figure 4 exemplarily shows a basket holding stones through a system for providing guidance for stone removal according to an embodiment.
  • the processor may, for example, if the medical tool 1107 is a basket, start from the end of the guide tube 1113 (e.g., the position where the camera 1114 is imaging) to determine the size of the guidance graphical representation. It is necessary to estimate the distance (d) to the medical tool 1107 (e.g., basket) in which (S) is held. Distance (d) may also mean the length of the wire 1106 exposed from the end of the guide tube 1113. The above can equally apply when the medical tool is a laser fiber. Accordingly, the processor infers the image-based distance between the medical tool and the end of the guide tube 1113 from the captured medical image, and estimates the encoder-based distance between the medical tool and the end of the guide tube 1113 from the encoder information of the drive unit 1104.
  • the encoder-based distance may, for example, be estimated as a value (e.g., in a linear form) corresponding to a predetermined number of rotations of the encoder.
  • the processor may then determine an estimated distance based on the image-based distance and the encoder-based distance.
  • Figure 5 exemplarily shows a basket holding stones to infer an image-based distance in a system for providing guidance for stone removal according to an embodiment.
  • a laser fiber close to the stone is illustratively shown, and specifically, the X or Y or diagonal length of the laser fiber bounding box area, medical image
  • the image-based distance can be inferred from the length from the boundary to the end of the laser fiber.
  • the image-based distance can be inferred from the pixel distance between the end of the laser fiber on the image and the center of the screen and the area of the laser fiber area.
  • Figure 6 exemplarily shows a graph of image-based distances corresponding to geometric information used in a system for providing guidance for stone removal according to an embodiment.
  • the processor may estimate the geometric information of the shaft from the shaft area of the basket from the captured medical image. Geometric information can be estimated based on the average length of the detected bounding box. Additionally, the processor may infer an image-based distance from geometric information estimated based on a machine learning model, for example, an object detection or instance segmentation algorithm.
  • a machine learning model is a model designed and trained to estimate geometric information from medical images and may include, for example, a neural network. Not limited to this, the processor may infer image-based distances by inputting medical images into another machine learning model or fitted function.
  • image-based distances may be inferred through a fitted function (e.g., a polynomial regression function) or a trained model based on geometric information corresponding to each collected image-based distance.
  • Other machine learning models are models designed and trained to estimate image-based distances directly from medical images and may include, for example, neural networks.
  • geometric information is a component value that does not change in value or is insensitive to changes or is robust to factors other than the distance between the medical tool and the end of the wire in the medical image.
  • the geometric information of the shaft is the shaft area of the basket in the medical image. area occupied by this area, the diameter of the estimated circle corresponding to the end of the shaft, the radius of the estimated circle corresponding to the end of the shaft, the length from the border of the medical image to the end of the shaft, the length from the center of the medical image to the end of the shaft, Or it may include at least one of the inclination of the shaft.
  • the shaft area of the basket may be an area corresponding to a portion of a wire connected to the basket in a medical image.
  • the geometric information of the shaft may be, for example, the diameter of an estimated circle corresponding to the end of the shaft or the radius 510 of the estimated circle corresponding to the end of the shaft, but is not limited thereto.
  • Figure 7 exemplarily shows a marker configured on a medical tool used in a system for providing guidance for stone removal according to an embodiment.
  • a marker or pattern may be attached or mounted on a medical tool (eg, a basket).
  • the marker 710 may be formed in a circular shape in a portion of the shaft area, the marker 720 may be formed in a strip shape surrounding the shaft area, or the marker 730 may be formed in a pattern form in the shaft area. This allows the processor to quickly recognize the more prominent shaft area of the basket and thus more quickly extract geometric information for image-based distance.
  • Figure 8 exemplarily shows a relationship graph between an image-based distance, an encoder-based distance, and an estimated distance in a system for providing guidance for stone removal according to an embodiment.
  • Encoder-based distances may have errors in the low frequency band, and video-based distances may have errors in the high frequency bands. Accordingly, the error components of each value are different, so they can be used complementary to each other.
  • the processor may determine the estimated distance by applying a bias compensation value determined based on the image-based distance and the encoder-based distance to the encoder-based distance. The processor can determine the estimated distance using Equation 1.
  • D r represents the estimated distance
  • D e represents the encoder-based distance
  • D i represents the image-based distance.
  • D r represents the estimated distance
  • D e represents the encoder-based distance
  • D i represents the image-based distance.
  • the bias compensation value may have a value that converges over time (eg, to a certain constant value) after initiating calculation of the estimated distance.
  • Figure 9 exemplarily shows a method of fitting a function for deriving a graphical representation radius used in a guidance providing system for stone removal according to an embodiment.
  • FIG. 10 exemplarily shows a graph between a graphical representation radius corresponding to an estimated distance used in a system for providing guidance for stone removal according to an embodiment.
  • the size (e.g. radius) of the corresponding guidance graphical representation can be determined.
  • the size of the guidance graphic representation may be a standard by which a stone can be safely removed at the corresponding estimated distance. Thus, stones can be safely removed if they are within the size of the guidance graphic representation. This may also mean that the size of the guidance graphic representation can be defined based on the size of the sheath 1122 that guides the guide tube 1113.
  • the method of fitting an N-order polynomial function can first obtain an image according to the tool distance (for example, in mm) for the gripped stone.
  • the process shown in FIG. 9 can be performed in a phantom model that simulates the kidney and urethra of a human body, and the stone placed in the phantom model may have a physical size smaller than the sheath.
  • the stone captured in the medical image in FIG. 9 may be of a size that can be protected by the sheath while being held by the basket.
  • a point 911 is marked on the outside of the stone in each image, and in methods 920 and 930, the radius value for each tool distance obtained by fitting this to a circle is calculated to the nth degree.
  • FIG. 11 exemplarily shows changes in guidance graphic representation expressed differently according to a changing estimated distance in a system for providing guidance for stone removal according to an embodiment.
  • the processor may reduce the size of the guidance graphic representation when the estimated distance increases (D1) based on the current basket position (111) (112). For example, even when the basket does not necessarily grip the stone but approaches the stone to grip it (e.g., the estimated distance increases), it is possible to determine whether the stone is of an appropriate size based on the displayed guidance. This may also be more useful in the case of laser fiber. This is because the size that needs to be pulverized can be determined in advance before contacting the stone, so a quick procedure can be performed.
  • the processor may increase the size of the guidance graphic representation when the estimated distance decreases (D2) based on the current medical tool location (111) (113). This means that even if, for example, the basket moves to grip and remove the stone (i.e. the estimated distance decreases), or the laser moves to break up the stone, a graphical representation of the guidance can be extracted or As the specific size that requires shredding is clearly displayed, it is possible to determine more accurately from a distance whether it can be removed or whether shredding is necessary.
  • the processor may detect the moment when the end of the laser fiber contacts the stone, but is not limited to this. For example, when the user 1900 determines that the laser fiber is in contact with a stone, the user 1900 may manually input the contact to the master device 1200. When detecting contact with the laser fiber, the processor can capture and store a target image at the point when the end of the laser fiber contacts the stone. The processor may output a medical image to the display of the master device 1200 and also output a target image. Through this, the laser fiber can determine whether shredding is necessary based on the guidance graphic representation on the medical image, and this allows an appropriate amount of shredding to be performed, enabling rapid stone removal using the basket.
  • the processor may output a guidance graphic representation on the target image based on the selected point. This may mean, for example, that when the guidance graphic representation is output at a location that is misaligned with the target image, the user 1900 selects a desired point using a touch input and moves the position of the guidance graphic representation.
  • the processor may detect a stone area in the target image and output a guidance graphic representation on the target image based on a reference point within the detected stone area. Through this, the user 1900 can easily determine the size of the stone without the hassle of touch input.
  • FIG. 12 exemplarily shows a screen on which a graphical representation of guidance is output in a system for providing guidance for stone removal according to an embodiment.
  • 1210 is an area representing procedure information, for example, outputting an x-ray image taken in advance of the area where the stone is located or an image displaying the distance and position at which the medical tool 1107 entered the body in real time.
  • This may be an area where (1220) is an area that can turn on/off the guidance graphic expression, and not only turns the guidance graphic expression on/off when necessary, but also operates the guidance providing system to provide the guidance graphic expression. can be started manually. This allows efficient use of the processor in the master device 1200 because the guidance graphical representation does not need to be provided in locations other than the area where the stone is located.
  • Reference numeral 1230 is an area where medical images captured by the camera 1114 are output, and a guidance graphic representation 1231 and medical tools 1107 and 1232 may be displayed.
  • Figure 13 exemplarily shows types of guidance graphic representations in a system for providing guidance for stone removal according to an embodiment.
  • the guidance graphical representation may be expressed as one of circular, oval, square, polygonal, or closed curve shapes, but is not limited thereto.
  • the guidance graphic representation of the circle (131) is sufficient, but if the stone is of an abnormal shape, such as having a long shape in one direction, the guidance of the square (132) or oval (133) is sufficient.
  • a graphical representation may be more appropriate.
  • FIG. 14 exemplarily shows the thickness of a boundary of a guidance graphic representation in a system for providing guidance for stone removal according to an embodiment.
  • the boundary of the guidance graphic representation may have a predetermined thickness. Accordingly, the processor may reduce the thickness of the boundary of the guidance graphic representation as the reliability of the estimated distance increases over time. This may indicate that the thinner boundary thickness 142 of the guidance graphic representation is a more accurate guidance graphic representation than the initially displayed boundary thickness 141 of the guidance graphic representation. This representation may also be possible in reverse (e.g., the boundaries of the guidance graphic representation may become thicker over time). Additionally, the reliability of the estimated distance may be determined based on the bias compensation value in Equation 1 described above.
  • Figure 15 exemplarily shows a graph of the results of verifying the polynomial regression function used to infer the image-based distance in the system for providing guidance for stone removal according to an embodiment.
  • Figure 16 shows an encoder-based distance value applying a bias compensation value used to calculate an estimated distance according to the size and time of the stone in a system for providing guidance for stone removal according to an embodiment, and the estimated distance using each image estimation method.
  • a graph of the comparison results between the distance and the actual distance is shown as an example.
  • the estimated distance determination based on image-based distance and encoder-based distance becomes more accurate the smaller the variance (e.g. error) of the bias compensation value, which becomes smaller as the number of values accumulated over time increases. Therefore, the estimated distance determined according to time may be more accurate.
  • (161) denote the cumulative mean value of the image-based distance error for small stones
  • (162) denote the cumulative mean value of the image-based distance error for large stones
  • the corresponding cumulative mean value quickly approaches zero. It shows a tendency to converge, but after a certain period of time, even in the case of small stones, the results show that both converge to 0. This may mean that the estimated distance determined depends on time rather than stone size.
  • (163) represents the estimated distance determined for each method for small stones
  • (164) represents the estimated distance determined for each method for large stones.
  • the error for the actual distance (D r ) of the encoder-based distance (D e ) is determined to be the highest value overall, and the error for the actual distance (D r ) for the image-based distance (D i ) is set to a lower value. can be decided.
  • the estimated distance (D f ) determined using the guidance providing system according to one embodiment is the result value most similar to the actual distance (D r ) compared to the encoder-based distance (D e ) and the image-based distance (D i ). can be decided.
  • the difference (r 1 ) between the estimated distance (D f ) and the actual distance (D r ) at the beginning (t 1 ) is higher than the difference (r 1 ) between the estimated distance (D f ) and the actual distance (D r ) at the beginning (t 1 ).
  • the difference (r 1 ) between the distance (D f ) and the actual distance (D r ) is smaller, so a more accurate estimated distance can be determined over time.
  • Figure 17 shows a flowchart of a method for providing guidance for stone removal according to one embodiment.
  • the processor may acquire a medical image captured with a medical tool at the end of the guide tube inserted into the ureter.
  • Medical images may be acquired, for example, automatically during operation of a medical tool (e.g., gripping a basket), upon user input to output a graphical representation of guidance, or during a predetermined extension length of a guide tube. It can be acquired automatically, but is not limited to this.
  • the processor may infer an image-based distance between the camera at the end of the medical tool and the guide tube from the captured medical image. For example, if the medical tool is a basket, the processor may estimate the geometric information of the shaft from the shaft area of the basket from the captured medical image. The processor may then infer the image-based distance from the estimated geometric information based on the machine learning model.
  • the processor may obtain information about the encoder of the driving unit that moves the wire inside the guide tube.
  • the processor may estimate the encoder-based distance between the camera at the end of the guide tube and the medical tool from the information in the encoder.
  • the processor may determine an estimated distance between the camera at the end of the guide tube and the medical tool based on the image-based distance and the encoder-based distance.
  • the processor may determine the estimated distance by applying a bias compensation value determined based on the image-based distance and the encoder-based distance to the encoder-based distance.
  • the bias compensation value may have a value that converges over time after starting the calculation of the estimated distance.
  • the processor may overlay and display a guidance graphic representation of a size determined based on the estimated distance on the medical image.
  • the processor may adjust the size of the guidance graphical representation based on a varying estimated distance between the medical tool and the camera at the end of the guide tube.
  • the size of the guidance graphical representation may be decreased as the estimated distance increases and may be increased as the estimated distance decreases.
  • the processor may sense the user's external input and change the position of the guidance on the medical image according to the user's external input.
  • Example 1 A guidance providing device inserted into a subject, comprising:
  • the wire is movable along the longitudinal axis of the guide tube.
  • Embodiment 3 In the guidance providing device according to any of the preceding embodiments, the drive unit is coupled to the end of the wire.
  • a guidance providing device further includes a medical tool exposed outside the guide tube and a camera that captures images at the end of the guide tube.
  • Example 5 In the guidance providing device according to any of the preceding embodiments, the processor determines the size of the object based on an estimated distance between the medical tool and the end of the guide tube.
  • the guide tube has a predetermined size.
  • Example 7 A master device is added to the guidance providing device corresponding to any of the preceding embodiments, and a graphical representation is superimposed on the medical image captured by the camera.
  • Embodiment 8 In the guidance providing device according to any of the preceding embodiments, the processor estimates the estimated distance between the medical tool and the end of the guide tube from the encoder information of the drive unit, and estimates it according to the image-based distance and the encoder-based distance. Determine the distance.
  • the medical tool is a basket including a shaft area and the shaft
  • the processor estimates geometric information of the basket shaft from the captured medical image, and performs machine learning. Image-based distances are inferred from geometric information estimated based on the model.
  • the geometrical information of the shaft includes the area occupied by the shaft area of the basket shaft in the medical image, the diameter of the estimated circle corresponding to the end of the shaft, and the medical area at the end of the shaft. It includes at least one of the estimated radius of the circle to the edge of the image, the length from the end of the shaft to the center of the medical image, and the inclination of the shaft.
  • Example 11 In the guidance providing device according to any of the preceding embodiments, a processor infers an image-based distance by inputting a medical image into another machine learning model.
  • the processor applies a bias compensation value to calculate an estimated distance according to the image-based distance and the encoder-based distance, where the bias compensation value is the encoder-based distance. It is determined by distance.
  • the bias compensation value has a value that converges over time after starting the estimation distance calculation.
  • Embodiment 14 In the guidance providing device according to any of the preceding embodiments, the processor reduces the size of the guidance graphical representation as the estimated distance increases and increases the size of the guidance graphical representation as the estimated distance decreases. .
  • Example 15 In the guidance providing device according to any of the preceding embodiments, the medical tool is a laser fiber.
  • Example 16 In the guidance providing device according to any of the preceding embodiments, when the medical tool is a laser fiber, the processor detects the moment the laser fiber contacts the object.
  • Example 17 In the guidance providing device according to any of the preceding embodiments, where the medical tool is a laser fiber, the processor captures and stores an image of the object for when the tip of the laser fiber contacts the object.
  • the medical tool is a laser fiber
  • the medical image is output to the display of the master device while also outputting the target image.
  • Embodiment 19 In the guidance providing device corresponding to any of the preceding embodiments, upon receiving an input for selecting a point in a target image from a user, the processor outputs a graphical guidance representation in the target image based on the selected point.
  • Embodiment 20 In a guidance providing device corresponding to any of the preceding embodiments, a missing area is detected in a target image, and a guidance graphic representation is output to the target image based on a reference point of the detected missing area.
  • the guidance graphical representation is a shape consisting of a circle, oval, square, polygon or closed curve.
  • Example 22 A guidance providing device according to any of the preceding embodiments, wherein the size of the guidance graphical representation is defined based on the covering size of the basket of medical instruments.
  • Example 23 In the guidance providing device according to any of the preceding embodiments, the boundary of the guidance graphical representation is thickened, and the thickness of the boundary of the guidance graphical representation decreases as the reliability of the estimated distance increases over time. do.
  • Embodiment 24 In the guidance providing device according to any of the preceding embodiments, the processor performs the following tasks:
  • a guidance graphic representation sized based on the estimated distance is overlaid on the medical image.
  • Embodiment 25 In the guidance providing device corresponding to any of the preceding embodiments, there is a function of detecting a user's input after an image is superimposed on the medical device.
  • Example 26 In the guidance providing device corresponding to any of the preceding embodiments, the position of guidance on a medical image is changed in response to a user's input.
  • Example 27 A guidance providing system corresponding to any of the preceding examples is used during surgery.
  • Example 28 Guidance provision system comprising:
  • the guidance providing device determines the size of the object within the object.
  • Example 29 In the guidance providing system of Example 28, the guidance providing device includes:
  • Example 30 The guidance provision system of Example 28 or 29, wherein the wire is moveable within the guide tube along the longitudinal axis of the guide tube.
  • Example 31 The guidance providing system of any of Examples 28-30, wherein the drive unit is coupled to the end of the wire.
  • Example 32 The guidance providing system of any of Examples 28-31, wherein the guidance providing device includes a medical tool exposed outside the guide tube and a camera capturing images at the end of the guide tube.
  • Example 33 The guidance provision system of any of Examples 28-32, wherein the processor determines the size of the object based on an estimated distance between the medical tool and the end of the guide tube.
  • Example 34 The guidance provision system according to any of Examples 28-33, wherein the guide tube has a predefined size.
  • Example 35 The guidance providing system according to any of Examples 28-34, comprising a master device that superimposes a graphical representation over a medical image captured by a camera.
  • Example 36 The guidance provision system according to any of Examples 28-35, wherein the processor estimates the encoder-based distance between the medical tool and the end of the guide tube from the encoder information of the wire drive unit, and determines the image-based distance and the encoder-based distance. Determine the estimated distance accordingly.
  • Example 37 The guidance providing system according to any of Examples 28-36, wherein the medical tool is a basket made of baskets, the processor estimates geometric information about the axis of the basket from the captured medical image, and the machine learning model The image-based distance is inferred from the geometric information estimated based on .
  • Example 38 The guidance providing system according to any of Examples 28-37, wherein the geometric information about the axis of the basket includes one or more of the following: the area where the axis area of the basket is loaded, the estimated circle corresponding to the end. diameter, the estimated radius of the circle corresponding to the end, the length from the tip to the border, the length from the center of the medical image to the tip of the axis, and the inclination of the axis.
  • Example 39 The guidance provision system of any of Examples 28-38, wherein a processor infers image-based distances by inputting medical images into another machine learning model.
  • Embodiment 40 The guidance provision system of any of Embodiments 28-39, wherein the processor applies a bias compensation value to determine the estimated distance, wherein the bias compensation value is an encoder-based distance relative to the image-based distance and the encoder-based distance. It is decided based on
  • Example 41 In the guidance providing system according to any of Examples 28-40, the bias compensation value has a value that converges over time after starting to calculate the estimated distance.
  • Example 42 The guidance provision system according to any of embodiments 28-41, wherein the processor reduces the size of the guidance graphical representation as the estimated distance increases and increases the size of the guidance graphical representation as the estimated distance decreases. I order it.
  • Example 43 The guidance provision system of any of Examples 28-42, wherein the medical tool is a laser fiber.
  • Example 44 The guidance providing system of any of Examples 28-43, wherein when the medical tool is a laser fiber, the processor detects the moment the laser fiber contacts the object.
  • Example 45 The guidance provision system of any of Examples 28-44, wherein when the medical tool is a laser fiber, the processor captures and stores an image of the object as to when the tip of the laser fiber contacts the object.
  • Example 46 In the guidance providing system corresponding to any of Examples 28-45, when the medical tool is a laser fiber, the medical image is output to the display of the master device and the target image is also output.
  • Example 47 In the guidance providing system corresponding to any of Examples 28-46, upon receiving an input from a user to select a point in a target image, the processor outputs a guidance graphical representation in the target image based on the selected point. .
  • Example 48 In the guidance providing system according to any of Examples 28-47, a missing area is detected in a target image, and a guidance graphical representation is output to the target image based on a reference point of the detected missing area.
  • Example 49 The guidance providing system according to any of Examples 28-48, wherein the guidance graphical representation is a shape consisting of a circle, oval, square, polygon, or closed curve.
  • Example 50 The guidance provision system according to any of Examples 28-49, wherein the size of the guidance graphical representation is defined based on the covering size of the basket of medical instruments.
  • Example 51 The guidance provision system according to any of Examples 28-50, wherein the boundary of the guidance graphical representation is drawn with a thick line, and the reliability of the estimated distance increases over time so that the boundary of the guidance graphical representation increases. The thickness gradually decreases.
  • Example 52 In the guidance provision system of any of Examples 28-51, the processor performs the following tasks:
  • a guidance graphic representation sized based on the estimated distance is overlaid on the medical image.
  • Example 53 In the guidance providing system according to any of Examples 28-52, the master device includes an input device for manually controlling guidance signs superimposed on the image.
  • Example 54 The guidance providing system according to any of Examples 28-53, wherein a user may use an input device to adjust the position of guidance marks on an image.
  • Example 55 A guidance providing system according to any of Examples 28-54, used to provide guidance during surgery.
  • Example 56 In a surgical navigation system, the guidance device includes tactile feedback based on the position and movement of surgical tools. This allows the user to perform surgery while receiving tactile sensations.
  • Example 57 In an endoscopic guidance system, tracking sensors are attached to the endoscope to monitor its position and orientation within the body. The system provides real-time visual feedback to help surgeons navigate the endoscope and precisely manipulate it to target specific areas.
  • Example 58 A robotic surgical system includes a guidance module that uses pre-operative imaging data to virtually create an anatomical model of the patient. This allows surgeons to make precise plans and manipulate surgical tools in a virtual environment before surgery.
  • Example 59 A self-driving surgical robot system analyzes the patient's vital signs and the movement of surgical tools in real time through AI algorithms and sensors. This allows the robot to perform safe and accurate surgery, and the surgeon can receive automated support from the system.
  • Example 60 An innovative medical image guidance system processes images, such as CT scans or magnetic resonance imaging (MRI), in real time to extract anatomical information. Based on this information, the system provides surgeons with precise positioning guidance and updated images in real time during surgery.
  • images such as CT scans or magnetic resonance imaging (MRI)
  • Example 61 An ultrasound guidance system uses ultrasonic sensors and image processing technology to generate real-time images of internal organs. This allows surgeons to pinpoint and manipulate the exact position during surgery and perform safe and precise surgery.
  • Example 62 A surgical guidance system using virtual reality (VR) helps surgeons simulate and practice surgeries by virtually recreating a patient’s anatomical model. This allows surgeons to make accurate plans before the actual surgery and improves the safety and efficiency of surgery.
  • VR virtual reality
  • Example 63 A real-time surgical guidance system uses cameras and image processing technology to help surgeons view and manipulate images in real time during surgery. This allows the doctor to more accurately understand the surgical procedure and quickly perform the necessary manipulations.
  • Example 64 A robotic-assisted surgical system utilizes robotic arms and tools to assist the surgeon's manipulations.
  • the robotic arm performs precise and stable movements and can more accurately transmit the doctor's manipulations. This can improve the precision and safety of surgery.
  • Example 65 Microscopy systems enable observation and manipulation of surgical procedures using small, precise microscopes. This allows surgeons to perform precise and safe work even in surgeries that require micromanipulation.
  • Example 66 A surgical guidance system using neural networks uses neural network algorithms to predict and guide the movement of surgical tools. This allows surgeons to anticipate the next movements of surgical tools and optimize their manipulation.
  • Example 67 A real-time positioning system utilizes sensors and positioning technology to track and guide the location of surgical instruments in real time. This allows surgeons to obtain accurate positional information during surgery and perform safe and precise manipulations.
  • Example 68 Automated surgical guidance systems combine AI algorithms and robotics to automate and guide surgical procedures. This allows doctors to obtain accurate and consistent results through automatic operation of surgical tools and reduces surgical time and costs.
  • Example 69 A surgical robotic system uses robotic arms and sensors to help surgeons perform surgeries remotely. This allows us to overcome geographical limitations and provide professional medical services.
  • Example 70 With the advancement of modern medical technology, surgical guidance systems continue to advance and develop. It is expected that more accurate and faster guidance systems will be developed in the future.
  • Example 71 The application of a surgical guidance system not only improves the precision and safety of surgery, but also increases the work efficiency of medical staff. This has a positive impact that can improve treatment effectiveness and comfort for patients.
  • Example 72 A surgical guidance system promotes collaboration and knowledge sharing in the medical field. Through the system, medical staff can share the latest technology and information and collaborate to develop and apply more effective treatment methods.
  • Example 73 Surgical guidance systems, along with innovations in medical technology, contribute to providing patient-centered medical services. This allows patients to receive more accurate and safer surgery and minimize the recovery period.
  • Example 74 Surgical guidance systems are recognized as one of the future technologies in healthcare. Through continuous research and development, more advanced systems are expected to be developed, bringing greater innovation and progress to the medical field.
  • Example 75 The application of innovative surgical guidance systems means pushing the boundaries of medical technology. Through this, medical staff and patients will be able to receive better medical services and will become an important driving force for medical innovation.
  • Example 76 Surgical guidance systems offer an exciting prospect for the future of medical technology. It is expected that more advanced guidance systems will be developed in the medical field through convergence with technologies such as real-time image processing, artificial intelligence, and robotics.
  • Example 77 The various surgical guidance systems and methods introduced to date are one of the major interests in research and development in the medical field. In the future, with the advancement of medical technology, it is expected that more diverse and innovative surgical guidance systems will emerge.
  • Example 78 The application of surgical guidance systems plays an important role in the medical field, where patient safety and health are a top priority. With the advancement of technology and the efforts of medical staff, surgical guidance systems will continue to advance and develop.
  • Example 79 With advances in medical technology, surgical guidance systems are recognized as an important tool for reducing medical costs and improving efficiency. This helps patients receive cheaper and more effective medical care.
  • Example 80 Surgical guidance systems are one of the technologies that represent digitalization and innovation in the medical field. With the advancement of medical technology, more accurate and efficient surgical guidance systems are developed, which are expected to be of great help to the medical field.
  • Example 81 Surgical guidance systems play a major role in improving the quality of the medical profession. Using these systems, medical staff can perform accurate surgeries and protect the health and safety of patients.
  • Example 82 Surgical guidance systems encourage and support research and innovation in healthcare. These systems, which contribute to the advancement of medical technology, can provide innovative medical services to medical staff and patients.
  • Example 83 The application of surgical guidance systems is attracting attention as part of the next generation of medical services in the medical field. Through the convergence of innovative technology and medical care, we can provide more accurate and personalized medical services and improve patient treatment outcomes and satisfaction.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA).
  • ALU arithmetic logic unit
  • FPGA field programmable gate
  • It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be saved in .
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on a computer-readable recording medium.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • a computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software. It may be possible.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

일 실시예에 따른 가이던스 제공 시스템 및 방법은, 결석 제거를 위한 요관 내로 삽입가능한 가이드튜브, 상기 가이드튜브의 내부에서 상기 가이드튜브의 길이 축을 따라 이동가능한 와이어, 상기 와이어를 이동시키는 구동 부, 상기 와이어의 단부(distal end portion)에 연결되어 상기 가이드튜브의 외부로 노출되는 의료 도구(medical tool), 및 상기 가이드튜브의 단부에서 의료 영상을 촬영하는 카메라를 포함하는 슬레이브 장치(slave device) 및 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 추정 거리에 기초하여 바스켓(basket)에 의해 파지가능한 결석 크기를 지시하는 가이던스 그래픽 표현(guidance graphic representation)의 크기를 결정하는 프로세서, 상기 결정된 크기를 갖는 상기 가이던스 그래픽 표현을 상기 슬레이브 장치로부터 수신된 상기 카메라에 의해 촬영된 상기 의료 영상 상에 오버레이하여 표시 하는 마스터 장치(master device)를 포함한다.

Description

결석 제거를 위한 가이던스 제공 시스템 및 방법
이하, 바스켓 및 레이저 파이버를 이용하여 결석을 제거하기 위한 가이던스를 제공하는 것에 관한 기술이 제공된다.
요로결석은 소변을 만들고, 이를 배설하는 길인 요로에 결석(예: 돌)이 생긴 것을 말한다. 결석은 소변에 녹아있는 무기질(예: 칼슘, 수산, 인산, 요산 등)의 농도가 높아지면서 더는 소변에 녹지 못하고 결정으로 변하고, 이 결정을 핵으로 다른 결정들이 함께 뭉치면서 만들어진다. 요로결석은 대부분의 경우 신장에서 만들어져 신우, 요관, 방광, 요도 등에서 발견되고, 요로결석의 통증은 결석의 모양과 크기, 그리고 위치에 따라 다르게 나타난다. 모든 종류의 요로결석에서는 소변에 피가 섞여 나오는 혈뇨를 보이고, 이 중 신장결석은 증상이 전혀 없거나 가벼운 소화불량 정도를 보인다. 통증에 있어서, 요관결석은 결석이 상부요관에 걸리면 옆구리에서 등으로 뻗치는 통증이 나타나고, 하부요관에 걸리면 아랫배에서 사타구니, 허벅지, 회음부로 뻗치는 통증이 나타난다. 방광결석은 아랫배 불쾌감이나 소변이 자주 마렵고 시원치 않은 배뇨증상을 보인다.
요로결석은 소변 화학 분석 검사, X선 검사, CT, 요로조영술 또는 초음파검사를 수행하여 진단할 수 있다. 또한, 요로결석은 체외 충격파 쇄석술(ESWL, Extracorporeal Shock Wave Lithotripsy), 연성 요관 내시경을 이용한 결석 제거술(RIRS, Retrograde Intrarenal Surgery), 경피적 신장 결석 절석술(PCNL, Percutaneous Nephrolithonomy), 개복 혹은 복강경을 이용한 신장 결석 제거술 등을 이용하여 제거할 수 있다.
위에서 설명한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 의료 영상 상에 오버레이하여 표시되는 가이던스 그래픽 표현을 제공할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 의료 도구 중 바스켓 및 레이저 파이버 사용 시 가이던스 그래픽 표현을 제공할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 가이던스 그래픽 표현을 변화하는 추정 거리에 따라 다른 크기로 제공할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 영상 기반의 거리 추정 및 엔코더 기반의 거리 추정을 동시에 이용하여 의료 도구 및 가이드튜브 단부의 카메라 간의 거리를 추정할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템은 결석 제거를 위한 요관 내로 삽입가능한 가이드튜브, 상기 가이드튜브의 내부에서 상기 가이드튜브의 길이 축을 따라 이동가능한 와이어, 상기 와이어를 이동시키는 구동 부, 상기 와이어의 단부(distal end portion)에 연결되어 상기 가이드튜브의 외부로 노출되는 의료 도구(medical tool), 상기 의료 도구(medical tool)는 바스켓(basket) 또는 레이저를 포함하고, 상기 가이드튜브의 단부에서 의료 영상을 촬영하는 카메라를 포함하는 슬레이브 장치(slave device) 및 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 추정 거리에 기초하여 바스켓(basket)에 의해 추출이 가능한 결석 크기를 지시하는 가이던스 그래픽 표현(guidance graphic representation)의 크기를 결정하는 프로세서, 상기 결정된 크기를 갖는 상기 가이던스 그래픽 표현을 상기 슬레이브 장치로부터 수신된 상기 카메라에 의해 촬영된 상기 의료 영상 상에 오버레이하여 표시 하는 마스터 장치(master device)를 포함할 수 있다.
상기 프로세서는, 상기 촬영된 의료 영상으로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 영상 기반 거리를 추론하고, 상기 구동부의 엔코더 정보로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 엔코더 기반 거리를 추정하며, 상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 상기 추정 거리를 결정할 수 있다.
상기 프로세서는, 상기 의료 도구가 바스켓인 경우, 상기 촬영된 의료 영상으로부터 기계 학습 모델, 일 예로 객체검출(Object detection or instance segmentation) 알고리즘 등을 활용해 상기 바스켓의 샤프트 영역으로부터 샤프트의 기하 정보를 추정하고, 기계 학습 모델에 기초하여 상기 추정된 기하 정보로부터 상기 영상 기반 거리를 추론할 수 있다.
상기 샤프트의 기하 정보는, 상기 의료 영상에서 상기 바스켓의 샤프트 영역이 차지하는 넓이, 상기 샤프트의 단부에 대응하는 추정원의 지름, 상기 샤프트의 단부에 대응하는 추정원의 반지름, 상기 의료 영상의 경계로부터 상기 샤프트의 단부까지의 길이, 상기 의료 영상의 중심으로부터 상기 샤프트의 단부까지의 길이, 또는 상기 샤프트의 기울기 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 상기 의료 영상을 다른 기계학습 모델에 입력함으로써 영상 기반 거리를 추론할 수 있다.
상기 프로세서는, 상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 결정된 바이어스 보상 값을 상기 엔코더 기반 거리에 적용함으로써 상기 추정 거리를 결정할 수 있다.
상기 바이어스 보상 값은, 상기 추정 거리의 계산을 개시한 후 시간이 경과함에 따라 수렴하는 값을 가질 수 있다.
상기 프로세서는, 상기 추정 거리가 증가하면 상기 가이던스 그래픽 표현의 상기 크기를 감소시키고, 상기 추정 거리가 감소하면 상기 가이던스 그래픽 표현의 상기 크기를 증가시킬 수 있다.
상기 프로세서는, 상기 의료 도구가 레이저 파이버인 경우, 상기 레이저 파이버의 단부가 결석에 접촉하는 순간을 영상 등으로 감지하고, 레이저 파이버 거리에 따라 가이던스 원을 항상 띄워두고 의사가 직접 레이저 파이버를 결석에 접촉시키면서 가이던스 원과 결석의 크기를 비교하고, 상기 레이저 파이버의 단부가 결석에 접촉하는 시점의 타겟 영상을 캡쳐하여 저장하며, 상기 의료 영상을 상기 마스터 장치의 디스플레이에 출력하면서, 상기 타겟 영상도 함께 출력할 수 있다.
상기 프로세서는, 사용자로부터 상기 타겟 영상 중 지점을 선택하는 입력을 수신하는 것에 응답하여, 상기 선택된 지점을 기준으로 상기 가이던스 그래픽 표현을 상기 타겟 영상 상에 출력할 수 있다.
상기 프로세서는, 상기 타겟 영상에서 결석 영역을 검출하고, 상기 검출된 결석 영역 내 기준점을 기준으로 상기 가이던스 그래픽 표현을 상기 타겟 영상 상에 출력할 수 있다.
상기 가이던스 그래픽 표현은, 원형, 타원형, 사각형, 다각형, 또는 폐곡선 도형 중 하나로 표현될 수 있다.
상기 가이던스 그래픽 표현의 상기 크기는, 상기 가이드튜브를 가이딩하는 시스(sheath)의 크기에 기초하여 정의될 수 있다.
상기 가이던스 그래픽 표현의 경계는 두께를 가지고, 상기 프로세서는, 시간 경과에 따라 상기 추정 거리의 신뢰도가 증가하면 상기 가이던스 그래픽 표현의 경계의 두께를 감소시킬 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 방법은 요관 내부로 삽입된 가이드튜브의 단부에서 의료 도구가 포함되어 촬영되는 의료 영상을 획득하는 단계, 상기 촬영된 의료 영상으로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 영상 기반 거리를 추론하는 단계, 상기 가이드튜브의 내부에서 와이어를 이동시키는 구동부의 엔코더의 정보를 획득하는 단계, 상기 엔코더의 정보로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 엔코더 기반 거리를 추정하는 단계, 상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 추정 거리를 결정하는 단계 및 상기 추정 거리에 기초하여 결정된 크기의 가이던스 그래픽 표현을 상기 의료 영상 상에 오버레이하여 표시하는 단계를 포함할 수 있다.
상기 영상 기반 거리를 추론하는 단계는, 상기 의료 도구가 바스켓인 경우, 상기 촬영된 의료 영상으로부터 상기 바스켓의 샤프트 영역으로부터 샤프트의 기하 정보를 추정하는 단계 및 기계 학습 모델, 일 예로 객체검출(Object detection or instance segmentation) 알고리즘에 기초하여 상기 추정된 기하 정보로부터 상기 영상 기반 거리를 추론하는 단계를 포함할 수 있다. 상기 의료 도구가 레이저 파이버인 경우에는, 레이저 파이버의 기하정보는 영상 상의 레이저 파이버의 끝단과 화면의 중심사이의 픽셀거리, 의료 영상의 경계로부터 레이저 파이버 단부까지의 길이, 레이저 파이버 영역이 차지하는 넓이, 레이저 파이버 끝단의 길이 등을 활용할 수 있고, 나머지 단계는 바스켓의 경우와 동일하다.
상기 추정 거리를 결정하는 단계는, 상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 결정된 바이어스 보상 값을 상기 엔코더 기반 거리에 적용함으로써 상기 추정 거리를 결정하는 단계를 포함하고, 상기 바이어스 보상 값은, 상기 추정 거리의 계산을 개시한 후 시간이 경과함에 따라 수렴하는 값을 가질 수 있다.
상기 의료 영상 상에 오버레이하여 표시하는 단계는, 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 변화하는 추정 거리에 기초하여 상기 가이던스 그래픽 표현의 크기를 조절하는 단계를 더 포함하고, 상기 가이던스 그래픽 표현의 크기는, 상기 추정 거리가 증가하면 감소되고 상기 추정 거리가 감소하면 증가될 수 있다.
상기 의료 영상 상에 오버레이하여 표시하는 단계 이후에, 사용자의 외부 입력을 센싱하는 단계 및 상기 의료 영상 상에 상기 가이던스의 위치를 상기 사용자의 외부 입력에 따라 변경시키는 단계를 더 포함할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 의료 영상 상에 오버레이하여 표시되는 가이던스 그래픽 표현을 제공함에 따라 복잡한 계산이 필요한 결석의 크기를 파악하는 것 없이 내부 장기 손상이 없는 결석 제거가 가능할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 의료 도구 중 바스켓 및 레이저 파이버 사용 시 가이던스 그래픽 표현을 제공함에 따라 사용자가 바스켓을 사용하여 결석을 제거할 수 있는 크기인지를 판단할 수 있으며, 레이저 파이버를 이용하여 결석을 분쇄할 필요가 있는지를 판단할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 가이던스 그래픽 표현을 변화하는 추정 거리에 따라 특정의 실측 크기를 다른 크기의 원으로 제공함에 따라 결석의 제거 가능여부를 상기 추정 거리에 관계없이 정확하게 파악할 수 있으며 이를 통해 안전한 시술을 수행할 수 있다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템 및 방법은 영상 기반의 거리 추정 및 엔코더 기반의 거리 추정을 동시에 이용하여 높은 정확도의 의료 도구 및 가이드튜브 단부의 카메라 간의 거리를 추정함에 따라 사용자에게 높은 신뢰도의 가이드 그래픽 표현을 제공할 수 있다.
도 1은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템을 도시한다.
도 2는 일 실시예에 따른 슬레이브 장치의 구동 메커니즘을 도시한다.
도 3은 일 실시예에 따른 요관에 삽입된 가이드튜브, 카메라, 및 의료 도구를 도시한다.
도 4는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템을 통해 결석을 파지한 바스켓을 예시적으로 나타낸다.
도 5는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리를 추론하기 위하여 결석을 파지한 바스켓 또는 레이저 파이버를 예시적으로 나타낸다.
도 6는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 기하 정보에 대응되는 영상 기반 거리의 그래프를 예시적으로 나타낸다.
도 7은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 의료 도구에 구성되는 마커를 예시적으로 나타낸다.
도 8은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리, 엔코더 기반 거리 및 추정 거리 간의 관계 그래프를 예시적으로 나타낸다.
도 9는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 그래픽 표현 반지름을 도출하는 함수를 피팅 방식을 예시적으로 나타낸다.
도 10은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 추정 거리에 대응되는 그래픽 표현 반지름 간의 그래프를 예시적으로 나타낸다.
도 11은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 변화하는 추정 거리에 따라 다르게 표현되는 가이던스 그래픽 표현의 변화를 예시적으로 나타낸다.
도 12는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 가이던스 그래픽 표현이 출력되는 디스플레이의 화면을 예시적으로 나타낸다.
도 13은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 가이던스 그래픽 표현의 종류를 예시적으로 나타낸다.
도 14는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 가이던스 그래픽 표현의 경계의 두께를 예시적으로 나타낸다.
도 15는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리를 추론하기 위하여 사용되었던 다항 회귀 함수를 검증한 결과 그래프를 예시적으로 나타낸다.
도 16은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 결석의 크기와 시간에 따라 추정 거리를 산출하기 위해 사용되는 바이어스 보상 값 그래프 및 각 이미지 추정 방식을 이용하여 추정된 거리와 실제 거리 간의 비교 결과 그래프를 예시적으로 나타낸다.
도 17은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 방법의 흐름도를 도시한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
결석 제거 방법 중 체외 충격파 쇄석술(ESWL)은 크기가 직경 1cm 이하의 결석에 적절하고 요관에 걸려있는 소량의 결석에만 적합한 점에서 한계가 있는 결석 제거 방법이다. 또한, 결석 제거 방법 중 경피적 신장 결석 절석술(PCNL)은 환자가 출혈경향이 있는 경우에는 사용이 불가한 문제가 있다. 반면에, 연성 요관 내시경을 이용한 결석 제거술(RIRS)은 사용에 큰 제약이 없으며, 임신 중이거나 출혈 경향이 있는 환자에게도 모두 시행이 가능하고 결석이 단단하더라도 한 번에 해결이 가능하다는 장점이 있다. 또한 연성 요관 내시경을 이용한 결석 제거술(RIRS)은 최대 94%의 높은 시술성공율을 보여주며, 합병증은 최소 0%로 발생한다고 보고되며, 낮은 확률로 합병증이 발생한다 하더라도 발생한 합병증 또한 낮은 중증도를 보여주고 있다. 이러한 연성 요관 내시경을 이용한 결석 제거술(RIRS)은 연성 요관내시경 기술의 발달과 함께 적용 범위 또한 확대되면서 다양한 연구가 수행되고 있다.
한편, 연성 요관 내시경을 이용한 결석 제거술(RIRS)은 내시경을 신장까지 직접 접근시켜 레이저 파이버(laser fiber)로 결석을 직접 분쇄하고, 바스켓(basket)을 이용하여 결석을 파지(grip)하여 몸 밖으로 빼내는 방식으로 진행될 수 있다. 이러한 연성 요관 내시경을 이용한 결석 제거술(RIRS)에서는 결석의 크기가 시술 진행에 있어 중요한 요소 중 하나일 수 있다. 이는 바스켓을 이용하여 너무 큰 결석을 제거하는 경우, 결석이 시스(sheath)에 걸리면서 요관에 손상을 줄 수 있는 문제가 있기 때문이다. 또한, 이러한 큰 결석을 작게하기 위해 레이저 파이버를 이용하여 분쇄하는 경우, 과도한 분쇄가 이루어지면 제거할 결석의 개수가 많아서 바스켓을 통해 일일이 파지하여 배출시키는 방식에 의해 오랜 시간이 소요되는 문제가 발생할 수 있다. 이와 반대로, 레이저 파이버가 적당히 분쇄하면 큰 결석이 남아 있는 경우가 있어 이후 바스켓 파지 시 여전히 요관을 손상시키는 위험이 잔존해 있으며, 바스켓 파지 후 결석이 크다고 판단한 경우에는 의료 장치를 바스켓에서 다시 레이저 파이버로 교체하여 결석을 분쇄시켜야되는 번거로움이 발생될 수 있다. 또한, 결석은 내시경 카메라로 촬영된 영상이 디스플레이로 표시됨에 따라 확인할 수 있으므로, 디스플레이에 표시되는 영상을 통해 결석의 크기가 어느 정도인지 파악하기가 쉽지 않으며 이로 인해 전술한 문제가 발생할 수 있는지 여부 또한 판단하기가 쉽지 않다.
전술한 문제를 해결하기 위하여 본 명세서는 결석이 제거가능한지 판단할 수 있도록 가이던스를 제공하는 시스템 및 방법을 제시한다.
도 1은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템을 도시한다.
일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템은 의료 영상에 가이던스를 표시할 수 있다. 가이던스 제공 시스템은 신장 결석 제거 시술 동안 사용자(1900)(예: 시술자 또는 의료진)에게 의료 영상을 제공할 수 있다. 가이던스 제공 시스템은 사용자(1900)로부터 조작부(예: 터치스크린, 마스터 핸들 등의 컨트롤러)를 통해 검출된 입력에 기초하여 결석 제거를 위한 가이드튜브(1113), 카메라(1114)(예: 내시경 카메라), 및 의료 도구(medical tool)(1107)를 제어할 수 있다. 참고로, 본 명세서에서 의료 영상은 내시경 카메라에 의해 촬영되는 내시경 영상일 수 있다.
가이던스 제공 시스템은 슬레이브 장치(slave device)(1100) 및 마스터 장치(master device)(1200)를 포함할 수 있다. 마스터 장치(1200)는 슬레이브 장치(1100)와 유선 및/또는 무선으로 연결될 수 있고, 데이터를 교환할 수 있다. 예를 들어, 마스터 장치(1200)는 사용자(1900)의 입력에 기초한 제어 명령을 슬레이브 장치(1100)에게 전달할 수 있다. 슬레이브 장치(1100)는 제어 명령에 응답하여 가이드튜브(1113), 카메라(1114), 또는 의료 도구(1107) 중 적어도 하나의 움직임 및/또는 동작을 제어할 수 있다. 슬레이브 장치(1100)는 동작 상태, 및 의료 영상을 마스터 장치(1200)에게 전달할 수 있다.
슬레이브 장치(1100)는 일종의 슬레이브 로봇(Slave Robot)으로서, 의료 도구가 장착되어 시술 시 사용자(1900)의 제어를 받아 환자(P)의 체내에 삽입되는 의료 도구(1107)를 동작시킬 수 있다. 슬레이브 장치(1100)는 지지 바디(1101), 구동 바디(1102), 레일(1103), 및 구동부(1104)를 포함할 수 있다. 슬레이브 장치(1100)는 마스터 장치(1200)의 제어에 따라 구동부(1104)를 동작함으로써, 가이드튜브(1113), 카메라(1114), 또는 의료 도구(1107) 중 적어도 하나의 움직임 및/또는 동작을 제어할 수 있다. 예를 들어, 슬레이브 장치(1100)는 가이드튜브(1113), 카메라(1114), 또는 의료 도구(1107) 중 적어도 하나에 대해 이동(예: 전진 또는 후진), 회전, 또는 벤딩(bending) 중 적어도 하나를 적용할 수 있다. 슬레이브 장치(1100)의 보다 상세한 구조는 하기 도 2 및 도 3에서 설명한다.
마스터 장치(1200)는 일종의 마스터 콘솔(Master Console)로서, 디스플레이(display), 컨트롤러(controller), 및 프로세서(processor)를 포함할 수 있다.
마스터 장치(1200)의 디스플레이는 사용자(1900)에게 의료 정보를 제공할 수 있다. 예를 들어, 디스플레이는 슬레이브 장치(1100)의 카메라에 의해 촬영된 의료 영상을 시각적으로 출력할 수 있다. 또한 디스플레이는 전술한 실시간 의료 영상뿐만 아니라, 결석 제거 시술을 보조하기 위한 추가 정보로서 슬레이브 장치(1100)의 동작 상태 정보, 기능 정보, 및 시술 정보도 출력할 수 있다. 동작 상태 정보는 슬레이브 장치(1100)의 동작과 관련된 상태를 나타내는 정보로서, 예를 들어, 시스 길이, 가이드튜브의 벤딩 각도, 및 가이드튜브의 롤링 각도를 포함할 수 있다. 기능 정보는 마스터 장치(1200)를 통해 제공되는 기능에 대한 정보로서 녹화 기능, 스냅샷 기능을 포함할 수 있다. 시술 정보는 예시적으로 결석 제거 시술과 관련된 정보로서, 요도에 삽입된 가이드튜브의 형상과 위치를 나타내는 정보(예: 영상)를 포함할 수 있다.
컨트롤러는 사용자(1900)로부터의 입력을 수신할 수 있다. 마스터 장치(1200)는 컨트롤러를 통해 수신된 사용자(1900)의 입력을 해석함으로써, 마스터 장치(1200) 및/또는 슬레이브 장치(1100)를 제어할 수 있다. 예시적으로 컨트롤러는 터치스크린, 터치패드, 또는 마스터 핸들 중 적어도 하나를 포함할 수 있다. 터치스크린은 전술한 디스플레이와 통합된 장치로서 본 명세서에서는 디스플레이가 터치스크린인 예시를 주로 설명하나, 이로 한정하는 것은 아니다. 마스터 핸들은 슬레이브 장치(1100)의 동작(예: 가이드튜브(1113), 카메라(1114), 또는 의료 도구(1107)의 움직임)을 위한 조작을 사용자(1900)로부터 수신할 수 있다.
프로세서는 의료 영상의 처리, 해석, 및 슬레이브 장치(1100)의 제어를 수행할 수 있다. 예를 들어, 프로세서는 컨트롤러(예: 마스터 핸들)를 통해 검출된 사용자(1900)의 조작을 해석한 것에 기초하여 슬레이브 장치(1100)를 제어하기 위한 제어 명령을 생성할 수 있다. 프로세서는 생성된 제어 명령을 슬레이브 장치(1100)에게 전달할 수 있다.
프로세서는 슬레이브 장치(1100)로부터 의료 영상을 수신하고, 수신된 의료 영상을 처리 또는 분석할 수 있다. 예를 들어, 프로세서는 의료 영상 상에 표시될 가이던스 그래픽 표현(guidance graphic representation)을 결정할 수 있다. 프로세서는 의료 도구 및 가이드튜브 단부의 카메라 간의 추정 거리에 기초하여 가이던스 그래픽 표현의 크기를 결정할 수 있다. 가이던스 그래픽 표현의 크기는 바스켓에 의해 추출이 가능한 결석 크기를 지시할 수 있다. 가이던스 그래픽 표현이 디스플레이에서 표시되는 크기는 도 10에서 후술한다. 마스터 장치(1200)는 이러한 결정된 크기를 갖는 가이던스 그래픽 표현을 슬레이브 장치(1100)로부터 수신된 카메라(1114)에 의해 촬영된 의료 영상 상에 오버레이하여 표시할 수 있다.
도 1에서는 마스터 장치(1200)에서 디스플레이와 컨트롤러가 일체형으로 통합된 구조가 도시되었으나, 이에 제한되지 않고, 디스플레이와 컨트롤러가 별개의 모듈로 분리되어 구성될 수도 있다.
도 2는 일 실시예에 따른 슬레이브 장치의 구동 메커니즘을 도시한다.
슬레이브 장치(1100)의 구동 구조는 가이드튜브 홀더(1105), 와이어(1106), 의료 도구(1107)(예: 바스켓 또는 레이저 파이버), 내시경(1110) 및 액세스 시스(Access Sheath)(1120)를 포함할 수 있다. 내시경(1110)은 메인 바디(1111), 핸들(1112), 가이드튜브(1113), 카메라(1114)를 포함할 수 있다. 액세스 시스(1120)는 시스 홀더(sheath holder)(1121)와 시스(1122)를 포함할 수 있다.
슬레이브 장치(1100)는 지면에 대해 이동 가능한 지지 바디(1101)의 상단부에 레일(1103), 구동부(1104), 가이드튜브 홀더(1105), 와이어(1106), 의료 도구(1107), 카메라(1114), 내시경(1110) 및 액세스 시스(1120)를 장착한 구동 바디(1102)가 배치되는 형태로 구성될 수 있다. 구동 바디(1102)는 시술을 위해 지지 바디(1101)에 대해 상대적으로 움직일 수 있다. 예를 들어, 구동 바디(1102)는 마스터 장치(1200)로부터 신호를 전달받아 지지 바디(1101)에 대해 수평 및 수직 방향으로 각각 병진 이동할 수 있다. 구동 바디(1102)는 지지 바디(1101)에 대해 요(yaw) 회전할 수 있다.
구동 바디(1102)에는 레일(1103)이 형성되어 내시경을 구동시키는 구동부(1104)가 구동 바디(1102)의 길이 방향으로 슬라이딩할 수 있다. 구동부(1104)는 내시경(1110)을 지지하고, 마스터 장치(1200)로부터 신호를 전달받아 내시경(1110)을 제어할 수 있다. 예를 들어, 구동부(1104)는, 내시경(1110)의 가이드튜브(1113)가 벤딩되는 방향을 제어하는 내시경(1110)의 핸들(1112)을 움직일 수 있다. 구동부(1104)에 내시경(1110)이 지지된 상태에서는 구동부(1104)에 대한 내시경(1110)의 상대적인 움직임이 제한될 수 있다. 이로 인해, 슬레이브 장치(1100)는 내시경(1110)의 움직임으로부터 발생하는 오차가 감소함에 따라 시술의 안정성과 정확성이 향상될 수 있다. 또한, 구동부(1104)는 엔코더(또는 엔코더가 포함된 모터) 등을 포함하고, 마스터 장치(1200)의 프로세서에서는 구동부(1104)의 엔코더 정보를 이용할 수 있다.
내시경(1110)은 메인 바디(1111), 핸들(1112) 및 가이드튜브(1113)를 포함할 수 있다. 내시경(1110)은 내시경(1110)의 메인 바디(1111)에 대한 핸들(1112)의 상대적인 움직임으로부터 가이드튜브(1113)의 벤딩을 제어할 수 있다. 이에 따라 가이드튜브(1113)는 결석 제거를 위한 요관 내로 삽입가능할 수 있다. 이는 가이드튜브(1113)의 단부(distal end portion)가 벤딩(bending)됨으로써 결석이 위치하는 곳을 향하여 움직이는 것을 의미할 수 있다.
가이드튜브 홀더(1105)는 내시경(1110)의 가이드튜브(1113)를 지지할 수 있다. 가이드튜브 홀더(1105)는, 구동부(1104)가 구동 바디(1102)에 대해 슬라이딩하거나 회전하는 경우, 내시경(1110)의 가이드튜브(1113)가 버클링(buckling)되는 것을 방지할 수 있다. 가이드튜브 홀더(1105)는, 예를 들어, 구동 바디(1102)의 길이 방향을 따라 복수 개로 마련되고, 서로 이격될 수 있다.
액세스 시스(1120)는 시스 홀더(1121) 및 시스(1122)를 포함할 수 있다.
시스 홀더(1121)는 시스(1122)를 구동 바디(1102)의 단부에 장착시킬 수 있다. 시스(1122)는 요관(U) 내측에 장착되어 가이드튜브(1113)를 가이드할 수 있다. 이에 가이드튜브(1113)는 시스(1122)에 대해 상대적으로 이동 가능하여 시스(1122)의 내부를 통과함에 따라 환자(P)의 시술 부위에 도달할 수 있다.
도 3은 일 실시예에 따른 요관에 삽입된 가이드튜브, 카메라, 및 의료 도구를 도시한다.
또한, 가이드튜브(1113)는 내부에 배치된 와이어(1106) 및 의료 도구(1107)(예: 바스켓)를 결석(S)이 위치된 장소로 안내할 수 있다.
와이어(1106)는 가이드튜브(1113)의 내부에서 가이드튜브(1113)의 길이 축(또는 길이 방향)을 따라 이동가능할 수 있다. 와이어(1106)는 강선을 중심으로 스프링 강선을 나선형으로 감은 구조나 테프론 튜브 등과 같이 탄력성과 유연성이 풍부한 가요성 튜브로 심을 뒤덮고, 필요한 작업에 따라 강선의 끝에 다른 구조가 접합됨으로써 형성된다(예: 바스켓, 탄력성과 유연성이 풍부한 반원구의 강선을 접합). 와이어(1106)는 전체 외부가 테프론 코팅됨에 따라 매끄럽게 이동가능하여 시술 중 혈관 내에서 부러지거나 과도하게 휘어지는 일이 방지되며 이로 인한 혈관 손상 또한 방지될 수 있다. 와이어(1106)는 내시경(1110)을 이동시키는 구동부(1104)에 의해 이동될 수 있거나 또 다른 구동부 구성을 통해 이동될 수 있다.
의료 도구(1107)는 탈착이 가능하고, 바스켓과 레이저 파이버 중 하나씩만 구성될 수 있어 번갈아 가며 장착될 수 있으나, 이에 한정하지 않고 둘 다 동시에 장착되는 형태로도 구성될 수 있다. 의료 도구(1107)의 일 예인 바스켓은 와이어(1106)의 단부에 연결되어 가이드튜브(1113)의 외부로 노출되며, 확장 상태 및 수축 상태 사이에서 상태가 전환되어 결석(S)을 파지할 수 있다. 바스켓은 외력이 가해지지 않을 때 원래의 형상으로 복원되는 재질로 구성될 수 있으며, 예를 들어, 형상 기억 합금일 수 있다.
의료 도구(1107)는, 일 예로 바스켓 및 레이저 파이버는, 도구 구동부에 장착되어 전후진이 가능하도록 구성될 수 있다.
카메라(1114)는 내시경(1110) 구성의 일부로 가이드튜브(1113)의 단부에서 의료 영상을 촬영할 수 있다. 이에 카메라(1114)는 장기(organ)(예: 신장) 내부에 의료 도구(1107)가 결석에 접근하여 결석을 파지하거나 파지하지 않거나, 또는 결석을 분쇄하거나 분쇄하지 않는 상태를 촬영할 수 있다. 카메라(1114)는 가이드튜브(1113)의 단부에 고정될 수 있다. 의료 도구(1107)는 가이드튜브(1113)에 대해 상대적으로 이동(예: 전진 또는 후진)될 수 있으므로, 의료 도구(1107)와 카메라(1114) 간의 거리는 사용자(1900)의 조작에 따라 변동될 수 있다. 본 명세서에서 가이던스 그래픽 표현의 크기를 결정하는 기준이 되는 거리는, 카메라(1114)를 기준으로 하는 의료 도구(1107)까지의 거리로서, 카메라(1114)와 의료 도구(1107) 간의 거리일 수 있다.
도 4는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템을 통해 결석을 파지한 바스켓을 예시적으로 나타낸다.
프로세서는, 예를 들어, 의료 도구(1107)가 바스켓인 경우, 가이던스 그래픽 표현의 크기를 결정하기 위하여, 가이드튜브(1113)의 단부(일 예: 카메라(1114)가 촬영하고 있는 위치)부터 결석(S)이 파지된 의료 도구(1107)(예: 바스켓)까지의 거리(d)를 추정해야된다. 거리(d)는 또한 와이어(1106)가 가이드튜브(1113)의 단부에서부터 노출된 길이를 의미할 수 있다. 전술한 사항은 의료 도구가 레이저 파이버인 경우에도 동일하게 적용될 수 있다. 이에 프로세서는 촬영된 의료 영상으로부터 의료 도구 및 가이드튜브(1113)의 단부 간의 영상 기반 거리를 추론하고, 구동부(1104)의 엔코더 정보로부터 의료 도구 및 가이드튜브(1113)의 단부 간의 엔코더 기반 거리를 추정할 수 있다. 엔코더 기반 거리는, 예를 들어, 미리 결정된 엔코더의 회전수에 대응되는 (예를 들어, 선형적인 형태를 가진) 값으로 추정될 수 있다. 그런 후, 프로세서는 영상 기반 거리 및 엔코더 기반 거리에 기초하여 추정 거리를 결정할 수 있다.
도 5는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리를 추론하기 위하여 결석을 파지한 바스켓을 예시적으로 나타낸다. 또한 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리를 추론하기 위하여 결석에 근접한 레이저 파이버를 예시적으로 나타내며, 구체적으로 레이저 파이버 바운딩박스 영역의 X 또는 Y 또는 대각선 방향 길이, 의료 영상의 경계로부터 레이저 파이버 단부까지의 길이로부터 영상 기반 거리를 추론할 수 있다. 또한 구체적인 일 예로서, 영상 상의 레이저 파이버의 끝단과 화면의 중심사이의 픽셀거리, 레이저파이버 영역의 넓이로 부터 영상 기반 거리를 추론할 수 있다.
도 6는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 기하 정보에 대응되는 영상 기반 거리의 그래프를 예시적으로 나타낸다.
프로세서는 의료 도구가 바스켓인 경우, 촬영된 의료 영상으로부터 바스켓의 샤프트 영역으로부터 샤프트의 기하 정보를 추정할 수 있다. 기하 정보는 검출된 바운딩 박스(bounding box)의 평균 길이에 기초하여 추정할 수 있다. 또한, 프로세서는 기계 학습 모델, 일 예로 객체검출(Object detection or instance segmentation) 알고리즘에 기초하여 추정된 기하 정보로부터 영상 기반 거리를 추론할 수 있다. 기계 학습 모델은, 의료 영상으로부터 기하 정보를 추정하도록 설계 및 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크를 포함할 수 있다. 이에 한정하지 않고, 프로세서는 의료 영상을 다른 기계학습 모델 또는 피팅(fitting)된 함수에 입력함으로써 영상 기반 거리를 추론할 수 있다. 예를 들어, 영상 기반 거리는 수집된 각 영상 기반 거리에 대응하는 기하 정보에 기초하여 피팅된 함수(예: 다항 회귀(polynomial regression) 함수) 또는 트레이닝된 모델을 통해 추론될 수 있다. 다른 기계 학습 모델은 의료 영상으로부터 영상 기반 거리를 직접 추정하도록 설계 및 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크를 포함할 수 있다.
또한, 기하 정보는 의료 영상에서 의료 도구와 와이어 단부 간의 거리 외의 다른 요소에 대해서는 값이 변하지 않거나 변화에 둔감 또는 강건한(robust)한 성분 값으로서, 샤프트의 기하 정보는, 의료 영상에서 바스켓의 샤프트 영역이 차지하는 넓이, 샤프트의 단부에 대응하는 추정원의 지름, 샤프트의 단부에 대응하는 추정원의 반지름, 의료 영상의 경계로부터 샤프트의 단부까지의 길이, 의료 영상의 중심으로부터 샤프트의 단부까지의 길이, 또는 샤프트의 기울기 중 적어도 하나를 포함할 수 있다. 예를 들어, 바스켓의 샤프트 영역은 의료 영상에서 바스켓에 연결된 와이어의 일부에 대응하는 영역일 수 있다. 샤프트의 기하 정보는, 예를 들어, 샤프트의 단부에 대응하는 추정원의 지름 또는 샤프트의 단부에 대응하는 추정원의 반지름(510)을 사용할 수 있으나, 이에 한정하지 않는다.
도 7은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 의료 도구에 구성되는 마커를 예시적으로 나타낸다.
또한, 의료 도구(예: 바스켓)에는 전술한 바스켓의 샤프트 영역에서 기하 정보를 용이하게 추출하기 위하여, 예를 들어, 마커 또는 패턴을 부착 또는 장착할 수 있다. 마커(710)은 원형으로 샤프트 영역 일부분에 형성되거나, 마커(720)은 띠 모양으로 샤프트 영역에 둘러져 있거나, 마커(730)은 패턴 형식으로 샤프트 영역에 형성될 수 있다. 이를 통해 프로세서는 더욱 두드러지는 바스켓의 샤프트 영역을 빠르게 인식함에 따라 영상 기반 거리를 위한 기하 정보 또한 더욱 빠르게 추출할 수 있다.
도 8은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리, 엔코더 기반 거리 및 추정 거리 간의 관계 그래프를 예시적으로 나타낸다.
엔코더 기반 거리는 로우 프리컨시(low frequency) 대역에서 오차를 가지고 있고, 영상 기반 거리는 하이 프리퀀시(high frequency) 대역에서 오차를 가질 수 있다. 이에 각 값이 가지는 오차의 성분이 달라 상보적으로 같이 사용할 수 있다. 프로세서는 영상 기반 거리 및 엔코더 기반 거리에 기초하여 결정된 바이어스 보상 값을 엔코더 기반 거리에 적용함으로써 추정 거리를 결정할 수 있다. 프로세서는 수학식 1을 이용하여 추정 거리를 결정할 수 있다.
[수학식 1]
Figure PCTKR2023010044-appb-img-000001
Dr은 추정 거리를 나타내고, De는 엔코더 기반 거리를 나타내며, Di는 영상 기반 거리를 나타낸다.
Figure PCTKR2023010044-appb-img-000002
는 엔코더 기반 거리와 영상 기반 거리 간의 차에 기초한 기대값을 누적하여 합하고 이를 누적 횟수로 나눈 값을 나타낼 수 있다. 이는 오프셋 값, 즉, 오차 값(예: 바이어스 보상 값)을 나타낼 수 있다. 바이어스 보상 값은, 추정 거리의 계산을 개시한 후 시간이 경과함에 따라 (예를 들어, 특정 상수 값에) 수렴하는 값을 가질 수 있다.
도 9는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 그래픽 표현 반지름을 도출하는 함수를 피팅 방식을 예시적으로 나타낸다.
도 10은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 사용되는 추정 거리에 대응되는 그래픽 표현 반지름 간의 그래프를 예시적으로 나타낸다.
추정 거리는 n차 다항함수에 입력되면 이에 대응되는 가이던스 그래픽 표현의 크기(예: 반지름)를 결정할 수 있다. 가이던스 그래픽 표현의 크기는 해당 추정 거리에서 결석이 안전하게 제거가능한 기준일 수 있다. 이에 결석은 가이던스 그래픽 표현의 크기 이내에 존재하는 경우에 안전하게 제거될 수 있다. 이는 또한 가이던스 그래픽 표현의 크기가 가이드튜브(1113)를 가이딩하는 시스(1122)의 크기에 기초하여 정의될 수 있는 것을 의미할 수 있다. N차 다항함수를 피팅하는 방식은 우선, 파지된 결석에 대하여 (예를 들어, mm단위의) 도구 거리에 따른 이미지를 획득할 수 있다.
여기서, 도 9에 도시된 과정은, 인체의 신장 및 요도를 모사한 팬텀 모형에서 수행될 수 있으며, 팬텀 모형 내에 배치된 결석은 물리적으로 쉬스보다 작은 크기를 가질 수 있다. 달리 말해, 도 9에서 의료 영상에 캡처된 결석은 바스켓에 의해 파지된 상태에서 쉬스에 의해 보호될 수 있는 크기일 수 있다.
예를 들어, 방식(910)은 각 이미지에서의 결석의 외곽에 점(911)을 찍어 표시하고, 방식(920, 930)에서, 이를 원으로 피팅하여 취득한 각 도구 거리에 대한 반지름 값을 n차 다항함수에 피팅할 수 있다. 이에 따라, 반지름(921)이 반지름(931)보다 큰 값을 가지고 있는 경우 반지름(931)보다 추정 거리가 가깝게 설정될 수 있다. 이는 또한, 바스켓이 이동됨에 따라 추정 거리가 증가하거나 감소하면 가이던스의 크기 또한 변화할 수 있는 것을 내포하고 있다.
도 11은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 변화하는 추정 거리에 따라 다르게 표현되는 가이던스 그래픽 표현의 변화를 예시적으로 나타낸다.
프로세서는 현재 바스켓 위치를 기준으로 하여(111) 추정거리가 증가(D1)하면 가이던스 그래픽 표현의 크기를 감소시킬 수 있다(112). 이는, 예를 들어, 바스켓이 꼭 결석을 파지하지 않아도 파지하기 위하여 결석에 근접(예: 추정 거리가 증가)하는 경우에도 표시되는 가이던스에 의해 적정 크기의 결석인지를 파악할 수 있다. 이는 또한 레이저 파이버인 경우에 더 유용할 수 있다. 결석에 접촉하기 전에 분쇄가 필요한 크기를 미리 파악할 수 있으므로 빠른 시술이 가능할 수 있기 때문이다.
프로세서는 현재 의료도구 위치를 기준으로 하여(111) 추정거리가 감소(D2)하면 가이던스 그래픽 표현의 크기를 증가시킬 수 있다(113). 이는, 예를 들어, 바스켓이 결석을 파지하여 제거하기 위하여 이동(예: 추정 거리가 감소)하는 경우에도, 또는 레이저가 결석을 파쇄하기 위하여 이동하는 경우에도, 가이던스 그래픽 표현이 추출할 수 있거나 또는 파쇄가 필요한 특정의 크기 임이 분명하게 표시됨에 따라 원거리에서 보다 더 정확하게 제거 가능 또는 파쇄 필요 여부를 파악할 수 있다.
프로세서는 의료 도구(1107)가 레이저 파이버인 경우, 레이저 파이버의 단부가 결석에 접촉하는 순간을 감지할 수 있으나, 이에 한정하지 않는다. 예를 들어, 결석에 레이저 파이버가 접촉되는 것으로 사용자(1900)가 판단하는 경우, 사용자(1900)는 수동으로 마스터 장치(1200)에 접촉에 대한 입력을 수행할 수 있다. 레이저 파이버의 접촉을 감지하는 경우, 프로세서는 레이저 파이버의 단부가 결석에 접촉하는 시점의 타겟 영상을 캡쳐하여 저장할 수 있다. 프로세서는 의료 영상을 마스터 장치(1200)의 디스플레이에 출력하면서, 타겟 영상도 함께 출력할 수 있다. 이를 통해 레이저 파이버는 의료 영상 상에 가이던스 그래픽 표현을 기준으로 하여 파쇄가 필요한지 여부를 판단할 수 있고, 이로 인해 적절한 양의 파쇄가 수행되어 바스켓을 이용한 빠른 결석 제거가 가능할 수 있다.
또한, 프로세서는 사용자(1900)로부터 타겟 영상 중 지점을 선택하는 입력을 수신하는 것에 응답하여, 선택된 지점을 기준으로 가이던스 그래픽 표현을 타겟 영상 상에 출력할 수 있다. 이는, 예를 들어, 가이던스 그래픽 표현이 타겟 영상에 어긋난 위치에 출력되는 경우, 사용자(1900)가 터치 입력을 이용하여 원하는 지점을 선택하여 가이던스 그래픽 표현의 위치를 이동시키는 것을 의미할 수 있다. 또 다른 방식에 있어서, 프로세서는 타겟 영상에서 결석 영역을 검출하고, 검출된 결석 영역 내 기준점을 기준으로 가이던스 그래픽 표현을 타겟 영상 상에 출력할 수 있다. 이를 통해 사용자(1900)는 터치 입력과 같은 번거로움 없이 용이하게 결석의 크기를 판단할 수 있다.
도 12는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 가이던스 그래픽 표현이 출력되는 디스플레이의 화면을 예시적으로 나타낸다.
(1210)은 시술 정보를 나타내는 영역으로서, 예를 들어, 미리 결석이 있는 부분을 촬영한 x-ray 이미지 또는 실시간으로 의료 도구(1107)가 신체 내부에 진입한 거리 및 위치를 표시하는 영상을 출력하는 영역일 수 있다. (1220)은 가이던스 그래픽 표현을 온(on)/오프(off)제어할 수 있는 영역으로서, 가이던스 그래픽 표현을 필요 시 온/오프 역할하는 것뿐만 아니라 가이던스 그래픽 표현을 제공하기 위한 가이던스 제공 시스템의 구동을 수동으로 시작할 수 있다. 이는 결석이 있는 영역 외의 위치에서 가이던스 그래픽 표현이 제공될 필요가 없으므로 마스터 장치(1200) 내 프로세서를 효율적으로 사용할 수 있다. (1230)은 카메라(1114)가 촬영하는 의료영상이 출력되는 영역으로 가이던스 그래픽 표현(1231) 및 의료 도구(1107)(1232)가 표시될 수 있다.
도 13은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 가이던스 그래픽 표현의 종류를 예시적으로 나타낸다.
가이던스 그래픽 표현은, 원형, 타원형, 사각형, 다각형, 또는 폐곡선 도형 중 하나로 표현될 수 있으나, 이에 한정되지 않는다. 예를 들어, 일반적인 형태의 결석인 경우에는 원형(131)의 가이던스 그래픽 표현으로 충분하지만, 결석이 한 방향으로 긴 형태를 가지는 것과 같은 비정상 형태인 경우에는 사각형(132) 또는 타원형(133)의 가이던스 그래픽 표현이 더 적절할 수 있다.
도 14는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 가이던스 그래픽 표현의 경계의 두께를 예시적으로 나타낸다.
가이던스 그래픽 표현의 경계는 소정의 두께를 가질 수 있다. 이에 프로세서는, 시간 경과에 따라 추정 거리의 신뢰도가 증가하면 가이던스 그래픽 표현의 경계의 두께를 감소시킬 수 있다. 이는 초기에 표시된 가이던스 그래픽 표현의 경계의 두께(141)보다 얇은 가이던스 그래픽 표현의 경계의 두께(142)가 더 정확한 가이던스 그래픽 표현임을 나타낼 수 있다. 이러한 표현은 반대로도 가능할 수 있다(예: 시간 경과에 따라 가이던스 그래픽 표현의 경계의 두께가 더 두꺼워질 수 있음). 또한, 추정 거리의 신뢰도는 전술한 수학식 1에서의 바이어스 보상 값에 기초하여 결정될 수 있다.
도 15는 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 영상 기반 거리를 추론하기 위하여 사용되었던 다항 회귀 함수를 검증한 결과 그래프를 예시적으로 나타낸다.
도 16은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 시스템에서 결석의 크기와 시간에 따라 추정 거리를 산출하기 위해 사용되는 바이어스 보상 값을 적용한 엔코더 기반 거리 값 및 각 이미지 추정 방식을 이용하여 추정된 거리와 실제 거리 간의 비교 결과 그래프를 예시적으로 나타낸다.
다항 회귀 함수를 이용함에 따라 추론된 영상 기반 거리는 대부분이 정상 범위(151) 내에서 분포하고 있어 로우 프리컨시 대역에서의 오차 외에는 정확한 영상 기반 거리가 추론됨을 볼 수 있다.
또한, 영상 기반 거리 및 엔코더 기반 거리에 기초한 추정 거리 결정은 바이어스 보상 값의 분산(예: 오차)이 작을수록 더 정확해지는데, 바이어스 보상 값의 분산은 시간이 흘러 누적된 값의 갯수가 많을수록 작아지므로 시간에 따라 결정된 추정 거리는 더욱 정확할 수 있다. (161)이 작은 결석에 관한 영상 기반 거리 오차의 누적 평균 값을 나타내고, (162)가 큰 결석에 관한 영상 기반 거리 오차의 누적 평균 값을 나타내며, 큰 결석의 경우, 해당 누적 평균값이 0으로 빠르게 수렴되는 경향을 보이나 일정 시간 이후에는 작은 결석의 경우에도, 둘 다 0으로 수렴하는 결과를 나타낸다. 이는 결정된 추정 거리가 결석의 크기보다 시간에 의존하는 것을 의미할 수 있다.
또한, (163)은 작은 결석에 관하여 각 방식 별로 결정된 추정 거리를 나타내고, (164)는 큰 결석에 관하여 각 방식 별로 결정된 추정 거리를 나타낸다. 엔코더 기반 거리(De)의 실제 거리(Dr)에 대한 오차는 전반적으로 제일 높은 값으로 결정되고, 영상 기반 거리(Di)의 실제 거리(Dr)에 대한 오차는 이 보다는 낮은 값으로 결정될 수 있다. 반면에, 일 실시예에 따른 가이던스 제공 시스템을 이용하여 결정된 추정 거리(Df)는 엔코더 기반 거리(De)와 영상 기반 거리(Di)에 비해 실제 거리(Dr)와 가장 유사한 결과 값으로 결정될 수 있다. 이는 정확한 거리에 기반하여 생성된 가이던스 그래픽 표현을 통해 사용자(1900)가 결석의 제거 가능 여부를 더욱 정확하게 판단할 수 있는 것을 의미할 수 있다. 또한, 시간에 따른 추정 거리(Df)의 정확도에 있어서도 초기(t1)에서의 추정 거리(Df)와 실제 거리(Dr) 간의 차이(r1)보다 후기(t2)에서의 추정 거리(Df)와 실제 거리(Dr) 간의 차이(r1)가 더 작아 시간에 따라 더욱 정확한 추정 거리가 결정될 수 있다.
도 17은 일 실시예에 따른 결석 제거를 위한 가이던스 제공 방법의 흐름도를 도시한다.
단계(171)에서, 프로세서는 요관 내부로 삽입된 가이드튜브의 단부에서 의료 도구가 포함되어 촬영되는 의료 영상을 획득할 수 있다. 의료 영상은, 예를 들어, 의료 도구의 작동(예: 바스켓의 파지) 시 자동으로 수행 시 획득되거나, 사용자가 가이던스 그래픽 표현을 출력하기 위한 온 입력 시 획득되거나, 미리 결정된 가이드튜브의 연장 길이에 따라 자동으로 획득할 수 있으나, 이에 한정하지 않는다.
단계(172)에서, 프로세서는 촬영된 의료 영상으로부터 의료 도구 및 가이드튜브 단부의 카메라 간의 영상 기반 거리를 추론할 수 있다. 예를 들어, 의료 도구가 바스켓인 경우, 프로세서는 촬영된 의료 영상으로부터 바스켓의 샤프트 영역으로부터 샤프트의 기하 정보를 추정할 수 있다. 그런 후, 프로세서는 기계 학습 모델에 기초하여 추정된 기하 정보로부터 영상 기반 거리를 추론할 수 있다.
단계(173)에서, 프로세서는 가이드튜브의 내부에서 와이어를 이동시키는 구동부의 엔코더의 정보를 획득할 수 있다.
단계(174)에서, 프로세서는 엔코더의 정보로부터 의료 도구 및 가이드튜브 단부의 카메라 간의 엔코더 기반 거리를 추정할 수 있다.
단계(175)에서, 프로세서는 영상 기반 거리 및 엔코더 기반 거리에 기초하여 의료 도구 및 가이드튜브 단부의 카메라 간의 추정 거리를 결정할 수 있다. 프로세서는 영상 기반 거리 및 엔코더 기반 거리에 기초하여 결정된 바이어스 보상 값을 엔코더 기반 거리에 적용함으로써 추정 거리를 결정할 수 있다. 여기서, 바이어스 보상 값은 추정 거리의 계산을 개시한 후 시간이 경과함에 따라 수렴하는 값을 가질 수 있다.
단계(176)에서, 프로세서는 추정 거리에 기초하여 결정된 크기의 가이던스 그래픽 표현을 의료 영상 상에 오버레이하여 표시할 수 있다. 프로세서는 의료 도구 및 가이드튜브 단부의 카메라 간의 변화하는 추정 거리에 기초하여 가이던스 그래픽 표현의 크기를 조절할 수 있다. 가이던스 그래픽 표현의 크기는 추정 거리가 증가하면 감소되고 추정 거리가 감소하면 증가될 수 있다.
단계(176) 이후에, 프로세서는 사용자의 외부 입력을 센싱하고, 의료 영상 상에 가이던스의 위치를 사용자의 외부 입력에 따라 변경시킬 수 있다.
추가적인 실시예
실시예 1. 대상에 삽입되는 안내 제공 장치로서 다음을 포함하는 안내 제공 장치:
* 대상에 삽입될 수 있는 가이드 튜브
* 가이드 튜브 내에서 이동 가능한 와이어
* 와이어를 이동시키는 구동 유닛
* 대상 내의 물체의 크기를 결정하는 프로세서
실시예 2. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 와이어는 가이드 튜브의 종축을 따라 이동 가능하다.
실시예 3. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 구동 유닛은 와이어의 끝 부분에 결합되어 있다.
실시예 4. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에는 가이드 튜브 외부에 노출된 의료 도구와 가이드 튜브 끝에서 이미지를 캡처하는 카메라가 추가로 포함되어 있다.
실시예 5. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 프로세서는 의료 도구와 가이드 튜브 끝 간의 추정 거리에 기초하여 객체의 크기를 결정한다.
실시예 6. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 가이드 튜브는 미리 정해진 크기를 갖는다.
실시예 7. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에는 마스터 장치가 추가되어 있으며, 카메라가 촬영한 의료 영상 위에 그래픽 표현을 겹쳐 표시한다.
실시예 8. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 프로세서는 구동 유닛의 엔코더 정보로부터 의료 도구와 가이드 튜브 끝 간의 추정 거리를 추정하고, 이미지 기반 거리와 엔코더 기반 거리에 따라 추정 거리를 결정한다.
실시예 9. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 의료 도구는 샤프트 영역과 샤프트를 포함하는 바스켓이며, 프로세서는 촬영된 의료 영상으로부터 바스켓 샤프트의 기하학적 정보를 추정하고, 기계 학습 모델에 기초하여 추정된 기하학적 정보로부터 이미지 기반 거리를 추론한다.
실시예 10. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 샤프트의 기하학적 정보는 바스켓 샤프트의 샤프트 영역이 의료 영상에서 차지하는 면적, 샤프트 끝에 해당하는 추정된 원의 직경, 샤프트 끝에서 의료 영상의 경계까지의 추정된 원의 반지름, 샤프트 끝으로부터 의료 영상의 중심까지의 길이, 그리고 샤프트의 기울기 중 적어도 하나를 포함한다.
실시예 11. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 프로세서는 의료 영상을 다른 기계 학습 모델에 입력함으로써 이미지 기반 거리를 추론한다.
실시예 12. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 프로세서는 이미지 기반 거리와 엔코더 기반 거리에 따라 추정 거리를 계산하기 위해 편향 보상 값을 적용하고, 이때 편향 보상 값은 엔코더 기반 거리에 따라 결정된다.
실시예 13. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 편향 보상 값은 추정 거리 계산을 시작한 이후 시간이 지남에 따라 수렴하는 값을 가진다.
실시예 14. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 프로세서는 추정 거리가 증가함에 따라 안내 그래픽 표현의 크기를 축소하고, 추정 거리가 감소함에 따라 안내 그래픽 표현의 크기를 증가시킨다.
실시예 15. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 의료 도구는 레이저 파이버이다.
실시예 16. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 의료 도구가 레이저 파이버인 경우, 프로세서는 레이저 파이버가 물체와 접촉하는 순간을 감지한다.
실시예 17. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 의료 도구가 레이저 파이버인 경우, 프로세서는 레이저 파이버의 끝이 물체와 접촉하는 시점에 대한 대상 이미지를 캡처하고 저장한다.
실시예 18. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 의료 도구가 레이저 파이버이고, 의료 영상을 마스터 장치의 디스플레이로 출력하는 동시에 대상 이미지도 함께 출력한다.
실시예 19. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 사용자로부터 대상 이미지에서 한 점을 선택하는 입력을 받으면, 프로세서는 선택된 점을 기반으로 대상 이미지에 안내 그래픽 표현을 출력한다.
실시예 20. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 대상 이미지에서 결여 영역을 감지하고, 감지된 결여 영역의 기준점을 기반으로 대상 이미지에 안내 그래픽 표현을 출력한다.
실시예 21. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 안내 그래픽 표현은 원, 타원, 정사각형, 다각형 또는 닫힌 곡선으로 이루어진 모양이다.
실시예 22. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 안내 그래픽 표현의 크기는 의료 도구의 바스켓의 씌움 크기를 기준으로 정의된다.
실시예 23. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 안내 그래픽 표현의 경계는 두껍게 되어 있으며, 추정 거리의 신뢰성이 시간이 지남에 따라 증가하므로 안내 그래픽 표현의 경계의 두께가 감소한다.
실시예 24. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 프로세서는 다음 작업을 수행한다:
* 가이드 튜브가 요관에 삽입된 상태에서 의료 도구가 있는 가이드 튜브의 끝에서 촬영된 의료 영상을 얻는다.
* 촬영된 의료 영상으로부터 의료 도구와 가이드 튜브 끝 간의 이미지 기반 거리를 추론한다.
* 가이드 튜브 내의 와이어 이동을 위한 구동 유닛의 엔코더 정보를 획득한다.
* 엔코더 정보로부터 의료 도구와 가이드 튜브 끝 간의 엔코더 기반 거리를 추정한다.
* 이미지 기반 거리와 엔코더 기반 거리에 따라 의료 도구와 가이드 튜브 끝 간의 추정 거리를 결정한다.
* 추정 거리에 기반하여 크기가 결정된 안내 그래픽 표현을 의료 영상 위에 겹쳐 표시한다.
실시예 25. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 의료 장치에 이미지가 겹쳐 표시된 후 사용자의 입력을 감지하는 기능이 있다.
실시예 26. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 장치에서, 사용자의 입력에 대응하여 의료 영상 상의 안내의 위치를 변경한다.
실시예 27. 상기 선행 실시예 중 어느 것에도 해당되는 안내 제공 시스템을 수술 시에 사용한다.
실시예 28. 다음을 포함하는 안내 제공 시스템:
* 신호를 제공하는 마스터 장치
* 대상에 삽입되는 안내 제공 장치 마스터 장치로부터의 신호에 응답하여 안내 제공 장치는 대상 내의 객체의 크기를 결정한다.
실시예 29. 실시예 28의 안내 제공 시스템에서, 안내 제공 장치는 다음을 포함한다:
* 대상에 삽입될 수 있는 가이드 튜브
* 가이드 튜브 내에서 이동 가능한 와이어
* 와이어를 이동시키는 구동 유닛
* 객체의 크기를 결정하기 위한 프로세서
실시예 30. 실시예 28 또는 29의 안내 제공 시스템에서, 와이어는 가이드 튜브의 종축을 따라 가이드 튜브 내에서 이동 가능하다.
실시예 31. 실시예 28-30 중 어느 것에도 해당되는 안내 제공 시스템에서, 구동 유닛은 와이어의 끝 부분에 결합되어 있다.
실시예 32. 실시예 28-31 중 어느 것에도 해당되는 안내 제공 시스템에서, 안내 제공 장치는 가이드 튜브 외부에 노출된 의료 도구와 가이드 튜브의 끝에서 이미지를 캡처하는 카메라를 포함한다.
실시예 33. 실시예 28-32 중 어느 것에도 해당되는 안내 제공 시스템에서, 프로세서는 의료 도구와 가이드 튜브 끝 간의 추정 거리에 기반하여 객체의 크기를 결정한다.
실시예 34. 실시예 28-33 중 어느 것에도 해당되는 안내 제공 시스템에서, 가이드 튜브는 미리 정의된 크기를 가진다.
실시예 35. 실시예 28-34 중 어느 것에도 해당되는 안내 제공 시스템에서, 카메라에 의해 촬영된 의료 영상 위에 그래픽 표현을 겹쳐 표시하는 마스터 장치가 포함된다.
실시예 36. 실시예 28-35 중 어느 것에도 해당되는 안내 제공 시스템에서, 프로세서는 와이어 구동 유닛의 엔코더 정보로부터 의료 도구와 가이드 튜브 끝 간의 엔코더 기반 거리를 추정하고, 이미지 기반 거리와 엔코더 기반 거리에 따라 추정 거리를 결정한다.
실시예 37. 실시예 28-36 중 어느 것에도 해당되는 안내 제공 시스템에서, 의료 도구는 바스켓으로 이루어진 바구니이고, 프로세서는 촬영된 의료 영상으로부터 바구니의 축에 대한 기하학적 정보를 추정하고, 기계 학습 모델에 기반하여 추정된 기하학적 정보로부터 이미지 기반 거리를 추론한다.
실시예 38. 실시예 28-37 중 어느 것에도 해당되는 안내 제공 시스템에서, 바구니의 축에 대한 기하학적 정보는 다음 중 하나 이상을 포함한다: 바구니의 축 영역이 적재된 면적, 끝에 해당하는 추정 원의 지름, 끝에 해당하는 추정 원의 반지름, 끝에서 경계까지의 길이, 의료 영상의 중심부터 축의 끝까지의 길이, 그리고 축의 경사.
실시예 39. 실시예 28-38 중 어느 것에도 해당되는 안내 제공 시스템에서, 프로세서는 의료 영상을 다른 기계 학습 모델에 입력함으로써 이미지 기반 거리를 추론한다.
실시예 40. 실시예 28-39 중 어느 것에도 해당되는 안내 제공 시스템에서, 프로세서는 바이어스 보상 값을 적용하여 추정 거리를 결정하며, 바이어스 보상 값은 이미지 기반 거리와 엔코더 기반 거리에 대한 엔코더 기반 거리를 기반으로 결정된다.
실시예 41. 실시예 28-40 중 어느 것에도 해당되는 안내 제공 시스템에서, 바이어스 보상 값은 추정 거리 계산을 시작한 후 시간이 지나면 수렴하는 값을 갖는다.
실시예 42. 실시예 28-41 중 어느 것에도 해당되는 안내 제공 시스템에서, 프로세서는 추정 거리가 증가함에 따라 안내 그래픽 표현의 크기를 축소하고, 추정 거리가 감소함에 따라 안내 그래픽 표현의 크기를 증가시킨다.
실시예 43. 실시예 28-42 중 어느 것에도 해당되는 안내 제공 시스템에서, 의료 도구는 레이저 파이버이다.
실시예 44. 실시예 28-43 중 어느 것에도 해당되는 안내 제공 시스템에서, 의료 도구가 레이저 파이버인 경우, 프로세서는 레이저 파이버가 물체와 접촉하는 순간을 감지한다.
실시예 45. 실시예 28-44 중 어느 것에도 해당되는 안내 제공 시스템에서, 의료 도구가 레이저 파이버인 경우, 프로세서는 레이저 파이버의 끝이 물체와 접촉하는 시점에 대한 대상 이미지를 캡처하고 저장한다.
실시예 46. 실시예 28-45 중 어느 것에도 해당되는 안내 제공 시스템에서, 의료 도구가 레이저 파이버인 경우, 의료 영상을 마스터 장치의 디스플레이로 출력하는 동시에 대상 이미지도 함께 출력한다.
실시예 47. 실시예 28-46 중 어느 것에도 해당되는 안내 제공 시스템에서, 사용자로부터 대상 이미지에서 한 점을 선택하는 입력을 받으면, 프로세서는 선택된 점을 기반으로 대상 이미지에 안내 그래픽 표현을 출력한다.
실시예 48. 실시예 28-47 중 어느 것에도 해당되는 안내 제공 시스템에서, 대상 이미지에서 결여 영역을 감지하고, 감지된 결여 영역의 기준점을 기반으로 대상 이미지에 안내 그래픽 표현을 출력한다.
실시예 49. 실시예 28-48 중 어느 것에도 해당되는 안내 제공 시스템에서, 안내 그래픽 표현은 원, 타원, 정사각형, 다각형 또는 닫힌 곡선으로 이루어진 모양이다.
실시예 50. 실시예 28-49 중 어느 것에도 해당되는 안내 제공 시스템에서, 안내 그래픽 표현의 크기는 의료 도구의 바스켓의 씌움 크기를 기준으로 정의된다.
실시예 51. 실시예 28-50 중 어느 것에도 해당되는 안내 제공 시스템에서, 안내 그래픽 표현의 경계는 두꺼운 선으로 그려지며, 추정 거리의 신뢰도가 시간이 지남에 따라 증가하므로 안내 그래픽 표현의 경계의 두께가 점점 줄어든다.
실시예 52. 실시예 28-51 중 어느 것에도 해당되는 안내 제공 시스템에서, 프로세서는 다음 작업을 수행한다:
* 가이드 튜브가 요관에 삽입된 상태에서 의료 도구가 있는 가이드 튜브의 끝에서 촬영된 의료 영상을 얻는다.
* 촬영된 의료 영상으로부터 의료 도구와 가이드 튜브 끝 간의 이미지 기반 거리를 추론한다.
* 가이드 튜브 내의 와이어 이동을 위한 구동 유닛의 엔코더 정보를 획득한다.
* 엔코더 정보로부터 의료 도구와 가이드 튜브 끝 간의 엔코더 기반 거리를 추정한다.
* 이미지 기반 거리와 엔코더 기반 거리에 따라 의료 도구와 가이드 튜브 끝 간의 추정 거리를 결정한다.
* 추정 거리에 기반하여 크기가 결정된 안내 그래픽 표현을 의료 영상 위에 겹쳐 표시한다.
실시예 53. 실시예 28-52 중 어느 것에도 해당되는 안내 제공 시스템에서, 이미지 위에 겹쳐진 안내 표시를 수동으로 제어하는 입력 장치가 마스터 장치에 포함되어 있다.
실시예 54. 실시예 28-53 중 어느 것에도 해당되는 안내 제공 시스템에서, 사용자는 입력 장치를 사용하여 이미지 위의 안내 표시의 위치를 조정할 수 있다.
실시예 55. 실시예 28-54 중 어느 것에도 해당되는 안내 제공 시스템에서, 수술 중 안내를 제공하는 데에 사용된다.
이러한 실시예들은 의료 분야에서 안내 제공 장치 및 시스템의 구현을 설명하는 것이며, 의료 절차의 정확성과 효율성을 향상시키는 데 도움이 될 수 있습니다. 이는 대상 조작을 지원하고, 안전성을 높이며, 의료 전문가의 작업을 보조하는 데 사용될 수 있습니다.
예시 56: 수술 내비게이션 시스템에서, 안내 장치에는 수술 도구의 위치와 움직임에 기반한 촉각 피드백 기능이 포함되어 있습니다. 이를 통해 사용자는 촉각적인 감각을 받아들이며 수술을 수행할 수 있습니다.
예시 57: 내시경 안내 시스템에서는 추적 센서가 내시경에 부착되어 체내에서의 위치와 방향을 모니터링합니다. 시스템은 실시간 시각적 피드백을 제공하여 외과 의사가 내시경을 탐색하고 특정 부위를 목표로 정확히 조작할 수 있도록 도움을 줍니다.
예시 58: 로봇 수술 시스템에는 사전 수술 영상 데이터를 사용하여 환자의 해부학적 모델을 가상으로 생성하는 안내 모듈이 포함됩니다. 이를 통해 외과 의사는 수술 전에 가상 환경에서 정밀한 계획을 수립하고 수술 도구를 조작할 수 있습니다.
예시 59: 자율 주행 외과로봇 시스템은 AI 알고리즘과 센서를 통해 환자의 생체 신호와 수술 도구의 움직임을 실시간으로 분석합니다. 이를 통해 로봇은 안전하고 정확한 수술을 수행하며, 외과 의사는 시스템에 의한 자동화된 지원을 받을 수 있습니다.
예시 60: 혁신적인 의료 영상 안내 시스템은 CT 스캔이나 자기공명영상 (MRI) 등의 영상을 실시간으로 처리하여 해부학적 정보를 추출합니다. 이 정보를 기반으로 시스템은 외과 의사에게 정확한 위치 안내를 제공하고, 수술 중에 실시간으로 업데이트된 영상을 제공합니다.
예시 61: 초음파 안내 시스템은 초음파 센서와 영상 처리 기술을 사용하여 내장기관의 실시간 영상을 생성합니다. 이를 통해 외과 의사는 수술 중에 정확한 위치를 파악하고 조작할 수 있으며, 안전하고 정밀한 수술을 수행할 수 있습니다.
예시 62: 가상현실(VR)을 활용한 수술 안내 시스템은 환자의 해부학적 모델을 가상으로 재현하여 외과 의사가 수술을 시뮬레이션하고 연습할 수 있게 도와줍니다. 이를 통해 외과 의사는 실제 수술 이전에 정확한 계획을 세울 수 있으며, 수술의 안전성과 효율성을 향상시킬 수 있습니다.
이러한 다양한 방법들은 수술 시 안내를 제공하고 외과 의사의 작업을 지원하는데 활용될 수 있습니다. 각 시스템은 고유한 기능과 장점을 가지고 있으며, 의료 현장에서의 다양한 상황과 요구에 맞게 개발되고 적용될 수 있습니다.
예시 63: 실시간 수술 안내 시스템은 카메라와 영상 처리 기술을 사용하여 외과 의사가 수술 중에 실시간으로 영상을 확인하고 조작할 수 있도록 지원합니다. 이를 통해 의사는 수술 과정을 더욱 정확하게 파악하고 필요한 조작을 신속하게 수행할 수 있습니다.
예시 64: 로봇 보조 외과 시스템은 로봇 팔과 도구를 이용하여 외과 의사의 조작을 보조합니다. 로봇 팔은 정밀하고 안정적인 동작을 수행하며, 의사의 조작을 더욱 정확하게 전달할 수 있습니다. 이를 통해 수술의 정밀성과 안전성을 높일 수 있습니다.
예시 65: 현미경 시스템은 작고 정밀한 현미경을 이용하여 수술 과정을 관찰하고 조작할 수 있도록 지원합니다. 이를 통해 외과 의사는 미세한 조작이 요구되는 수술에서도 정확하고 안전한 작업을 수행할 수 있습니다.
예시 66: 신경망을 활용한 수술 안내 시스템은 신경망 알고리즘을 이용하여 수술 도구의 움직임을 예측하고 안내합니다. 이를 통해 외과 의사는 수술 도구의 다음 동작을 예상하고 조작을 최적화할 수 있습니다.
예시 67: 실시간 위치 추적 시스템은 센서와 위치 추적 기술을 활용하여 수술 도구의 위치를 실시간으로 추적하고 안내합니다. 이를 통해 외과 의사는 수술 중에 정확한 위치 정보를 얻을 수 있으며, 안전하고 정밀한 조작을 수행할 수 있습니다.
예시 68: 자동화된 수술 안내 시스템은 AI 알고리즘과 로봇 기술을 결합하여 수술 과정을 자동화하고 안내합니다. 이를 통해 의사는 수술 도구의 자동 조작을 통해 정확하고 일관된 결과를 얻을 수 있으며, 수술 시간과 비용을 절감할 수 있습니다.
예시 69: 수술 로봇 시스템은 로봇 팔과 센서를 이용하여 외과 의사가 원격에서 수술을 수행할 수 있도록 지원합니다. 이를 통해 지리적 제한을 극복하고 전문적인 의료 서비스를 제공할 수 있습니다.
예시 70: 현대 의료 기술의 발전과 함께 수술 안내 시스템은 계속해서 진보하고 발전하고 있습니다. 향후에는 더욱 정확하고 신속한 안내 시스템이 개발될 것으로 기대됩니다.
예시 71: 수술 안내 시스템의 적용은 수술의 정밀성과 안전성을 향상시킬 뿐만 아니라 의료진의 업무 효율성을 증대시킵니다. 이는 환자의 치료 효과와 안락도를 향상시킬 수 있는 긍정적인 영향을 미칩니다.
예시 72: 수술 안내 시스템은 의료 현장에서의 협업과 지식 공유를 촉진합니다. 의료진들은 시스템을 통해 최신 기술과 정보를 공유하고, 협력하여 보다 효과적인 치료 방법을 개발하고 적용할 수 있습니다.
예시 73: 수술 안내 시스템은 의료 기술의 혁신과 함께 환자 중심의 의료 서비스를 제공하는 데 기여합니다. 이를 통해 환자들은 보다 정확하고 안전한 수술을 받을 수 있으며, 회복 기간을 최소화할 수 있습니다.
예시 74: 수술 안내 시스템은 의료 분야의 미래를 대표하는 기술 중 하나로 인정받고 있습니다. 지속적인 연구와 개발을 통해 더욱 발전된 시스템이 개발되어 의료 현장에 보다 큰 혁신과 진보를 가져올 것으로 기대됩니다.
예시 75: 혁신적인 수술 안내 시스템의 적용은 의료 기술의 한계를 넘어선다는 의미를 가지고 있습니다. 이를 통해 의료진과 환자들은 더 나은 의료 서비스를 받을 수 있으며, 의료 혁신의 중요한 동력이 될 것입니다.
예시 76: 수술 안내 시스템은 의료 기술의 미래에 대한 흥미로운 전망을 제시합니다. 실시간 영상 처리, 인공지능, 로봇 공학 등의 기술과의 융합을 통해 의료 분야에서 더욱 진보된 안내 시스템이 개발될 것으로 기대됩니다.
예시 77: 현재까지 소개한 다양한 수술 안내 시스템과 방법들은 의료 분야의 연구 및 개발에서 주요한 관심사 중 하나입니다. 앞으로도 의료 기술의 발전과 함께 더욱 다양하고 혁신적인 수술 안내 시스템이 등장할 것으로 기대됩니다.
예시 78: 수술 안내 시스템의 적용은 환자의 안전과 건강을 최우선으로 고려하는 의료 분야에서 중요한 역할을 수행합니다. 기술의 발전과 의료진의 노력에 따라 수술 안내 시스템은 계속해서 진보하고 발전할 것입니다.
예시 79: 수술 안내 시스템은 의료 기술의 발전과 함께 의료 비용을 절감하고 효율성을 향상시킬 수 있는 중요한 도구로 인정받고 있습니다. 이는 환자들이 보다 저렴하고 효과적인 의료 서비스를 받을 수 있도록 도와줍니다.
예시 80: 수술 안내 시스템은 의료 분야의 디지털화와 혁신을 대표하는 기술 중 하나입니다. 의료 기술의 발전과 함께 더욱 정확하고 효율적인 수술 안내 시스템이 개발되어 의료 현장에 큰 도움을 줄 것으로 기대됩니다.
예시 81: 수술 안내 시스템은 의료 직업의 질을 향상시키는 데 큰 역할을 수행합니다. 의료진들은 이러한 시스템을 활용하여 정확한 수술을 수행하고, 환자의 건강과 안전을 보호할 수 있습니다.
예시 82: 수술 안내 시스템은 의료 분야에서의 연구와 혁신을 장려하고 지원합니다. 의료 기술의 발전에 기여하는 이러한 시스템은 의료진과 환자들에게 혁신적인 의료 서비스를 제공할 수 있습니다.
예시 83: 수술 안내 시스템의 적용은 의료 분야에서의 차세대 의료 서비스의 일환으로 주목받고 있습니다. 혁신적인 기술과 의료의 융합을 통해 보다 정확하고 개인화된 의료 서비스를 제공할 수 있으며, 환자의 치료 결과와 만족도를 높일 수 있습니다.
다양한 수술 안내 시스템과 방법들은 의료 분야에서의 수술 작업을 보다 정확하고 안전하게 지원하고 개선하는 데에 기여할 수 있습니다. 의료 기술의 발전과 연구를 통해 더욱 진보된 시스템이 개발될 것으로 기대됩니다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 저장될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 결석 제거를 위한 가이던스 제공 시스템에 있어서,
    결석 제거를 위한 요관 내로 삽입가능한 가이드튜브, 상기 가이드튜브의 내부에서 상기 가이드튜브의 길이 축을 따라 이동가능한 와이어, 상기 와이어를 이동시키는 구동부, 상기 와이어의 단부(distal end portion)에 연결되어 상기 가이드튜브의 외부로 노출되는 의료 도구(medical tool), 및 상기 가이드튜브의 단부에서 의료 영상을 촬영하는 카메라를 포함하는 슬레이브 장치(slave device); 및
    상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 추정 거리에 기초하여 바스켓(basket) 또는 레이저 파이버에 의해 추출이 가능한 또는 파괴가 필요한 결석 크기를 지시하는 가이던스 그래픽 표현(guidance graphic representation)의 크기를 결정하는 프로세서, 상기 결정된 크기를 갖는 상기 가이던스 그래픽 표현을 상기 슬레이브 장치로부터 수신된 상기 카메라에 의해 촬영된 상기 의료 영상 상에 오버레이하여 표시하는 마스터 장치(master device)
    를 포함하는 가이던스 제공 시스템.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영된 의료 영상으로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 영상 기반 거리를 추론하고,
    상기 구동부의 엔코더 정보로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 엔코더 기반 거리를 추정하며,
    상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 상기 추정 거리를 결정하는,
    가이던스 제공 시스템.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 의료 도구가 바스켓인 경우, 상기 촬영된 의료 영상으로부터 상기 바스켓의 샤프트 영역으로부터 샤프트의 기하 정보를 추정하고,
    기계 학습 모델에 기초하여 상기 추정된 기하 정보로부터 상기 영상 기반 거리를 추론하는,
    가이던스 제공 시스템.
  4. 제3항에 있어서,
    상기 샤프트의 기하 정보는,
    상기 의료 영상에서 상기 바스켓의 샤프트 영역이 차지하는 넓이, 상기 샤프트의 단부에 대응하는 추정원의 지름, 상기 샤프트의 단부에 대응하는 추정원의 반지름, 상기 의료 영상의 경계로부터 상기 샤프트의 단부까지의 길이, 상기 의료 영상의 중심으로부터 상기 샤프트의 단부까지의 길이, 또는 상기 샤프트의 기울기 중 적어도 하나를 포함하는,
    가이던스 제공 시스템.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 의료 영상을 다른 기계학습 모델에 입력함으로써 상기 영상 기반 거리를 추론하는,
    가이던스 제공 시스템.
  6. 제2항에 있어서,
    상기 프로세서는,
    상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 결정된 바이어스 보상 값을 상기 엔코더 기반 거리에 적용함으로써 상기 추정 거리를 결정하는,
    가이던스 제공 시스템.
  7. 제6항에 있어서,
    상기 바이어스 보상 값은,
    상기 추정 거리의 계산을 개시한 후 시간이 경과함에 따라 수렴하는 값을 가지는,
    가이던스 제공 시스템.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 추정 거리가 증가하면 상기 가이던스 그래픽 표현의 상기 크기를 감소시키고,
    상기 추정 거리가 감소하면 상기 가이던스 그래픽 표현의 상기 크기를 증가시키는,
    가이던스 제공 시스템.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 의료 도구가 레이저 파이버인 경우, 상기 레이저 파이버의 단부가 결석에 접촉하는 순간을 감지하고,
    상기 레이저 파이버의 단부가 결석에 접촉하는 시점의 타겟 영상을 캡쳐하여 저장하며,
    상기 의료 영상을 상기 마스터 장치의 디스플레이에 출력하면서, 상기 타겟 영상도 함께 출력하는,
    가이던스 제공 시스템.
  10. 제9항에 있어서,
    상기 프로세서는,
    사용자로부터 상기 타겟 영상 중 지점을 선택하는 입력을 수신하는 것에 응답하여, 상기 선택된 지점을 기준으로 상기 가이던스 그래픽 표현을 상기 타겟 영상 상에 출력하는,
    가이던스 제공 시스템.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 타겟 영상에서 결석 영역을 검출하고, 상기 검출된 결석 영역 내 기준점을 기준으로 상기 가이던스 그래픽 표현을 상기 타겟 영상 상에 출력하는,
    가이던스 제공 시스템.
  12. 제1항에 있어서,
    상기 가이던스 그래픽 표현은,
    원형, 타원형, 사각형, 다각형, 또는 폐곡선 도형 중 하나로 표현되는,
    가이던스 제공 시스템.
  13. 제1항에 있어서,
    상기 가이던스 그래픽 표현의 상기 크기는,
    상기 의료 도구 중 바스켓의 시스(sheath)의 크기에 기초하여 정의되는,
    가이던스 제공 시스템.
  14. 제1항에 있어서,
    상기 가이던스 그래픽 표현의 경계는 두께를 가지고,
    상기 프로세서는,
    시간 경과에 따라 상기 추정 거리의 신뢰도가 증가하면 상기 가이던스 그래픽 표현의 경계의 두께를 감소시키는,
    가이던스 제공 시스템.
  15. 프로세서에 의해 가이던스(guidance)를 제공하는 방법에 있어서,
    요관 내부로 삽입된 가이드튜브의 단부에서 의료 도구가 포함되어 촬영되는 의료 영상을 획득하는 단계;
    상기 촬영된 의료 영상으로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 영상 기반 거리를 추론하는 단계;
    상기 가이드튜브의 내부에서 와이어를 이동시키는 구동부의 엔코더의 정보를 획득하는 단계;
    상기 엔코더의 정보로부터 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 엔코더 기반 거리를 추정하는 단계;
    상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 추정 거리를 결정하는 단계; 및
    상기 추정 거리에 기초하여 결정된 크기의 가이던스 그래픽 표현을 상기 의료 영상 상에 오버레이하여 표시하는 단계
    를 포함하는 가이던스 제공 방법.
  16. 제15항에 있어서,
    상기 영상 기반 거리를 추론하는 단계는,
    상기 의료 도구가 바스켓인 경우 또는 레이저 파이버인 경우, 상기 촬영된 의료 영상으로부터 상기 의료도구의 샤프트 영역으로부터 샤프트의 기하 정보를 추정하는 단계; 및
    기계 학습 모델에 기초하여 상기 추정된 기하 정보로부터 상기 영상 기반 거리를 추론하는 단계
    를 포함하는 가이던스 제공 방법.
  17. 제15항에 있어서,
    상기 추정 거리를 결정하는 단계는,
    상기 영상 기반 거리 및 상기 엔코더 기반 거리에 기초하여 결정된 바이어스 보상 값을 상기 엔코더 기반 거리에 적용함으로써 상기 추정 거리를 결정하는 단계
    를 포함하고,
    상기 바이어스 보상 값은,
    상기 추정 거리의 계산을 개시한 후 시간이 경과함에 따라 수렴하는 값을 가지는,
    가이던스 제공 방법.
  18. 제15항에 있어서,
    상기 의료 영상 상에 오버레이하여 표시하는 단계는,
    상기 의료 도구 및 상기 가이드튜브 단부의 카메라 간의 변화하는 추정 거리에 기초하여 상기 가이던스 그래픽 표현의 크기를 조절하는 단계
    를 더 포함하고,
    상기 가이던스 그래픽 표현의 크기는,
    상기 추정 거리가 증가하면 감소되고 상기 추정 거리가 감소하면 증가되는,
    가이던스 제공 방법.
  19. 제15항에 있어서,
    요관 내부로 삽입된 가이드튜브의 단부에서 의료 도구가 포함되어 상기 의료 영상 상에 상기 가이던스의 위치를 상기 사용자의 외부 입력에 따라 변경시키는 단계
    를 더 포함하는 가이던스 제공 방법.
  20. 제1항의 가이던스 제공 시스템을 사용함에 있어서
    의료도구 즉 바스켓(basket) 또는 레이저 파이버 거리에 따라서 가이던스 원을 띄워만 주고 사용자가 연속적으로 돌에 접촉하면서 크기를 비교하는 것을 포함하는 사용방법
PCT/KR2023/010044 2022-07-13 2023-07-13 결석 제거를 위한 가이던스 제공 시스템 및 방법 WO2024014906A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220086608 2022-07-13
KR10-2022-0086608 2022-07-13
KR10-2023-0091218 2023-07-13
KR1020230091218A KR20240009905A (ko) 2022-07-13 2023-07-13 결석 제거를 위한 가이던스 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2024014906A1 true WO2024014906A1 (ko) 2024-01-18

Family

ID=89537111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010044 WO2024014906A1 (ko) 2022-07-13 2023-07-13 결석 제거를 위한 가이던스 제공 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2024014906A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011500164A (ja) * 2007-10-12 2011-01-06 ガイネソニックス， インコーポレイテッド 組織内における針の制御された展開のための方法およびシステム
KR102209086B1 (ko) * 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체
KR20210066560A (ko) * 2019-11-28 2021-06-07 주식회사 이지엔도서지컬 결석 제거장치 및 결석 크기 측정방법
KR20210069542A (ko) * 2019-12-03 2021-06-11 숭실대학교산학협력단 가상의 수술 도구를 이용하는 수술 보조 시스템 및 방법
KR20210101640A (ko) * 2020-02-10 2021-08-19 울산대학교 산학협력단 혈관 내 의료 도구 삽입 장치를 위한 가이드 데이터 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011500164A (ja) * 2007-10-12 2011-01-06 ガイネソニックス， インコーポレイテッド 組織内における針の制御された展開のための方法およびシステム
KR20210066560A (ko) * 2019-11-28 2021-06-07 주식회사 이지엔도서지컬 결석 제거장치 및 결석 크기 측정방법
KR20210069542A (ko) * 2019-12-03 2021-06-11 숭실대학교산학협력단 가상의 수술 도구를 이용하는 수술 보조 시스템 및 방법
KR20210101640A (ko) * 2020-02-10 2021-08-19 울산대학교 산학협력단 혈관 내 의료 도구 삽입 장치를 위한 가이드 데이터 제공 방법 및 장치
KR102209086B1 (ko) * 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체

Similar Documents

Publication Publication Date Title
US11911011B2 (en) Endolumenal object sizing
EP3756607B1 (en) Autonomous endoscopic system
CN108348134B (zh) 内窥镜系统
JP2019503766A (ja) 手術ロボットの制御のためのシステム、制御ユニット、及び方法
JP2008194302A (ja) 処置具の位置制御を行う内視鏡システム及びその位置制御方法
JP5084139B2 (ja) 内視鏡装置
KR20140126301A (ko) 오퍼레이터 작용을 구별하는 방식을 이용하는 로봇 시스템 작동 모드의 사용자 선택
WO2007145327A1 (ja) 遠隔操作システム
WO2004010857A1 (ja) 内視鏡装置
CN107072648A (zh) 具有不同柔性的导引器和工具的系统
JP2015107249A (ja) 内視鏡の制御方法及び内視鏡システム
WO2018225132A1 (ja) 医療システムおよび医療システムの作動方法
US20230148847A1 (en) Information processing system, medical system and cannulation method
WO2024014906A1 (ko) 결석 제거를 위한 가이던스 제공 시스템 및 방법
CN115996662A (zh) 控制装置、内窥镜系统以及控制方法
JP2005046200A (ja) 内視鏡下手術システム
JP4382894B2 (ja) 視野移動内視鏡システム
US20240216091A1 (en) Robot system
JP4445598B2 (ja) 内視鏡カメラ視野制御システム
KR20240009905A (ko) 결석 제거를 위한 가이던스 제공 시스템 및 방법
JP6150968B1 (ja) 内視鏡システム
Nishikawa et al. A laparoscope positioning system with the surgeon's face image-based human–machine interface
US20220061868A1 (en) Autonomous endoscopic system and control method therefor
WO2022230827A1 (ja) ロボットシステム
JP6857748B2 (ja) 医療システムおよび医療システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839997

Country of ref document: EP

Kind code of ref document: A1