WO2021111015A1 - Sistema de seguimiento de un escenario clínico - Google Patents

Sistema de seguimiento de un escenario clínico Download PDF

Info

Publication number
WO2021111015A1
WO2021111015A1 PCT/ES2019/070825 ES2019070825W WO2021111015A1 WO 2021111015 A1 WO2021111015 A1 WO 2021111015A1 ES 2019070825 W ES2019070825 W ES 2019070825W WO 2021111015 A1 WO2021111015 A1 WO 2021111015A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
interest
control module
image
region
Prior art date
Application number
PCT/ES2019/070825
Other languages
English (en)
French (fr)
Inventor
Noé ORTEGA QUIJANO
Oliver RUBIO ZAMORA
Álvaro GARCÍA MARTÍNEZ
Javier LAGUARDIA ARRAIZA
Original Assignee
Deneb Medical, S.L.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deneb Medical, S.L. filed Critical Deneb Medical, S.L.
Priority to PCT/ES2019/070825 priority Critical patent/WO2021111015A1/es
Priority to US17/782,874 priority patent/US20230030273A1/en
Publication of WO2021111015A1 publication Critical patent/WO2021111015A1/es

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Definitions

  • the present invention is directed to a system for monitoring a non-static clinical scenario, preferably a surgical field, so that different elements of interest can be located throughout the clinical event; in particular, the aim is to monitor highly precise and distinguish critical biological tissues, such as nerves or blood vessels.
  • Detection and imaging techniques for the distinction of biological tissues are of enormous interest in the clinical field, since they allow to reveal the presence of critical structures, such as nerves, blood vessels, glands or tumors present in said biological tissue. Thanks to this, the application possibilities for diagnosis, surgery and treatment are numerous.
  • the information related to the distinction of a tissue must be updated throughout the clinical event; that is, once an initial measure of distinction is available, This will have to vary according to the movements of the clinical scenario over time.
  • This information we will be able to know, for example, if a nerve distinguished by the system that was in an initial position has moved to a different position after the movement of the clinical scenario.
  • This information is of great relevance, on the one hand, for the positioning of the tissue distinction system itself and, on the other, because it serves as support information for the clinical staff or the robotic system in charge of the intervention, in case it required.
  • object tracking algorithms widely known in the field of artificial vision or computer vision, are crucial. These algorithms allow, by analyzing a set of images, to recognize and follow objects in said images by measuring the variations in the position of the object (in general, translations and rotations) between consecutive images.
  • the current application of tracking algorithms to clinical scenarios is typically based on RGB images acquired by one or more cameras. Starting from the totality of the image, the tracking algorithm first makes a selection of characteristic points of the image.
  • the characteristic points chosen play the role of reference points that must be located, totally or partially, in subsequent images in order to infer the movement of the object with respect to the measurement system and thus monitor the clinical scenario.
  • Tracking feature points preferably assumes that the object is a rigid solid and that therefore the entire network of points undergoes the same rotations and translations.
  • the characteristic points are chosen without knowing anything about the type of tissues present in the images, that is, any of the elements displayed in the images are monitored without taking into account which structures are of greatest interest.
  • the critical structures it is usual for the critical structures to constitute a small subregion within the entire image and it is in these structures where it would be interesting to maximize the precision of the tracking.
  • the drawback is that the tracking methods are valid for non-deformable hard tissues and / or structures, such as bone, but they make mistakes when tracking soft tissues.
  • monitoring methods designed specifically for deformable tissues these require a considerable increase in the number of characteristic points in the image to be able to model as accurately as possible the way in which the tissue deformation occurs, which entails computational times. unaffordable in clinical applications under realistic conditions.
  • the following invention proposes a solution to the above problems by means of a system for monitoring a non-static clinical scenario capable of achieving great precision in the monitoring of structures of special interest throughout the clinical event.
  • the present invention proposes a solution to the above problems by means of a monitoring system of a clinical scenario according to claim 1.
  • Preferred embodiments of the invention are defined in dependent claims.
  • a first inventive aspect provides a system for monitoring a clinical scenario comprising: a) a control module, with processing capacity; b) a vision unit, connected to the control module and controlled by said control module, adapted to capture images of a clinical scenario within its field of view, where the captured images provide information on orientation, shape and position of said clinical scenario; and where the control module and vision unit are configured to:
  • - capture by means of the vision unit, a plurality of follow-up images of the clinical scenario within the visualization field of the vision unit at different instants of time, where i is an index that indicates the time moment of capture of the ith tracking image captured;
  • control module o determining a plurality of initial characteristic reference points belonging to the clinical scenario and shown in the at least one initial tracking image, and establishing their position in space; or for each of the follow-up images, determine a plurality of characteristic reference points belonging to the clinical scenario, which correspond to characteristic reference points determined in the immediately previous follow-up image, and establish their position in space; or determining a transformation that relates the position of the characteristic reference points determined at time i with the position of the corresponding characteristic reference points determined at time i-1; and wherein the system is characterized in that the control module is additionally configured to receive or generate at least one region of interest when the captured tracking image is the at least one initial tracking image and to position the at least one initial tracking image in space. region of interest with respect to each tracking image and, because the tracking algorithm is configured such that the concentration of characteristic landmarks in the at least one region of interest is greater than the concentration of characteristic landmarks in the rest of the follow-up image.
  • clinical scenario is the set of elements or structures on which a clinical event such as surgery, diagnosis or treatment is carried out.
  • the clinical event is surgery and the clinical setting is a surgical field that includes biological tissues and possibly other types of elements present during said surgery; for example, surgical instruments, gauze and cottons, a robotic system in charge of the operation or the hands of the medical staff themselves.
  • Medical, clinical or health personnel is to be understood as any professional dedicated to medicine who can intervene in the surgical, diagnostic or treatment procedure; for example, surgeons, nurses, or assistants.
  • a clinical scenario in general, is not static but changes over time due to various factors, among others, the patient's breathing, the movements produced by the contact and pressure of medical personnel and instruments on the tissues, vibrations or spasms of the patient.
  • the system of the invention allows the elements of a clinical scenario to be tracked with great precision.
  • it has two elements: a control module and a vision unit.
  • the control module is to be understood as a set of computational means with data processing capacity; for example, a computer or a microcontroller.
  • the vision unit is to be understood as at least one visual component adapted to capture images; for example, one or more RGB cameras or a radiological medical imaging system.
  • the control module and vision unit are interconnected and work together to monitor the clinical scenario.
  • the control module sends instructions to the vision unit and receives data from it for processing.
  • the vision unit comprises a certain field of view or field of vision, understood as the area of the clinical scenario that the vision unit can capture.
  • the vision unit captures or acquires images within that part of the clinical setting that is visible or captureable by its field of view.
  • the vision unit captures at least one initial follow-up image of the clinical scenario to obtain information on the orientation, shape and position of the tissues and other elements comprised in said clinical scenario.
  • This at least one image will serve as a starting point to monitor the clinical scenario - of said tissues and other elements - over time by analyzing new monitoring images captured by the vision unit at different instants of time i -Ths.
  • the index i indicates the time in which the vision unit captures a different tracking image, without prejudice to the fact that this notation may be modified.
  • the control module receives the images captured by the vision unit to process them and carry out the monitoring of the clinical scenario.
  • the tracking algorithm will be understood as the set of mathematical, geometric or logical instructions or rules, executed by the control module, capable of recognizing visible objects in the tracking images and establishing a correspondence between them. In this way, the tracking algorithm can estimate the positions of the same object in two different tracking images and calculate the necessary transformation that would have to be applied to an image captured at a certain point in time to obtain the object positioned as presented in To another image captured in another instant of time.
  • object recognition is based on the determination of a plurality of characteristic reference points in the tracking images captured by the vision unit.
  • characteristic reference points - or simply reference points - easily distinguishable pixels or regions of pixels with respect to their environment have to be understood, for example:
  • regions of the image with high contrast with respect to their surroundings such as the presence of a tumor
  • regions of the image with high heterogeneity with respect to their environment such as the presence of a set of blood vessels in front of a homogeneous area such as the skin;
  • Characteristic landmarks that serve as a starting point for monitoring the clinical scenario are determined by the tracking algorithm on at least one initial follow-up image. Once these points have been determined, their position in the space is established, which will serve as a reference for the monitoring itself.
  • control module or vision unit makes use of a coordinate system in space where it establishes a correspondence between the points observed in the images captured by the unit of vision and points in said space.
  • the tracking algorithm determines the characteristic reference points in each of the i-th tracking images. These new reference points, a priori, correspond to the reference points captured in the previous instant of time - said previous instant of time may be the initial instant of time. Once the new reference points have been determined, the tracking algorithm establishes their position in space according to the preset coordinate system.
  • the tracking algorithm determines which transformation relates with greater precision - or less error - the positions of the new reference points of a tracking image with the reference points of the immediately preceding tracking image.
  • Said transformation preferably, is an affine transformation that will comprise at least one rotation and one displacement.
  • the tracking algorithm determines the characteristic reference points distributed throughout the tracking image so that there is a trade-off between tracking all the elements that appear in the tracking image - tissues and others. elements of the clinical setting - and the precision achieved in such follow-up.
  • the tracking algorithms capable of carrying out these functions are known.
  • control module is additionally configured to receive or to generate additional information that improves accuracy in tracking those parts of the clinical setting that are of greatest interest.
  • receiving the information means that it comes from an element other than the control module itself, while by generating the information it will be understood that it is the control module itself that produces said additional information.
  • the additional information comprises one or more regions of interest.
  • a region of interest is a sub-region of a follow-up image in which elements of the clinical scenario appear on which you want to get more accurate tracking. This or these regions of interest are positioned in space with respect to the tracking images by means of! control module.
  • control module does not receive or generate a region of interest, so a default region of interest is used corresponding to a subset of the entire vision unit.
  • the region of interest establishes a sub-domain of dimensions strictly smaller than the field of view of the vision unit.
  • the region (s) of interest comprise critical structures.
  • any of the elements present in the clinical setting will be understood as a structure and as a critical structure that which requires a follow-up with a high accuracy.
  • critical structures such as nerves or blood vessels to know their spatial position in quasi real time and, in this way, avoid the person! doctor or a robotic system in charge of the operation intervene or even section these critical structures.
  • the monitoring algorithm is additionally configured to focus the determination of characteristic reference points in the region (s) of interest so that, each time e!
  • the algorithm determines reference points in a follow-up image, the concentration of said reference points in the one or more regions of interest is greater than the concentration of reference points in the rest of the follow-up image.
  • the number of reference points used by the tracking algorithm outside the region of interest is zero.
  • the invention would have another additional advantage and that is that it would considerably increase the tracking speed. This is possible thanks to the fact that the optimal choice of the characteristic reference points makes it possible to reduce their total number and, consequently, the computation time decreases.
  • control module is configured to, for each follow-up image: determine a numerical model of the clinical scenario comprising the orientation, shape and position of said clinical scenario from said follow-up image; and incorporating the plurality of characteristic reference points determined by the monitoring algorithm belonging to the clinical field to the numerical model associated with said monitoring image.
  • the numerical model of a clinical scenario is a simplified representation of said clinical scenario that uses equations, functions or mathematical formulas that express relationships, variables and parameters to study how said clinical scenario would behave in the face of different situations.
  • This numerical model is capable of reproducing the properties of the physical entity modeled under the limitations imposed by the elements that define said numerical model.
  • a numerical model can computationally represent a biological tissue with geometric elements that determine the structures of said tissue as well as the properties of each of the tissue components.
  • the control module determines a numerical model of the clinical scenario captured in order to have the information associated with said clinical scenario: orientation, shape and position of the tissues and other elements present in the scenario. . Additionally, the numerical models incorporate the characteristic reference points determined by the tracking algorithm for each tracking image.
  • the creation of numerical models in the context of the invention advantageously, makes it possible to have all the information that is analyzed over time to be able to determine the necessary transformations between consecutive follow-up images and, thus, carry out the follow-up of the clinical setting.
  • the tracking algorithm is additionally configured to determine characteristic reference points in the i-th tracking image not determined in the immediately preceding tracking image; and / or discarding characteristic reference points at the i-th time point determined in the tracking image captured at the immediately preceding time point.
  • the clinical scenario is not static but varies over time due to various factors.
  • the characteristic landmarks determined by the tracking algorithm in a tracking image might not correspond to the characteristic landmarks of the immediately before or after tracking image.
  • the tracking algorithm determines reference points in a tracking image that had not been determined in the previous tracking image; For example, if a region of high contrast - which would lead to the determination of a reference point - begins to be visible by the vision unit at the i - th instant when at the i - 1 instant it was hidden by another structure or not it was part of the field of view of the vision unit.
  • the tracking algorithm may have to discard certain reference points in a tracking image at time i-1 that do not correspond to any of the reference points detected in the i-th tracking image. By discarding a reference point it is to be understood that the reference point discarded at the i-th time does not contribute to the determination of the i-th transformation.
  • the tracking algorithm according to a preferred example is adaptable to the changes that the clinical scenario itself experiences. This allows only landmarks that can achieve good precision in tracking the clinical setting to be analyzed so that computational resources are not wasted in processing landmarks that are not of interest.
  • control module is additionally configured to receive or generate at least one new region of interest in an i-th tracking image, for i> 0, being included in and / or totally or partially replacing the set of regions pre-existing interest.
  • the control module can receive or generate at least one new region of interest.
  • These new regions of interest will become part of the set of regions of interest according to one of the following options: the at least one new region of interest can be included in the set of pre-existing regions of interest as an additional region of interest; or the at least one new region of interest may totally or partially replace the pre-existing region (s) of interest; or the combination of the two above may occur; that is, one or more of the new regions of interest are included in the set of pre-existing regions of interest as additional regions of interest and, at the same time, one or more of the new regions of interest totally or partially replace the regions of interest. pre-existing interest.
  • a region of interest can be formed by the union of sub-regions of interest not related to each other.
  • a new region of interest it can differ from a pre-existing region of interest in terms of its position due to the movements experienced by the clinical setting, it can be completely different from any of the pre-existing regions of interest; for example, because in said new region of interest critical structures appear, on which high precision tracking is required, which in previous instants of time did not appear in the field of view of the vision unit.
  • This implementation is a great advantage since the monitoring of the clinical scenario is adapted to the requirements of the clinical event itself. On the one hand, it is taken into account that the regions of interest are not static - just like the clinical setting itself. On the other hand, as the clinical event evolves, the monitoring of the clinical scenario is updated to adapt to the appearance / disappearance of critical structures.
  • control module and the vision unit are previously spatially calibrated so that a correspondence is established between the position of the points of the visualization field of the vision unit and the position of the points of real space.
  • the real space will be understood as the reference space in which the clinical event takes place; For example, if said clinical event is surgery, the real space is the operating table together with the patient, the healthcare personnel and all the devices necessary to perform the operation.
  • the coordinate system of the system that performs such monitoring has the same references as the real space.
  • the pixels or voxels in the field of view of the vision unit have to correspond to physical points in real space. This correspondence is possible when there is a spatial calibration between the tracking system itself and the real reference space.
  • the transformation between a first and a second consecutive follow-up images is a linear transformation corresponding to a rigid solid model of the clinical setting, where the linear transformation verifies the distance between the characteristic reference points of the first image. of tracking transformed by the transformation and the characteristic landmarks of the second tracking image is minimal.
  • the transformation determined by the tracking algorithm is linear, understood as a function that defines the relationship between two vectors X 'and X through a rotation matrix M and a displacement vector n:
  • This linear transformation is such that the distance between two points before and after the transformation is conserved, so it is applicable to those cases in which it is verified that the distance between the reference points characteristic of the first Tracking image transformed by the transformation and the characteristic landmarks of the second tracking image is minimal.
  • a clinical setting is not a rigid solid since biological tissues undergo deformations over time, for example, by the patient's breathing or by the interaction between the surgical instruments and the patient.
  • modeling its behavior as a rigid solid greatly simplifies the process of monitoring the clinical scenario since linear transformations are computationally much more efficient.
  • the system of the invention is characterized in that the control module receives or generates one or more regions of interest in which the tracking algorithm determines the highest concentration of characteristic reference points, which surprisingly allows to apply a simple transformation Linear to carry out the tracking of a deformable scene with high precision in tracking the critical structures visible in the region (s) of interest.
  • the regions of interest are limited in size compared to the size of the tracking images, and on the other, the concentration of landmarks in these regions is higher than in the rest of the tracking image.
  • the relative positions between the reference points characteristic of the regions of interest do not suffer or hardly suffer variations between consecutive follow-up images.
  • the transformation is a non-linear transformation corresponding to a deformation model, where each pair of characteristic reference points between two consecutive follow-up images has its own correspondence. Since the clinical scenario is deformable, using a deformable solid model to model it is a more precise and realistic option than that described in the previous embodiment. Throughout this document, it will be understood that in a deformable solid model it is considered that the bodies do not meet the rigid solid condition, that is, the deformation they undergo is the result of the change in the relative distances between the particles that compose the body according to the deformation model subject to the change of position of the reference points used as control points of said deformation model.
  • the transformation determined by the tracking algorithm is non-linear, with a different correspondence between each pair of reference points found in consecutive tracking images.
  • This type of transformation is the one that, a priori, an expert in the field would use since the clinical scenario deforms with the passage of time. However, it would tend to separate the reference points as far as possible in the follow-up images to cover as much as possible the entire clinical scenario and especially to achieve smooth deformations, especially in interpolational deformation models, when using a larger area to distribute the reference points.
  • the precision obtained in the structure tracking would be greater than that obtained by a linear transformation, it would not be focused on the critical structures as required in the context of the invention.
  • a transformation is established for the rest of the points that are not characteristic reference points by means of an interpolational deformation model subject to the characteristic reference points having the correspondence given by the transformation.
  • deformable solid modeling allows to establish different transformations for the rest of the points of the tracking images that do not correspond to characteristic reference points. This transformation is estimated by interpolation of the transformations determined for the characteristic reference points.
  • this modeling is even more complete and realistic than the previous one, which allows an even greater increase in the precision of monitoring the clinical scenario.
  • the system additionally comprises a spatial positioning and / or orientation unit coupled to the vision unit, connected to the control module and controlled by said control module, wherein the control module is additionally configured to move, move and / or orient, the unit of vision by means of the unit of positioning and / or spatial orientation applying the transformation to the position and orientation before the movement to determine the new position and orientation, for the capture of quasi-static images of the clinical setting.
  • the vision unit can be moved to reposition and / or reorient itself during the course of the clinical event.
  • the system has an additional unit coupled to the vision unit: the positioning and / or orientation unit.
  • the positioning and / or orientation unit comprises mechanical means adapted to move and / or to orient the vision unit.
  • said positioning and / or orientation unit is connected to the control module in such a way that it receives instructions from it to position the vision unit.
  • the unit of vision it can move (move and / or orient itself) according to said transformation to carry out the monitoring of the clinical scenario.
  • the control module applies the transformation to the position and orientation of the vision unit - before movement - to determine its new position and orientation.
  • the positioning and / or orientation unit receives, from the control module, the new position and orientation of the vision unit and proceeds to move it according to said new position and orientation (repositioning it and / or reorienting it).
  • the field of view of the vision unit after each transformation, will capture quasi-static tracking images; In other words, the perception that will be had of these follow-up images is that they have not varied capture after capture or, at least, that said variation has been minimal.
  • the system actively follows the movement of the clinical scene so that, even if it experiences a certain movement, the system will always be positioned with respect to the scene in the same way, so that the relative position of the vision unit - clinical scene would ideally remain static.
  • said transformation corresponds to the most representative of the set of transformations determined for each pair of points of reference.
  • said representative transformation also takes into account the rest of the point transformations that are not reference points.
  • the elements included in the clinical scenario are not only perceptible at all times, but information on the orientation, shape and position of said elements is available, said information being of great precision for the case of critical structures contained in the region (s) of interest.
  • the system additionally comprises a spatial positioning and / or orientation unit coupled to the vision unit, connected to the control module and controlled by said control module, wherein the control module is additionally configured to move, move and / or orient, the vision unit by means of the spatial positioning and / or orientation unit when the control module automatically detects that the at least one region of interest is locolizo or a distance less than a predetermined distance from one of the ends of the field of view of the unit of view.
  • the control module can detect that the region (s) of interest that it has generated or received are located at one end of the field of view of the viewing unit, in particular when the distance to the end of the field of view is less than a certain predetermined distance or safety margin. In such a case, there is a risk that in subsequent iterations of the method the region (s) of interest will disappear from the field of view.
  • control module automatically sends orders to move (reposition and / or reorient) the vision unit so that the region (s) of interest are located at a distance greater than said predetermined safety margin with respect to the ends of the viewing unit's field of view.
  • This repositioning and / or reorientation of the vision unit can occur as an alternative or in combination with one or more other repositioning and / or reorientations carried out by the positioning and / or spatial orientation unit.
  • the elements included in the clinical scenario are not only perceptible at all times, but information on the orientation, shape and position of said elements is available, said information being of great precision for the case of critical structures contained in the region (s) of interest.
  • the system additionally comprises a spatial positioning and / or orientation unit coupled to the vision unit, connected to the control module and controlled by said control module, wherein the control module is additionally configured to move, move and / or orient, the vision unit through the positioning unit and / or spatial orientation when the control module receives an order to move and / or orient the vision unit through a peripheral and / or other ways Communication.
  • the control module can receive and / or send commands through peripherals.
  • Peripheral is to be understood as any tool or device that acts as an interface between a user or external element and the control module to send / receive instructions between them. Examples of peripherals are joysticks, touchscreens, keyboards, or mice.
  • control module can receive and / or send commands through other communication channels.
  • control module can receive and / or send commands through other communication channels.
  • wired communication or wireless communication such as Bluetooth or WiFi.
  • control module can receive instructions, by means of any of the communication channels mentioned above, to directly move the vision unit by repositioning it and / or reorienting it by means of the positioning and / or spatial orientation unit.
  • medical personnel send orders to the control module to position and / or orient the vision unit through a peripheral.
  • This repositioning and / or reorientation of the vision unit can occur as an alternative or in combination with one or more other repositioning and / or reorientations carried out by the positioning and / or spatial orientation unit.
  • the elements included in the clinical scenario are not only perceptible at all times, but information on the orientation, shape and position of said elements is available, said information being of great precision for the case of critical structures contained in the region (s) of interest.
  • control module is additionally configured to: transform the i-th tracking image from the transformation in such a way that the distance between the characteristic reference points of the i-th tracking image and the points reference of the immediately preceding follow-up image is minimal, and transform the at least one region of interest from the same transformation into the follow-up image.
  • the tracking images are transformed according to linear or non-linear transformation.
  • the same transformation needs to be applied to those regions of interest.
  • information on the orientation, shape and position of the elements included in the clinical setting is available, said information being highly accurate in the case of critical structures contained in the region or regions of interest.
  • Another additional advantage of this embodiment is that no additional hardware is required in the system since the presence of a positioning and / or orientation unit is not needed but the control module itself is configured to apply the transformations to the images of tracing.
  • control module is additionally configured to transform the numerical model associated with the i-th tracking image from the transformation in such a way that the distance between the characteristic reference points of the i-tracking image th and the reference points of the immediately preceding follow-up image is minimal.
  • the tracking algorithm is of the SLAM (Simultaneous Localization And Mapping) type.
  • the tracking algorithm is of the SLAM type, initially developed so that a mobile robot located in an unknown environment and position is able to incrementally construct a map of its surroundings while using said map to determine its own location.
  • this type of algorithm has also been widely used in other contexts such as surgical navigation.
  • this algorithm performs two operations: a determination of characteristic reference points and a location of said points at each ith instant. Once the position of the reference point cloud has been obtained, the algorithm is able to infer, from the displacements of said points, what is the relative movement between the clinical setting and the monitoring system.
  • a tracking algorithm based on this known algorithm is preferably used, which advantageously increases the efficiency of the system since the effectiveness of said algorithm is highly demonstrated.
  • the system additionally comprises a module for distinguishing critical structures in communication with the control module, said module for distinguishing critical structures being controlled by the control module, and where: the module for distinguishing critical structures is configured to:
  • the system is additionally characterized in that the at least one region of interest received or generated by the control module is selected from a tracking image based on the information associated with the distinction of jth structures, where the instant j-th time of measurement generation is closest to the i-th time instant of tracking image capture.
  • module for distinguishing critical structures or simply distinction module - is to be understood a module comprising mechanical, optical, computational and / or processing means adapted to distinguish, identify or discriminate which tissues or structures from those present in a sample are critical or not.
  • the module for the distinction of critical structures discriminates between the tissues on which it is possible to carry out an ablation or cutting operation and those that are not.
  • the module for distinguishing critical structures generates a plurality of measurements at different spatial points of its visualization field, understanding as such the space of the clinical setting on which it has the capacity to perform measurements. Said plurality of measurements is taken at different jth time instants, without prejudice to the fact that this notation may vary.
  • the index i is used to identify instants of time in which an image is acquired by the vision unit and the index j to identify instants of time in which the acquisition of measurements is carried out by the distinction module. This distinction does not contradict the fact that the indices i and j may correspond to the same instants of time in some embodiment of the invention.
  • the critical structures distinction module processes the measurements and identifies whether or not each of the spatial points on which measurements have been made correspond to the presence of a structure.
  • the type of structure detected is critical, such as a certain biological tissue or a specific element of the clinical setting.
  • the information obtained by the critical structure distinction module is sent to the control module, for which both modules are connected to each other.
  • the control module uses said information to generate one or more regions of interest in the last follow-up image captured by the vision unit based on pre-established criteria on the measured properties.
  • the control module provides medical personnel with such information so that one or more regions of interest are selected in the last follow-up image captured by the vision unit.
  • Said or said regions of interest should preferably include the structures that the distinction module has identified as critical.
  • the region (s) of interest or they can be generated by the control module directly on a tracking image or on the information of distinction of critical structures; or they can be selected by medical personnel directly on a follow-up image or on critical structure distinguishing information.
  • the relationship between the reference systems of the tracking images and the information for distinguishing critical structures is known, so that the generation or selection of the region (s) of interest in a tracking image implies that the position of said region or regions of interest with respect to the information of distinction of critical structures is known - and vice versa.
  • the selection of the region (s) of interest received by the control module or the generation of the region (s) of interest by the control module are made based on the information of the coordinates in which the distinction module has identified that structures are critical.
  • the minimum requirement is that the region of interest must contain at least the region of spatial points that encompass a critical structure according to the information provided by the distinction module.
  • the delimitation is established through an envelope, preferably a convex envelope. Additionally, the control module can add a certain safety margin pre-configured or configurable by medical personnel to said enclosure.
  • the use of a module for distinguishing critical structures ensures that the monitoring is focusing on structures that can really be considered of interest. This is very important in the event that the clinical event is surgery, since precise and accurate information is available on which tissues can be intervened - for example, by cutting or ablation - and which must be avoided so as not to inflict unnecessary damage. to the patient. It is also very important if the clinical event is a treatment, such as radiological therapy in which it is clinically relevant to limit the application of the radiation used in the treatment to a certain region, either to increase its beneficial effect, for example. limiting possible collateral effects in other tissues, or simply by improving the efficiency of the clinical event. Finally, it is equally important in diagnostic events, especially in those cases in which complex structures have to be visualized that require detailed visual inspection for a long time without the movements of the clinical setting preventing it.
  • the synergistic use of the techniques for distinguishing critical structures and Follow-up has the advantage of maximizing the precision of the follow-up in the areas of interest to the detriment of the precision in the non-critical areas that have no clinical relevance.
  • the invention would have another additional advantage and that is that it would considerably increase the speed of monitoring the clinical scenario. This is possible thanks to the fact that the optimal choice of the characteristic reference points makes it possible to reduce their total number and, consequently, the computation time decreases.
  • the critical structure distinction module is previously spatially calibrated so that a correspondence is established between the position of the points in its field of view and the position of the points in the field of view of the vision unit. .
  • the points of the visualization field of the distinction module in which it distinguishes between critical and non-critical structures must have a correspondence with the pixels or voxels of the visualization field of the vision unit and, therefore, with the follow-up images from which the regions of interest are identified. This correspondence is possible when there is a spatial calibration between the critical structure distinction module and the vision unit.
  • the module for distinguishing critical structures is previously spatially calibrated so that a correspondence is established between the position of the points in its field of view and the position of the points in real space.
  • the coordinate system of the module that distinguishes these critical structures has the same references as the real space.
  • the points in the visualization field of the distinction module in which it distinguishes between critical and non-critical structures must correspond to physical points in real space. This correspondence is possible when there is a spatial calibration between the module for the distinction of critical structures and the real reference space.
  • the system additionally comprises a memory configured to store, for each spatial point, the measurements carried out by the module for distinguishing critical structures so that, if there are measurements stored at time j-1 and generate new measurements at time j, the memory is updated with measurements at time j for each spatial point.
  • the system additionally comprises a memory in which the measurements made by the critical structure distinction module are stored and updated for the different spatial points where said module generates the measurements.
  • This memory must be connected to the critical structure distinction module, which will have read and write permissions on said memory.
  • the most up-to-date measurements will be available at all the points measured by the distinction module in order to be able to establish at which spatial points a structure can be considered critical or not.
  • control module transforms the structure distinction information from the transformation determined by the tracking algorithm, where the j-th time of generation of the structure distinction information is the closest to the i - th instant of tracking image capture.
  • control module In order for this structure distinction information to be consistent with the follow-up images and, therefore, with the region of interest, it is necessary for the control module to transform the structure distinction information from the transformation determined by the algorithm of tracing.
  • the control module In order for this structure distinction information to be consistent with the follow-up images and, therefore, with the region of interest, it is necessary for the control module to transform the structure distinction information from the transformation determined by the algorithm of tracing.
  • all the information handled by the system shares a common reference system once the control module applies the pertinent transformations.
  • the coordinates of the spatial points in which the plurality of distinction measurements are carried out are expressed in the coordinates of the numerical model determined after the transformation.
  • the tracking algorithm determines a transformation, it is used to reposition / reorient the physical tracking system by means of the positioning and / or orientation unit and / or is applied on the tracking images by means of a image processing. Both actions are executed by the control module.
  • the corresponding coordinates of the numerical model must be selected after applying the transformation on it.
  • the capture of measurements through the distinction module makes it possible to enrich the numerical model with these data, taking the value of the measurements to the corresponding place in the numerical model.
  • the selection of the at least one region of interest is carried out according to a predefined criterion:
  • the at least one region of interest comprises at least one rib
  • the at least one region of interest comprises at least one brain tract
  • the at least one region of interest comprises at least one blood vessel, or
  • the at least one region of interest is a tissue considered critical, or
  • the at least one region of interest comprises soft tissue, or
  • the at least one region of interest comprises bone, or
  • the at least one region of interest comprises at least one reference marker
  • the region (s) of interest must comprise critical structures, preferably biological tissues.
  • the type of critical fabric depends on the context in which the system is operating; For example, in a surgery it may be interesting to identify nerves or blood vessels on which an ablation or cutting operation should not be performed or in a tumor resection surgery, the critical tissue must be the tumor tissue itself to be resected.
  • the region of interest comprises critical structures that are not biological tissues, such as a reference marker.
  • a reference marker is to be understood as an external fiduciary marker that can be attached to biological tissue (without modifying said tissue), to surgical instruments or to any other element present in the clinical setting.
  • the visualization field of the module for distinguishing critical structures is limited to:
  • critical structure tracking information can be used by prioritizing the measurement in critical regions, thus closing a synergy that allows optimizing both techniques for better application under realistic operating conditions.
  • the display field of the distinction module can be limited to said at least one region of interest.
  • certain safety margins can be included to take into account possible errors in the determination of the at least one region of interest as well as possible movements in the clinical setting.
  • the vision unit comprises:
  • At least one camera with spectral, multispectral, or hyperspectral filtering, or
  • the vision unit comprises at least one visual element adapted to capture images of a clinical scenario within its field of view, said images providing information on the orientation, shape and position of the clinical scenario.
  • vision unit Any element that fulfills the previous premise can be included in the vision unit.
  • Specific examples of vision units with these capabilities are those formed by pairs of cameras with stereoscopic capabilities where the combination of two images allows the volumetric reconstruction of objects, determination of position and orientation of surfaces, etc.
  • the captured images do not necessarily have to be two-dimensional but can be captured, for example by X-rays or with a CT scanner, capable of penetrating the tissue, and representable by voxels in three dimensions.
  • the viewing unit is stereoscopic, that is, it comprises two RGB cameras that capture two separate initial tracking images.
  • the tracking algorithm determines a plurality of characteristic reference points in the tracking images captured by both cameras and establishes a correspondence between the points of both images.
  • the depth information (Z axis) from the cameras is triangulated from the disparity of the points between both images. For this it is necessary that there is a good spatial calibration between the cameras.
  • one of the two images is selected as dominant and the tracking algorithm continues to run based on the characteristic reference points of said dominant image but to which the depth information obtained thanks to the use of both RGB cameras has been added. .
  • the module for distinguishing critical structures carries out the distinction of one or more tissues by one of the following techniques:
  • LIBS laser-induced plasma spectroscopy
  • OCT optical coherence tomography
  • PS-OCT - polarization-sensitive optical coherence tomography
  • the module of distinction of critical structures comprises mechanical, optical, computational and processing means adapted to distinguish, identify or discriminate which tissues or structures of those present in a sample are critical or not.
  • this distinction module is based on laser-induced plasma spectroscopy.
  • - is a predefined integer greater than or equal to one, or
  • - is a predefined integer greater than or equal to one, or
  • the number of times that the vision unit acquires follow-up images as well as the number of times that the distinction module generates measurements to obtain information on critical structures can be preset.
  • specific actuation times can be predefined for the vision unit and / or for the distinction module.
  • the vision unit and / or the distinction module act, but their work ends once the session or clinical event ends.
  • control module is additionally configured to move and / or orient the vision unit by means of the spatial positioning and / or orientation unit when the control module automatically detects that the at least one region of interest is locates at a distance less than a predetermined distance from one of the extremes of the visualization field of the module for distinguishing critical structures.
  • the control module can additionally detect that the region (s) of interest that it has generated or received are located at one end of the visualization field of the module for distinguishing critical structures, in particular when the distance to the end is less than a certain distance. default security. In such a case, there is a risk that in subsequent iterations of the method the region (s) of interest will disappear from said field of view.
  • control module automatically sends orders to move the vision unit - repositioning it and / or reorienting it by means of the positioning and / or spatial orientation unit - so that the region (s) of interest are located at a distance greater than said predetermined safety margin with respect to the extremes of the visualization field of the structure distinction module critics.
  • This repositioning and / or reorientation of the vision unit can occur as an alternative or in combination with one or more other repositioning and / or reorientations carried out by the positioning and / or spatial orientation unit.
  • the elements included in the clinical scenario are not only perceptible at all times, but information on the orientation, shape and position of said elements is available, said information being of great precision for the case of critical structures contained in the region (s) of interest.
  • Figures la and Ib These figures schematically show the state of the art of a system for monitoring a clinical scenario.
  • Figures 2a and 2b These figures show a diagram of the system for monitoring a clinical scenario according to an embodiment of the invention.
  • Figure 3 This figure shows a diagram of the system for monitoring a clinical scenario according to an embodiment of the invention that comprises a spatial positioning and / or orientation unit.
  • FIG. 4 This figure shows a diagram of the system for monitoring a clinical scenario according to an embodiment of the invention that includes a module for distinguishing critical structures.
  • the present invention describes a system (1) for monitoring a clinical scenario (6).
  • Said clinical scenario (6) is not static, but undergoes variations over time for various reasons such as the patient's breathing or the interaction of instruments or medical personnel with the patient's tissues. Due to this movement, there is a need to exhaustively monitor the elements that appear in the clinical setting (6), especially structures of interest; for example, during ablation surgery it is interesting to know the position, orientation and shape of certain biological tissues such as nerves or blood vessels.
  • the figure shows schematically a system (1) for monitoring a clinical scenario (6) comprising: a) a control module (2), with processing capacity and with the capacity to execute the instructions of an algorithm monitoring (A), b) a vision unit (3), connected to the control module (2) and controlled by said control module (2), adapted to capture images of a clinical scenario (6) within its field display (C s ), where the captured images provide information on the orientation, shape and position of said clinical scenario (6).
  • a control module (2) with processing capacity and with the capacity to execute the instructions of an algorithm monitoring (A)
  • a vision unit (3) connected to the control module (2) and controlled by said control module (2), adapted to capture images of a clinical scenario (6) within its field display (C s ), where the captured images provide information on the orientation, shape and position of said clinical scenario (6).
  • a system (1) such as the one described is known in the state of the art, it being usual for both elements to work together.
  • the viewing unit (3) is configured to capture the at least one image , the initial tracking (S 0) and a plurality of images tracking (S i) of the clinical setting (6) within its field of view ( C s ) at different instants of time i - th. All follow-up images (S 0 , S i ) are sent by the vision unit (3) to the control module (2).
  • the clinical scenario (6) comprises the stretcher on which the patient to intervene would be placed, as well as the patient himself, the medical staff and the entire environment in which the clinical event takes place.
  • the clinical event is surgery and the clinical setting is a surgical field that includes, among other elements, the patient's biological tissues, surgical instruments or sterile material such as gauze or cottons.
  • the control module (2) receives images tracking (S 0, S i) captured by the vision unit (3) and carried out on them a certain type of processing.
  • the tracking algorithm (A) determines a plurality of initial characteristic reference points (F 0 ) belonging to the clinical scenario (6) - shown in the at least one image of initial tracking (S 0 ) - and sets its position in space (P 0 ).
  • the rest of the monitoring images (S i) is performing the same operation for each; that is, it determines a plurality of characteristic reference points (F i ) in each follow-up image (S i ) belonging to the clinical scenario (6) and establishes its position in space (P i ).
  • the characteristic reference points (F 0 , F i ) are pixels or pixel regions of the tracking images (S 0 , S i ) easily distinguishable from their surroundings.
  • the criteria for distinguishing these points are of various kinds, among others:
  • regions of the image with high heterogeneity with respect to their environment such as the presence of a set of blood vessels in front of a homogeneous area such as the skin;
  • the characteristic landmarks of two consecutive tracking images correspond to each other; that is, pairs of points can be established between two consecutive tracking images.
  • certain characteristic reference points are determined in only one of the tracking images, so these points will lack such correspondence, at least, between two specific moments of time.
  • the correspondence between pairs of points is established between the points of the at least one initial tracking image (S 0 ) and those of the tracking image at said instant of time ( S 1 ). Thanks to the correspondence between pairs of points, the tracking algorithm (A) can infer the relative movement between the vision unit (3) and the clinical setting (6) over time.
  • the tracking algorithm (A) determines a transformation (T , ) that relates the position (P i ) of the characteristic reference points (F i ) determined at instant i with the position (P i -1 ) of the characteristic reference points ( corresponding F i-1 determined at time i - 1.
  • the tracking algorithm (A) is of the SLAM (Simultaneous Localization And Mapping) type, whose capabilities in contexts such as robotics or surgical navigation are highly proven.
  • FIG. 1b An example of how the tracking algorithm (A) executed by the control module (2) determines reference points characteristic (F i) in a monitoring image (S i) is shown in Figure Ib. As shown, these points are distributed throughout the image tracking (S i) covering the least most of the clinical scenario structures (6) visible image tracking (S i).
  • any concrete structure of the clinical stage (6) is not prioritized, there being a compromise between tracking all ias structures appearing in the tracking image (S i) - tissues and other elements of the clinical setting (6 ) - and the precision achieved in said monitoring.
  • the critical structures are different; For example, in ablation or cutting surgery, it is convenient to do an exhaustive monitoring of veins and nerves so that medical personnel or a robotic surgical system do not intervene on said structures.
  • the objective of monitoring a critical structure may be to apply the treatment exclusively to that area, such as during optical irradiation on skin lesions or stimulation of nervous tissue.
  • the monitoring of critical structures in diagnostic applications, in which, for example, it may be of interest to visualize a critical region as a nodule using medical imaging techniques for as long as it takes to complete the diagnosis.
  • Figures 2a and 2b illustrate the system (1) of the invention, which seeks to improve precision in monitoring the critical structures of the clinical setting (6).
  • the vision unit (3) of the system (1) preferably, is a stereoscopic system comprising two RGB cameras.
  • the vision unit comprises (3):
  • the viewing unit (3) comprises two RGB cameras, two separate initial tracking images will be captured. The information provided by one of these images, which we will call dominant, is completed with information from the other "extra" monitoring image.
  • the pixels or voxels of the visualization field (C s ) of this vision unit (3) correspond to physical points of the real space in which the clinical event takes place.
  • the monitoring system (1) - control module (2) and vision unit (3) - is spatially calibrated.
  • e! tracking number of images (S i) that acquires the viewing unit (3) during the clinical event can be a predefined integer greater than or equal to one, set at the end of that clinical event; or set when reaching a predefined time limit.
  • the system (1) of the invention is characterized in that, unlike the system shown in Figures la and Ib, the control module (2) is additionally configured to receive or generate at least one region of interest (R) when the tracking image is captured at least one image the initial track (S 0) and for positioning in the space to the least one region of interest (R) for each tracking image (S i).
  • the tracking algorithm (A) is configured such that the concentration of characteristic reference points (F i ) in the at least one region of interest (R) is higher than the concentration of characteristic reference points (F i ) in the rest of the follow-up image (S i ).
  • said tracking algorithm (A) is a modified SLAM algorithm.
  • Figure 2a shows how the control module (2) receives a region of interest (R) and positioned with respect to an image tracking (S i).
  • This region of interest (R) is a sub-region of the at least one initial follow-up image (S 0 ) in which elements of the clinical scenario (6) appear on which we want to obtain a more precise follow-up.
  • control module (2) itself is in charge of generating said region of interest (R).
  • region of interest R
  • the control module (2) can receive - or generate - more than one region of interest (R).
  • the region (s) of interest (R) comprise critical structures.
  • the critical structures are biological tissues such as nerves, brain tract, blood vessels, tumors, soft tissue, or bone.
  • Other examples of critical structures other than biological tissues are reference markers present in the clinical setting (6) or the surgical instruments or material itself.
  • Figure 2b shows how the tracking algorithm (A), taking into account the region of interest (R), determines the plurality of characteristic reference points (F i ) in the follow-up image (S i ) so that the concentration of said points is higher in the region of interest (R) than in the rest of the follow-up image (S i ).
  • the characteristic reference points (F i ) determined for a follow-up image (S i ) correspond to the characteristic reference points (F i-1 ) determined for the follow-up image ( S i _ 1 ) immediately preceding.
  • the system (1) of the invention takes into account to reduce the computational cost of the processing.
  • the tracking algorithm (A) identifies at least one reference point (F i ) in a tracking image (S i ) that was not determined in the previous tracking image (S i _ 1 ) .
  • This case can occur, for example, when, due to the movement of the clinical scene (6), elements that were previously not visible and that are capable of being identified with enter the field of view (C s) of the vision unit (3). a characteristic landmark.
  • the tracking algorithm (A) has identified at least one reference point (F i _ 1 ) in a tracking image (S i _ 1 ), said at least one point can be discarded in the tracking image (S i ) immediately after. This case may occur, or else because the structure that has given rise to at least one reference point is no longer visible at the i - th time instant (in which case the tracking algorithm (A) can keep it temporarily stored in case it becomes visible again in later moments of time) or simply because the at least one point is no longer a good candidate as a reference point on which to base the tracking of structures.
  • This flexibility allows the monitoring algorithm (A) to adapt to the changes that the clinical scenario itself experiences (6). Thus, it only analyzes the reference points that give rise to a good precision in the monitoring of the clinical scenario (6) without wasting computational resources in the processing of the points that are not of interest.
  • the speed of tracking structures is substantially increased. This is possible thanks to the reduction in the number of characteristic reference points (F i ) to be analyzed produced by the optimal choice of them.
  • the region (s) of interest (R) update over time.
  • the control module (2) is further configured to receive or generate the least one new region of interest (R) in a tracking image (S i), for i> 0.
  • a first option is that or new regions of interest (R) are included as part of the already existing set of regions of interest (R); for example, if a new critical structure enters the field of view (C s ) of the vision unit (3) and requires detailed monitoring of it.
  • Another option is for the new regions of interest (R) to replace any of the pre-existing regions of interest (R); for example, if due to the movement of the clinical setting (6) the critical structures of a region of interest (R) have changed their position, shape and / or orientation.
  • a final option is that a combination of the two previous options occurs, that is, that one or more of the new regions of interest (R) are included in the set of pre-existing regions and one or more of the regions of interest (R ) new ones replace one or more pre-existing regions.
  • the tracking algorithm (A) determines the transformation (F i ) that relates the position (P i ) of the characteristic reference points (F i ) determined in the instant i with the position (P i _ 1 ) of the corresponding characteristic reference points (F i _ 1 ) determined at instant i - 1.
  • transformation (F i ) There are different types of transformation (F i ), linear or non-linear, which entail different degrees of mathematical complexity and, therefore, of computational cost.
  • the follow-up algorithm (A) determines that the transformation (F i ) between two consecutive follow-up images (S i _ 1, S i ) is linear and corresponds to a rigid solid model of the clinical scenario ( 6).
  • This linear transformation (F i ) has to verify that the distance between the characteristic reference points (F i _ 1 ) of the first follow-up image (S i _ 1 ) transformed by the transformation (F i ) and the reference points characteristic (F i ) the second image track (S i) is minimal.
  • the system (1) of the invention is characterized in that the control module (2) receives or generates one or more regions of interest (R) in which the tracking algorithm (A) determines the highest concentration of points.
  • of reference characteristics (F i ) which surprisingly allows to apply a simple linear transformation (F i ) to carry out the follow-up of a deformable scene with high precision in the follow-up of the critical structures visible in the region (s) of interest (R).
  • the regions of interest (R) are of a limited size compared to the size of the follow-up images (S i ) and, on the other, the concentration of reference points (F i ) in said regions of interest. (R) is larger than in the rest of the follow-up image (S i ).
  • the relative positions between the characteristic reference points (F i ) of the regions of interest (R) do not suffer or hardly suffer variations between consecutive follow-up images (S i _ 1, S i ). lose accuracy in monitoring the remaining structures visible images monitoring (S i) as not being given the true strain suffering such structures.
  • these structures are not contained in regions of interest (R), it can be considered that they are not critical and, therefore, that their monitoring does not require great precision.
  • the advantage of applying this model is its simplicity and the low computational cost required to determine the transformation (T i ).
  • the follow-up algorithm (A) determines that the transformation (F i ) between two consecutive follow-up images (S i _ 1, S i ) is non-linear and corresponds to a deformable solid model of the clinical scenario (6).
  • this transformation (T i ) more complex than the previously mentioned linear transformation, each pair of reference points (F i _ 1, F i ) between two consecutive tracking images (S i _ 1, S i ) has its own correspondence; that is, a different transformation (F i ) is applied to each pair of points.
  • This type of transformation (F i ) is the one that, a priori, an expert in the field would use since the clinical scenario (6) deforms over time. However, as mentioned for the previous case, it would tend to separate the reference points (F i ) as much as possible in the follow-up images (S i ) to cover as far as possible the entire clinical scenario (6) and have a smooth and realistic deformation by weighting the deformation over a larger area. Although the precision obtained in the structure tracking would be greater than that obtained by a linear transformation, it would not be focused on the critical structures as required in the context of the invention.
  • non-linear transformation (F i ) can be extrapolated to the rest of the points of the tracking image (S i ) that are not characteristic reference points (F i ) using an interpolational deformation model. In this way, even more precision in tracking structures is achieved at the cost of higher computational cost.
  • the system (1) additionally comprises a positioning and / or spatial orientation unit (5) coupled to the vision unit (3).
  • This unit (5) is connected and controlled by the control module (2), which is additionally configured to move and / or orient the vision unit (3) by means of this positioning and / or spatial orientation unit (5) in transformation function (T i ) determined by the tracking algorithm (A).
  • the vision unit (3) is repositioned and / or reoriented if the control module (2) automatically detects that the at least one region of interest (R) is located at a distance less than a predetermined distance of either end of the field of view (C s ) of the vision unit (3).
  • the vision unit (3) is repositioned and / or reoriented if the control module (2) receives an order to move and / or orient the vision unit (3) through a peripheral - for example , using a joystick - and / or through other communication channels - for example, via WiFi.
  • the objective of this repositioning and / or reorientation of the viewing unit (3) is to capture images of track (S i) quasi-static clinical stage (6); ie after repositioning and / or reorienting the viewing unit (3), the perception has images tracking (S i) captured is not have varied with time or, at the least, said variation has been minimal.
  • the system (1) actively follows the movement of the clinical scene (6) so that, although it experiences variations, the system (1) is always positioned with respect to the scene (6) in such a way that the relative position of the vision unit (3) - clinical scenario (6) ideally remains static.
  • the system (1) does not comprise this spatial positioning and / or orientation unit (5) so that the vision unit (3) remains static.
  • the control module (2) is additionally configured to process the tracking images (S i ) applying the transformation (F i ) determined by the tracking algorithm (A) on said images (S i ). To do this, the control module (2) transforms the i - th tracking image from the transformation (F i ) in such a way that the distance between the characteristic reference points (F i ) of this image (S i ) and the reference points (F i-1 ) of the immediately preceding follow-up image (S i _ 1 ) is minimal. Additionally, for the region or regions of interest (R) continue to represent the same image region tracking (S i), the control module (2) also transforms said one or more regions (R) from the same transformation (T i ).
  • the number of degrees of freedom that the positioning and / or spatial orientation unit (5) has is limited, for example to two movements in a horizontal plane, and therefore the compensation of the movements is not enough.
  • the use of this spatial positioning and / or orientation unit (5) and the application of the transformation (Ti) determined by the tracking algorithm (A) on the images (S i ) after compensation is combined. applied by the positioning and / or spatial orientation unit (5), improving the final result since this last transformation gives rise to minor displacements and turns.
  • the system (1) of Figures 2a, 2b and 3 is configured to, for each tracking image (S i), to produce a numerical model of the clinical setting (6) comprising the orientation, shape and position said clinical setting (6) from said image tracking (S i).
  • the system (1) is configured to incorporate the plurality of points Characteristic reference (F i) determined by the tracking algorithm (A) belonging to the clinical field to the numerical model associated with said image tracking (S i).
  • a data structure for storing the numerical model comprises tracking image (S i) and sub-data structures used to store other items such as equations such models surfaces and volumes, landmarks or other images representing scalar values of properties.
  • control module (2) is further configured to transform the numerical model associated with the image tracking (S i) from the transformation (F i ) such that the distance between the reference points characteristic (F i ) of the follow-up image (S i ) and the reference points (F i-1 ) of the immediately preceding follow-up image (S i _ 1 ) is minimal.
  • the system (1) additionally comprises a module for distinguishing critical structures (4).
  • Said module has the function of distinguishing, identifying or discriminating which tissues or structures from those present in the clinical setting (6) are critical or not.
  • the critical structure distinction module discriminates between the tissues on which it is possible to carry out an ablation or cutting operation from those that cannot.
  • the distinction module discriminates between the tissues on which the treatment should be applied and those that should not.
  • the diagnostic module discriminates between the tissues of interest on which the diagnosis has to focus and those that are irrelevant to determine the healthy or pathological condition of the patient.
  • the technique used by the critical structure distinction module (4) is laser-induced plasma spectroscopy (LIBS).
  • LIBS laser-induced plasma spectroscopy
  • OCT optical coherence tomography
  • PS-OCT - polarization-sensitive optical coherence tomography
  • This additional module which communicates with the control module (2) and is controlled by it (2), generate measurements (m j ) at a plurality of spatial points in its field of view (C v ), where j is an index that indicates different instants of time.
  • the measurements (m j ) carried out by the critical structure distinction module (4) are stored in a memory comprised in the system (1). Furthermore, these measurements (m j ) have to be updated in subsequent moments in time.
  • the number of measurements (m j ) generated by the critical structures distinction module (4) during the clinical event can be a predefined integer greater than or equal to one, established at the end of said clinical event; or settle down to reach a predefined time limit.
  • the critical structure distinction module (4) processes them and performs a distinction of one or more structures (D j ) at said plurality of spatial points (m j ). Finally, it sends the information associated with the distinction of structures (D j ) to the control module (2). In a preferred embodiment, so that this information and the structure tracking are consistent, the control module (2) transforms the structure distinction information (D j ) from the transformation (T i ) determined by the tracking algorithm (TO).
  • This information associated with the distinction of structures (D j ) serves as the basis for selecting the at least one region of interest (R) of a follow-up image (S 0 , S i ) taking into account that the moment of generation of measurements ( m j ) must be the closest to the time of capture of the follow-up image to minimize the effects of movement of the clinical setting (6).
  • the control module (2) generates the at least one region of interest (R) from the information associated with the distinction of structures (D j ).
  • the minimum requirement is that the region of interest (R) must contain at least the region of spatial points that encompass a critical structure according to the information provided by the distinction module (4).
  • the boundary is established through an envelope. Even more preferably, the shell is convex.
  • the control module (2) adds a certain margin of safety to said envelope by generating an expanded envelope a certain distance.
  • the medical staff selects the at least one region of interest (R) from the information associated with the distinction of structures (D j ) and sends it to the control module (2).
  • the visualization fields (C s , C v ) of the vision unit (3) and of the module for distinguishing critical structures (4), as can be seen in Figure 4, do not have to cover the same extent. Preferably, both display fields at least partially overlap. For the monitoring of the critical structures of the clinical setting (6) to be accurate, it is required that both visualization fields (C s , C v ) have the same system of coordinates.
  • the critical structure distinction module (4) and the vision unit (3) of the system (1) shown in Figure 4 are spatially calibrated. Additionally, the critical structures distinction module (4) is also spatially calibrated so that its system has the same references as the real space in which the clinical event takes place.
  • the visualization field of the critical structure distinction module (4) is limited to the region of interest (R) with or without predefined safety margins. In this way, it is possible to reduce the measurement time of the distinction module (4) and increase the refresh rate in critical structures.
  • the system (1) of Figure 4 additionally comprises a positioning and / or spatial orientation unit (5) coupled to the vision unit (3).
  • This unit (5) is connected and controlled by the control module (2), which is additionally configured to move and / or orient the vision unit (3) by means of this positioning and / or spatial orientation unit (5) if the control module (2) automatically detects that the at least one region of interest (R) is located at a distance less than a predetermined distance from any of the ends of the field of view (C v ) of the structure distinction module reviews (4).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

La presente invención está dirigida a un sistema de seguimiento de un escenario clínico no estático, preferiblemente un campo quirúrgico, de forma que pueden localizarse diferentes elementos de interés durante todo el evento clínico; en particular, se pretende un seguimiento de alta precisión y distinción de tejidos biológicos críticos, como pueden ser los nervios o los vasos sanguíneos.

Description

SISTEMA DE SEGUIMIENTO DE UN ESCENARIO CLÍNICO
DESCRIPCIÓN OBJETO DE LA INVENCIÓN
La presente invención está dirigida a un sistema de seguimiento de un escenario clínico no estático, preferiblemente un campo quirúrgico, de forma que pueden localizarse diferentes elementos de interés durante todo el evento clínico; en particular, se pretende un seguimiento de alta precisión y distinción de tejidos biológicos críticos, como pueden ser los nervios o los vasos sanguíneos.
ANTECEDENTES DE LA INVENCIÓN
Las técnicas de detección e imagen para la distinción de tejidos biológicos tienen un enorme interés en el ámbito clínico, ya que permiten revelar la presencia de estructuras críticas, como pueden ser nervios, vasos sanguíneos, glándulas o tumores presentes en dicho tejido biológico. Gracias a ello, las posibilidades de aplicación para diagnóstico, cirugía y tratamiento son cuantiosas.
En condiciones de laboratorio, estas técnicas se validan sobre muestras fijas. Sin embargo, al aplicar dichas técnicas a escenarios clínicos surge un importante obstáculo impuesto por las condiciones reales del propio escenario clínico y es que éste no es estático. La movilidad del escenario se debe a diversos factores, incluyendo la respiración del paciente, los movimientos producidos por el contacto y presión del personal médico y de los instrumentos sobre los tejidos, las vibraciones, y otros eventos puntuales no descartables como por ejemplo espasmos, choques accidentales, etc.
Este problema se agrava en ciertas técnicas avanzadas de imagen que permiten visualizar y distinguir tejidos con gran precisión a lo largo de un área grande o incluso un volumen extenso. En estos casos, suelen requerirse tiempos de medida y/o postprocesado de datos prolongados, en cuyo caso aumenta la probabilidad de que se produzcan movimientos del escenario clínico.
La información relacionada con la distinción de un tejido ha de irse actualizando durante todo el evento clínico; es decir, una vez se dispone de una medida de distinción inicial, ésta tendrá que variar de acuerdo a los propios movimientos del escenario clínico a lo largo del tiempo. Con la actualización de esta información podremos saber, por ejemplo, si un nervio distinguido por el sistema que estaba en una posición inicial se ha desplazado a otra posición diferente tras el movimiento del escenario clínico.
Esta información es de gran relevancia, por un lado, para el posicionamiento del propio sistema de distinción de tejidos y, por otro, porque sirve como información de apoyo para el personal clínico o el sistema robótico encargado de la intervención, en caso de que éste se precise.
En este contexto resultan cruciales los algoritmos de seguimiento de objetos, ampliamente conocidos en el ámbito de la visión artificial o visión por ordenador. Dichos algoritmos permiten, analizando un conjunto de imágenes, reconocer y seguir objetos en dichas imágenes midiendo las variaciones en la posición del objeto (en general, traslaciones y rotaciones) entre imágenes consecutivas.
La aplicación actual de algoritmos de seguimiento a escenarios clínicos se basa típicamente en imágenes RGB adquiridas mediante una o varias cámaras. A partir de la totalidad de la imagen, el algoritmo de seguimiento realiza, en primer lugar, una selección de puntos característicos de la imagen. Los puntos característicos elegidos desempeñan el papel de puntos de referencia que deberán localizarse, total o parcialmente, en imágenes siguientes con el objetivo de inferir el movimiento del objeto con respecto al sistema de medida y realizar así el seguimiento del escenario clínico.
Los algoritmos de seguimiento actuales presentan dos limitaciones:
• La selección de puntos característicos se realiza en base a criterios puramente visuales, como por ejemplo luminosidad, contraste, rugosidad, etc.
• El seguimiento de los puntos característicos asume preferiblemente que el objeto es un sólido rígido y que, por lo tanto, toda la red de puntos se somete a las mismas rotaciones y traslaciones.
En el primer caso, los puntos característicos se eligen sin conocer nada acerca del tipo de tejidos presentes en las imágenes, es decir, se realiza un seguimiento de cualquiera de los elementos visualizados en las imágenes sin tener en cuenta qué estructuras son de mayor interés. Sin embargo, en un evento clínico lo habitual es que las estructuras críticas constituyan una subregión pequeña dentro de toda la imagen y es en dichas estructuras donde interesaría maximizar la precisión del seguimiento.
En el segundo caso, el inconveniente es que los métodos de seguimiento son válidos para tejidos y/o estructuras duros no deformables, como el hueso, pero cometen errores en el seguimiento de tejidos blandos. Aunque existen métodos de seguimiento diseñados específicamente para tejidos deformables, estos exigen aumentar considerablemente el número de puntos característicos de la imagen para poder modelizar de la forma más precisa posible el modo en el que se produce la deformación del tejido, lo que conlleva tiempos de cómputo inasumibles en aplicaciones clínicas en condiciones realistas.
La siguiente invención propone una solución a los problemas anteriores mediante un sistema de seguimiento de un escenario clínico no estático capaz de conseguir una gran precisión en el seguimiento de estructuras de especial interés durante todo el evento clínico.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención propone una solución a los problemas anteriores mediante un sistema de seguimiento de un escenario clínico según la reivindicación 1. En reivindicaciones dependientes se definen realizaciones preferidas de la invención.
Un primer aspecto inventivo proporciona un sistema para seguimiento de un escenario clínico que comprende: a) un módulo de control, con capacidad de procesamiento; b) una unidad de visión, conectada al módulo de control y controlada por dicho módulo de control, adaptada para capturar imágenes de un escenario clínico dentro de su campo de visualización, en donde las imágenes capturadas proveen de información de la orientación, forma y posición de dicho escenario clínico; y en donde el módulo de control y la unidad de visión están configurados para:
- capturar, mediante la unidad de visión, al menos una imagen de seguimiento inicial del escenario clínico dentro del campo de visualización de la unidad de visión;
- capturar, mediante la unidad de visión, una pluralidad de imágenes de seguimiento del escenario clínico dentro del campo de visualización de la unidad de visión en diferentes instantes de tiempo, donde i es un índice que indica el instante temporal de captura de la imagen de seguimiento i — ésima capturada;
- mediante un algoritmo de seguimiento ejecutado en el módulo de control: o determinar una pluralidad de puntos de referencia característicos iniciales pertenecientes al escenario clínico y mostrados en la al menos una imagen de seguimiento inicial, y establecer su posición en el espacio; o para cada una de las imágenes de seguimiento, determinar una pluralidad de puntos de referencia característicos pertenecientes al escenario clínico, gue tienen correspondencia con puntos de referencia característicos determinados en la imagen de seguimiento inmediatamente anterior, y establecer su posición en el espacio; o determinar una transformación gue relaciona la posición de los puntos de referencia característicos determinados en el instante i con la posición de los puntos de referencia característicos correspondientes determinados en el instante i — 1; y en donde el sistema está caracterizado por gue el módulo de control está adicionalmente configurado para recibir o generar al menos una región de interés cuando la imagen de seguimiento capturada es la al menos una imagen de seguimiento inicial y posicionar en el espacio la al menos una región de interés respecto de cada imagen de seguimiento y, por gue el algoritmo de seguimiento está configurado de tal modo gue la concentración de puntos de referencia característicos en la al menos una región de interés es superior a la concentración de puntos de referencia característicos en el resto de la imagen de seguimiento.
A lo largo de este documento, se entenderá que escenario clínico es el conjunto de elementos o estructuras sobre los cuales se lleva a cabo un evento clínico como una cirugía, un diagnóstico o un tratamiento. De manera preferida, el evento clínico es una cirugía y el escenario clínico es un campo quirúrgico que comprende tejidos biológicos y eventualmente otro tipo de elementos presentes durante dicha cirugía; por ejemplo, instrumental quirúrgico, gasas y algodones, un sistema robótico encargado de la operación o las manos del propio personal médico. Como personal médico, clínico o sanitario ha de entenderse cualquier profesional dedicado a la medicina que puede intervenir en el procedimiento quirúrgico, de diagnóstico o de tratamiento; por ejemplo, cirujanos, enfermeros o asistentes. Un escenario clínico, en general, no es estático sino que va cambiando a lo largo del tiempo por diversos factores, entre otros, la respiración del paciente, los movimientos producidos por el contacto y presión del personal médico y de los instrumentos sobre los tejidos, las vibraciones o los espasmos del paciente.
El sistema de la invención permite hacer un seguimiento de los elementos de un escenario clínico con una gran precisión. Para ello, cuenta con dos elementos: un módulo de control y una unidad de visión. Como módulo de control ha de entenderse un conjunto de medios computacionales con capacidad de procesamiento de datos; por ejemplo, un ordenador o un microcontrolador. Como unidad de visión ha de entenderse al menos un componente visual adaptado para capturar imágenes; por ejemplo, una o varias cámaras RGB o un sistema de imagen médica radiológico. El módulo de control y la unidad de visión están conectados entre sí y trabajan en conjunto para llevar a cabo el seguimiento del escenario clínico. De manera preferida, el módulo de control envía instrucciones a la unidad de visión y recibe datos de la misma para su procesamiento. La unidad de visión comprende un determinado campo de visualización o campo de visión, entendiendo como tal el área del escenario clínico que la unidad de visión puede capturar. Así, la unidad de visión captura o adquiere imágenes dentro de aquella parte del escenario clínico que es visible o capturable por su campo de visualización. En primer lugar, la unidad de visión captura al menos una imagen de seguimiento inicial del escenario clínico para obtener información de la orientación, forma y posición de los tejidos y demás elementos comprendidos en dicho escenario clínico. Esta al menos una imagen servirá como punto de partida para hacer un seguimiento del escenario clínico - de dichos tejidos y demás elementos - a lo largo del tiempo mediante el análisis de nuevas imágenes de seguimiento capturadas por la unidad de visión en diferentes instantes de tiempo i — ésimos. A lo largo del documento, el índice i indica el instante temporal en que la unidad de visión captura una imagen de seguimiento diferente, sin perjuicio de que esta notación pueda verse modificada. El módulo de control recibe las imágenes capturadas por la unidad de visión para procesarlas y llevar a cabo el seguimiento del escenario clínico. Dicho procesamiento está basado en un algoritmo de seguimiento. A lo largo de este documento, se entenderá como algoritmo de seguimiento el conjunto de instrucciones o reglas matemáticas, geométricas o lógicas, ejecutadas por el módulo de control, capaces de reconocer objetos visibles en las imágenes de seguimiento y establecer una correspondencia entre ellos. De esta forma, el algoritmo de seguimiento puede estimar las posiciones de un mismo objeto en dos imágenes de seguimiento diferentes y calcular la transformación necesaria que habría que aplicar sobre una imagen capturada en un determinado instante de tiempo para obtener el objeto posicionado según se presenta en ¡a otra imagen capturada en otro instante de tiempo.
En el contexto de ¡a invención, el reconocimiento de ¡os objetos se basa en la determinación de una pluralidad de puntos de referencia característicos en las imágenes de seguimiento capturada por ¡a unidad de visión. A lo largo del documento, como puntos de referencia característicos - o simplemente puntos de referencia - han de entenderse píxeies o regiones de píxeies fácilmente distinguibles respecto a su entorno, por ejemplo:
1) puntos o regiones característicos de la imagen; como un lunar en ¡a piel o un brillo en un instrumento quirúrgico; o
2) colores específicos de ¡a imagen; como el color rojo de la sangre o el brillo metálico del instrumental quirúrgico; o
3) texturas específicas de la imagen; como la textura acuosa de determinados fluidos; o
4) regiones de la imagen con alto contraste respecto a su entorno, como la presencia de un tumor; o
5) regiones de la imagen con alta heterogeneidad respecto a su entorno, como la presencia de un conjunto de vasos sanguíneos frente a una zona homogénea como ¡a piel; o
6) una combinación de cualquiera de las anteriores. Los puntos de referencia característicos que sirven como punto de partida para hacer el seguimiento del escenario clínico se determinan medíante ei algoritmo de seguimiento en ¡a al menos una imagen de seguimiento inicial. Una vez determinados dichos puntos, se establece su posición en ei espacio, que servirá como referencia para el propio seguimiento.
Se entiende que el sistema computacional del módulo de control o de la unidad de visión hace uso de un sistema de coordenadas en el espacio donde establece una correspondencia entre los puntos observados en las imágenes capturadas por la unidad de visión y puntos de dicho espacio.
En posteriores instantes de tiempo i— ésimos, el algoritmo de seguimiento determina los puntos de referencia característicos en cada una de las imágenes de seguimiento i — ésimas. Estos nuevos puntos de referencia, a priori, tienen correspondencia con los puntos de referencia capturados en el instante de tiempo anterior- podiendo ser dicho instante de tiempo anterior el instante de tiempo inicial. Una vez determinados los nuevos puntos de referencia, el algoritmo de seguimiento establece su posición en el espacio de acuerdo al sistema de coordenadas preestablecido.
Finalmente, el algoritmo de seguimiento determina qué transformación relaciona con mayor precisión -o menor error - las posiciones de los nuevos puntos de referencia de una imagen de seguimiento con los puntos de referencia de la imagen de seguimiento inmediatamente anterior. Dicha transformación, de manera preferida, es una transformación afín que comprenderá ai menos una rotación y un desplazamiento.
Si no existe ningún tipo de información adicional, el algoritmo de seguimiento determina los puntos de referencia característicos distribuidos por toda la imagen de seguimiento de manera que existe un compromiso entre el seguimiento de todos los elementos que aparecen en la imagen de seguimiento -tejidos y otros elementos del escenario clínico - y la precisión que se alcanza en dicho seguimiento. Los algoritmos de seguimiento capaces de llevar a cabo estas funciones son conocidos.
Sin embargo, el módulo de control está adicionalmente configurado para recibir o para generar información adicional que mejore la precisión en el seguimiento de aquellas partes del escenario clínico que tienen un mayor interés. A lo largo del documento se entenderá que recibir la información significa que ésta proviene de un elemento diferente al propio módulo de control mientras que con generar la información se entenderá que es el propio módulo de control el que produce dicha información adicional.
La información adicional comprende una o varias regiones de interés. A lo largo del documento, se entenderá que una región de interés es una sub-regíón de una imagen de seguimiento en la que aparecen elementos del escenario clínico sobre ios que se quiere obtener un seguimiento de mayor precisión. Esta o estas regiones de interés se posicionan en el espacio respecto a las imágenes de seguimiento por medio de! módulo de control.
En un ejemplo particular, el módulo de control no recibe ni genera una región de interés, por lo que se emplea una región de interés por defecto correspondiente a un subconjunto de la unidad de visión por completo.
La región de interés establece un sub-dominio de dimensiones estrictamente menores que el campo de visualización de la unidad de visión.
De manera preferida, la o las regiones de interés comprenden estructuras críticas, A lo largo de este documento, se entenderá como estructura cualquiera de ¡os elementos presentes en el escenario clínico y como estructura crítica aquella sobre la cual se requiere hacer un seguimiento con una alta precisión. Por ejemplo, si el evento clínico es una cirugía, conviene hacer un seguimiento muy exhaustivo de estructuras críticas como los nervios o los vasos sanguíneos para conocer su posición espacial en cuasi tiempo real y, de esta forma, evitar que el persona! médico o un sistema robotizado encargado de la operación intervengan o incluso seccionen dichas estructuras críticas.
Este seguimiento exhaustivo se consigue gracias a que el algoritmo de seguimiento está adicionalmente configurado para focalizar ¡a determinación de puntos de referencia característicos en la o las regiones de interés de forma que, cada vez que e! algoritmo determina puntos de referencia en una imagen de seguimiento, la concentración de dichos puntos de referencia en ¡a o las regiones de interés es mayor que ¡a concentración de puntos de referencia en el resto de la imagen de seguimiento.
Según un ejemplo específico, el número de puntos de referencia utilizados por el algoritmo de seguimiento fuera de ¡a región de interés es nulo.
Al aumentar la densidad de puntos de referencia en las regiones de interés de la imagen de seguimiento se maximiza ¡a precisión del seguimiento de los elementos visibles en dichas regiones de interés. Esto se consigue a expensas de la precisión en el resto de zonas de la imagen - zonas no críticas- para las cuales no es crucial que ¡a precisión del seguimiento sea alta. Ventajosamente, el hecho de que las regiones de interés son normalmente pequeñas en comparación con toda la imagen de seguimiento permite que la densidad aumentada de puntos característicos resulte en una mejora considerable de la precisión en el seguimiento de las estructuras críticas que aparecen en dichas regiones de interés.
Alternativamente, aunque no se requiera más precisión que la otorgada por los algoritmos de seguimiento convencionales, la invención tendría otra ventaja adicional y es que aumentaría considerablemente la velocidad del seguimiento. Esto es posible gracias a que la elección óptima de los puntos de referencia característicos permite reducir su número total y, en consecuencia, el tiempo de cómputo disminuye.
En una realización particular, el módulo de control está configurado para, por cada imagen de seguimiento: determinar un modelo numérico del escenario clínico gue comprende la orientación, forma y posición de dicho escenario clínico a partir de dicha imagen de seguimiento; e incorporar la pluralidad de puntos de referencia característicos determinados por el algoritmo de seguimiento pertenecientes al campo clínico al modelo numérico asociado a dicha imagen de seguimiento.
A lo largo de este documento, se entenderá que el modelo numérico de un escenario clínico es una representación simplificada de dicho escenario clínico que emplea ecuaciones, funciones o fórmulas matemáticas que expresan relaciones, variables y parámetros para estudiar cómo se comportaría dicho escenario clínico ante diferentes situaciones. Este modelo numérico es capaz de reproducir las propiedades de la entidad física modelada bajo las limitaciones impuestas por los elementos que definen dicho modelo numérico. Por ejemplo un modelo numérico puede representar computacionalmente un tejido biológico con elementos geométricos que determinan las estructuras de dicho tejido así como las propiedades de cada uno de los componentes del tejido.
Para cada imagen de seguimiento capturada por la unidad de visión, el módulo de control determina un modelo numérico del escenario clínico capturado para disponer de la información asociada a dicho escenario clínico: orientación, forma y posición de los tejidos y demás elementos presentes en el escenario. Adicionalmente, los modelos numéricos incorporan los puntos de referencia característicos determinados por el algoritmo de seguimiento para cada imagen de seguimiento. La creación de modelos numéricos en el contexto de la invención, ventajosamente, permite disponer de toda la información que se va analizando a lo largo del tiempo para poder determinar las transformaciones necesarias entre imágenes de seguimiento consecutivas y, así, llevar a cabo el seguimiento del escenario clínico.
En una realización particular, el algoritmo de seguimiento está adicionalmente configurado para determinar puntos de referencia característicos en la imagen de seguimiento i — ésima no determinados en la imagen de seguimiento inmediatamente anterior; y/o descartar puntos de referencia característicos en el instante de tiempo i — ésimo determinados en la imagen de seguimiento capturada en el instante de tiempo inmediatamente anterior.
Como ya se ha comentado anteriormente, el escenario clínico no es estático sino que varía a lo largo del tiempo por diversos factores. Así, los puntos de referencia característicos determinados por el algoritmo de seguimiento en una imagen de seguimiento podrían no tener correspondencia con los puntos de referencia característicos de la imagen de seguimiento inmediatamente anterior o posterior.
En particular, es posible que el algoritmo de seguimiento determine puntos de referencia en una imagen de seguimiento que no se habían determinado en la imagen de seguimiento anterior; por ejemplo, si una región de gran contraste - que llevaría a la determinación de un punto de referencia -comienza a ser visible por la unidad de visión en el instante i — ésimo cuando en el instante i — 1 estaba oculta por otra estructura o no formaba parte del campo de visualización de la unidad e visión.
De igual forma, es posible que el algoritmo de seguimiento tenga que descartar puntos de referencia determinados en una imagen de seguimiento en el instante i — 1 que no tienen correspondencia con ninguno de los puntos de referencia detectados en la imagen de seguimiento i — ésima. Con descartar un punto de referencia ha de entenderse que el punto de referencia descartado en el instante i — ésimo no contribuye a la determinación de la transformación i — ésima.
Un motivo de descarte es que un punto de referencia característico determinado en el instante i — 1, por ejemplo a partir de una estructura de un color específico, desaparece del campo de visualización de la unidad de visión en el instante de tiempo i — ésimo. Nótese que en esta situación es posible que el algoritmo de seguimiento almacene internamente el punto de referencia detectado en el instante i — 1 de manera temporal a la espera de que dicho punto vuelva a aparecer en el campo de visualización de la unidad de visión en instantes de tiempo posteriores.
Otro motivo por el cual el algoritmo de seguimiento puede descartar puntos de referencia es que ya no sean buenos candidatos en los que basar el seguimiento del escenario clínico.
Ventajosamente, el algoritmo de seguimiento según un ejemplo preferido es adaptable a los cambios que va experimentando el propio escenario clínico. Esto permite que sólo se analicen puntos de referencia que pueden conseguir una buena precisión en el seguimiento del escenario clínico de forma que no se malgastan recursos computacionales en el procesamiento de puntos de referencia que no son de interés.
En una realización particular, el módulo de control está adicionalmente configurado para recibir o generar al menos una nueva región de interés en una imagen de seguimiento i — ésima, para i > 0, incluyéndose en y/o reemplazando total o parcialmente al conjunto de regiones de interés preexistentes.
A lo largo de todo el evento clínico, el módulo de control puede recibir o generar al menos una nueva región de interés. Estas nuevas regiones de interés pasarán a formar parte del conjunto de regiones de interés según una de las siguientes opciones: la al menos una nueva región de interés pude incluirse en el conjunto de regiones de interés preexistente como una región de interés adicional; o la al menos una nueva región de interés puede sustituir total o parcialmente a la o las regiones de interés preexistentes; o puede darse la combinación de las dos anteriores; es decir, una o varias de las nuevas regiones de interés se incluyen en el conjunto de regiones de interés preexistentes como regiones de interés adicionales y, a la vez, otra u otras de las nuevas regiones de interés sustituyen total o parcialmente a las regiones de interés preexistentes.
Con regiones de interés preexistentes en un instante de tiempo determinado han de entenderse la o las regiones de interés que se recibieron o generaron por el módulo de control en los instantes de tiempo anteriores. Igualmente, se entiende que una región de interés puede estarformada por la unión de sub-regiones de interés no conexas entre sí.
Una nueva región de interés, además: puede diferir de una región de interés preexistente en cuanto a su posición debido a los propios movimientos que experimenta el escenario clínico, puede ser completamente diferente a cualquiera de las regiones de interés preexistentes; por ejemplo, porque en dicha nueva región de interés aparecen estructuras críticas, sobre las que se requiere disponer de un seguimiento de gran precisión, que en instantes de tiempo anteriores no aparecían en el campo de visualización de la unidad de visión.
Esta realización supone una gran ventaja ya que el seguimiento del escenario clínico se va adaptando a los requerimientos del propio evento clínico. Por un lado, se tiene en cuenta que las regiones de interés no son estáticas - al igual que el propio escenario clínico. Por otro lado, a medida que el evento clínico evoluciona, el seguimiento del escenario clínico se actualiza para adaptarse a la aparición/desaparición de estructuras críticas.
En una realización particular, el módulo de control y lo unidad de visión están previamente calibrados espacialmente deforma que se establece una correspondencia entre lo posición de los puntos del campo de visualización de lo unidad de visión y lo posición de los puntos del espacio real.
A lo largo de este documento, se entenderá como espacio real el espacio de referencia en el que transcurre el evento clínico; por ejemplo, si dicho evento clínico es una cirugía, el espacio real es la mesa de operaciones junto con el paciente, el personal sanitario y todos los dispositivos necesarios para realizar la operación.
Para que el seguimiento del escenario clínico sea preciso, es imprescindible que el sistema de coordenadas del sistema que realiza dicho seguimiento tenga las mismas referencias que el espacio real. De esta forma, los píxeles o vóxeles del campo de visualización de la unidad de visión han de corresponder con puntos físicos del espacio real. Esta correspondencia es posible cuando existe una calibración espacial entre el propio sistema de seguimiento y el espacio real de referencia. En una realización particular, la transformación entre una primera y una segunda imágenes de seguimiento consecutivas es una transformación lineal correspondiente a un modelo de sólido rígido del escenario clínico, donde la transformación lineal verifica gue la distancia entre los puntos de referencia característicos de la primera imagen de seguimiento transformados por la transformación y los puntos de referencia característicos de la segunda imagen de seguimiento es mínima.
A lo largo de este documento, se entenderá que en un modelo de sólido rígido se considera que los cuerpos son extensos e indeformables de forma que las posiciones relativas de las partículas que los constituyen se mantienen invariables.
Bajo esta premisa, la transformación determinada por el algoritmo de seguimiento es de tipo lineal, entendiendo como tal una función que define la relación entre dos vectores X’ y X a través de una matriz de rotación M y un vector de desplazamiento n:
X' = M * X + n
Esta transformación lineal, conocida como transformación afín, es tal que la distancia entre dos puntos antes y después de la transformación se conserva por lo que es aplicable a aquellos casos en los que se verifica que la distancia entre los puntos de referencia característicos de la primera imagen de seguimiento transformados por la transformación y los puntos de referencia característicos de la segunda imagen de seguimiento es mínima.
En la realidad, un escenario clínico no es un sólido rígido ya que los tejidos biológicos sufren deformaciones con el paso del tiempo, por ejemplo, por la respiración del paciente o por la interacción entre el instrumental quirúrgico y el paciente. Sin embargo, modelar su comportamiento como un sólido rígido simplifica enormemente el proceso de seguimiento del escenario clínico ya que las transformaciones lineales son computacionalmente mucho más eficientes.
Esta transformación lineal asume que el escenario clínico es no deformable a lo largo del tiempo. Así, un experto en la materia no emplearía una transformación de este tipo para hacer un seguimiento de estructuras que sufren deformaciones temporales, como las propias del escenario clínico de la invención. Incluso si el experto en la materia decidiera emplear este tipo de transformación, tendería a separar lo máximo posible los puntos de referencia en las imágenes de seguimiento para cubrir en la medida de lo posible todo el escenario clínico y sobre todo obtener una mayor precisión en la orientación de los elementos referenciados, obteniendo así una precisión en el seguimiento de estructuras que sería insuficiente en el contexto de la invención, especialmente en el seguimiento de estructuras críticas. Para mejorar esta precisión, el experto en la materia utilizaría un número de puntos de referencia muy superior al que cualquier algoritmo de seguimiento estándar determinaría, lo que aumentaría el coste computacional de forma exponencial haciendo inviable el seguimiento de escenarios clínicos en cuasi tiempo real.
Sin embargo, el sistema de la invención se caracteriza por que el módulo de control recibe o genera una o varias regiones de interés en las que el algoritmo de seguimiento determina la mayor concentración de puntos de referencia característicos, lo que sorprendentemente permite aplicar una sencilla transformación lineal para llevar a cabo el seguimiento de un escenario deformable con una alta precisión en el seguimiento de las estructuras críticas visibles en la o las regiones de interés. Por un lado, las regiones de interés son de un tamaño limitado en comparación con el tamaño de las imágenes de seguimiento y, por otro, la concentración de puntos de referencia en dichas regiones es mayor que en el resto de la imagen de seguimiento. Así, las posiciones relativas entre los puntos de referencia característicos de las regiones de interés no sufren o apenas sufren variaciones entre imágenes de seguimiento consecutivas.
Con este tipo de transformación se perdería precisión en el seguimiento del resto de estructuras visibles en las imágenes de seguimiento ya que no se está teniendo en cuenta la deformación real que sufren dichas estructuras. Sin embargo, dado que estas estructuras no están contenidas en regiones de interés, puede considerase que no son críticas y, por tanto, que su seguimiento no requiere una gran precisión. La principal ventaja de aplicar este modelo es su sencillez y el bajo coste computacional que requiere la determinación de la transformación.
En una realización particular, lo transformación es una transformación no lineal correspondiente a un modelo de deformación, donde cada par de puntos de referencia característicos entre dos imágenes de seguimiento consecutivas tiene su propia correspondencia. Dado que el escenario clínico es deformable, emplear un modelo de sólido deformable para modelarlo es una opción más precisa y realista que la descrita en la anterior realización. A lo largo de este documento, se entenderá que en un modelo de sólido deformable se considera que los cuerpos no cumplen la condición de sólido rígido, es decir, la deformación que sufren es el resultado del cambio de las distancias relativas entre las partículas que componen el cuerpo de acuerdo al modelo de deformación sujeto al cambio de posición de los puntos de referencia utilizados como puntos de control de dicho modelo de deformación.
En este tipo de modelado, la transformación determinada por el algoritmo de seguimiento es no lineal, existiendo una correspondencia diferente entre cada par de puntos de referencia encontrados en imágenes de seguimiento consecutivas. Este tipo de transformación es la que, a priori, emplearía un experto en la materia ya que el escenario clínico se deforma con el paso del tiempo. Sin embargo, tendería a separar lo máximo posible los puntos de referencia en las imágenes de seguimiento para cubrir en la medida de lo posible todo el escenario clínico y sobre todo para conseguir deformaciones suaves, sobre todo en modelos de deformación interpolatorios, al hacer uso de un área mayor donde distribuir los puntos de referencia. Aunque la precisión obtenida en el seguimiento de estructuras sería mayor a la obtenida por una transformación lineal, no estaría focalizada en las estructuras críticas tal como se requiere en el contexto de la invención. Así, al no disponer de información sobre las estructuras críticas, el experto en la materia utilizaría un número de puntos de referencia muy superior al que cualquier algoritmo de seguimiento estándar determinaría, lo que aumentaría el coste computacional de forma exponencial haciendo inviable el seguimiento de escenarios clínicos en cuasi tiempo real. Nótese que el coste computacional en este caso sería incluso un factor mucho más crítico que para una transformación lineal, ya que en este caso hay que determinar una correspondencia diferente para cada par de puntos.
Por el contrario, al utilizar este modelo en el contexto de la invención, es decir, empleando regiones de interés con concentraciones de puntos de referencia mayores que en el resto de la imagen de seguimiento, conlleva la ventaja de obtener una precisión muy alta en el seguimiento de las estructuras pertenecientes a la o las regiones de interés. Evidentemente, la determinación de este tipo de transformación supone un mayor coste computacional que el correspondiente a una única transformación lineal para todos los puntos de referencia.
En una realización particular, adicionalmente, se establece una transformación para el resto de puntos que no son puntos de referencia característicos mediante un modelo de deformación interpolatorio sujeto a que los puntos de referencia característicos tienen la correspondencia dada por la transformación.
Adicionalmente, el modelado de sólido deformable permite establecer transformaciones diferentes para el resto de puntos de las imágenes de seguimiento que no corresponden a puntos de referencia característicos. Esta transformación se estima mediante interpolación de las transformaciones determinadas para los puntos de referencia característicos.
Ventajosamente, este modelado es aún más completo y realista que el anterior, lo que permite un aumento aún mayor en la precisión del seguimiento del escenario clínico.
En una realización particular, el sistema adicionalmente comprende una unidad de posicionamiento y/u orientación espacial acoplada a la unidad de visión, conectada al módulo de control y controlada por dicho módulo de control, en donde el módulo de control adicionalmente está configurado para mover, desplazar y/u orientar, la unidad de visión por medio de la unidad de posicionamiento y/u orientación espacial aplicando la transformación a la posición y orientación antes del movimiento para determinar la nueva posición y orientación, para la captura de imágenes cuasi-estáticas del escenario clínico.
La unidad de visión puede moverse para reposicionarse y/o reorientarse durante el transcurso del evento clínico. Para ello, el sistema cuenta con una unidad adicional acoplada a la unidad de visión: la unidad de posicionamiento y/u orientación. A lo largo de este documento, se entenderá que la unidad de posicionamiento y/u orientación comprende medios mecánicos adaptados para desplazar y/o para orientar la unidad de visión. Además, dicha unidad de posicionamiento y/u orientación está conectada al módulo de control de forma que recibe del mismo instrucciones para posicionar la unidad de visión.
Una vez determinada la transformación, ya sea lineal o no-lineal, la unidad de visión puede moverse (desplazarse y/u orientarse) de acuerdo a dicha transformación para llevar a cabo el seguimiento del escenario clínico. Para ello, el módulo de control aplica la transformación a la posición y orientación de la unidad de visión - antes del movimiento - para determinar su nueva posición y orientación. La unidad de posicionamiento y/u orientación recibe, desde el módulo de control, la nueva posición y orientación de la unidad de visión y procede a moverla de acuerdo a dicha nueva posición y orientación (reposicionándola y/u reorientándola).
El campo de visualización de la unidad de visión, tras cada transformación, capturará imágenes de seguimiento cuasi-estáticas; es decir, la percepción que se tendrá de estas imágenes de seguimiento es que no han ido variando captura tras captura o, al menos, que dicha variación ha sido mínima. Así, el sistema sigue activamente el movimiento del escenario clínico de modo que, aunque éste experimente un cierto movimiento, el sistema siempre estará posicionado respecto al escenario de la misma manera por lo que la posición relativa unidad de visión - escenario clínico permanecería idealmente estática.
En un ejemplo particular, cuando la transformación de acuerdo a la cual la unidad de visión se mueve (desplaza y/u orienta) es de tipo no lineal, dicha transformación corresponde con la más representativa del conjunto de transformaciones determinadas para cada par de puntos de referencia. En otro ejemplo particular, dicha transformación representativa también tiene en cuenta el resto de transformaciones de puntos que no son puntos de referencia.
Ventajosamente, gracias al reposicionamiento y/o la reorientación de la unidad de visión, los elementos comprendidos en el escenario clínico no solo son perceptibles en todo momento sino que se dispone de información de orientación, forma y posición de dichos elementos, siendo dicha información de gran precisión para el caso de las estructuras críticas contenidas en la o las regiones de interés.
En una realización particular, el sistema adicionalmente comprende una unidad de posicionamiento y/u orientación espacial acoplada a la unidad de visión , conectada al módulo de control y controlada por dicho módulo de control, en donde el módulo de control adicionalmente está configurado para mover, desplazar y/u orientar, la unidad de visión por medio de la unidad de posicionamiento y/u orientación espacial cuando el módulo de control detecta automáticamente que la al menos una región de interés se locolizo o uno distancio menor que una distancia predeterminada de alguno de los extremos del campo de visualización de lo unidad de visión.
El módulo de control puede detectar que la o las regiones de interés que ha generado o ha recibido se localizan en un extremo del campo de visualización de la unidad de visión, en particular cuando la distancia al extremo del campo de visualización es menor que una cierta distancia o margen de seguridad predeterminado. En tal caso, existe riesgo de que en las subsiguientes iteraciones del método la o las regiones de interés desaparezcan del campo de visualización.
Para evitarlo, el módulo de control, de manera automática, envía órdenes de mover (reposicionar y/o reorientar) la unidad de visión para que la o las regiones de interés se localicen a una distancia mayor que dicho margen de seguridad predeterminado respecto de los extremos del campo de visualización de la unidad de visión.
Este reposicionamiento y/o reorientación de la unidad de visión puede darse como alternativa o en combinación a otro u otros reposicionamientos y/o reorientaciones llevados a cabo por la unidad de posicionamiento y/u orientación espacial.
Ventajosamente, gracias al reposicionamiento y/o la reorientación de la unidad de visión, los elementos comprendidos en el escenario clínico no solo son perceptibles en todo momento sino que se dispone de información de orientación, forma y posición de dichos elementos, siendo dicha información de gran precisión para el caso de las estructuras críticas contenidas en la o las regiones de interés.
En una realización particular, el sistema adicionalmente comprende una unidad de posicionamiento y/u orientación espacial acoplado a lo unidad de visión , conectada al módulo de control y controlada por dicho módulo de control, en donde el módulo de control adicionalmente está configurado para mover, desplazar y/u orientar, lo unidad de visión por medio de lo unidad de posicionamiento y/u orientación espacial cuando el módulo de control recibe una orden de desplazar y/u orientar lo unidad de visión a través de un periférico y/u otras vías de comunicación.
El módulo de control puede recibir y/o enviar órdenes a través de periféricos. Con periférico ha de entenderse cualquier herramienta o dispositivo que actúa de interfaz entre un usuario o elemento externo y el módulo de control para enviar/recibir instrucciones entre ellos. Ejemplos de periféricos son joysticks, pantallas táctiles, teclados o ratones.
De manera alternativa, el módulo de control puede recibir y/o enviar órdenes a través de otras vías de comunicación. Por ejemplo, mediante comunicación por cable o comunicación inalámbrica como Bluetooth o WiFi.
Así, el módulo de control puede recibir instrucciones, por medio de cualquiera de las vías de comunicación mencionadas anteriormente, para mover directamente la unidad de visión reposicionándola y/u reorientándola mediante la unidad de posicionamiento y/u orientación espacial.
En un ejemplo particular, el personal médico envía órdenes al módulo de control para posicionar y/u orientar la unidad de visión a través de un periférico.
Este reposicionamiento y/o reorientación de la unidad de visión puede darse como alternativa o en combinación a otro u otros reposicionamientos y/o reorientaciones llevados a cabo por la unidad de posicionamiento y/u orientación espacial.
Ventajosamente, gracias al reposicionamiento y/o la reorientación de la unidad de visión, los elementos comprendidos en el escenario clínico no solo son perceptibles en todo momento sino que se dispone de información de orientación, forma y posición de dichos elementos, siendo dicha información de gran precisión para el caso de las estructuras críticas contenidas en la o las regiones de interés.
En una realización particular, el módulo de control está adicionalmente configurado para: transformar la imagen de seguimiento i — ésima a partir de la transformación de tal modo gue la distancia entre los puntos de referencia característicos de la imagen de seguimiento i-ésima y los puntos de referencia de la imagen de seguimiento inmediatamente anterior es mínima, y transformar la al menos una región de interés a partir de la misma transformación en la imagen de seguimiento.
En esta realización se transforman las imágenes de seguimiento de acuerdo a la transformación lineal o no lineal. Además, para que la o las regiones de interés sigan posicionadas correctamente con respecto a las imágenes de seguimiento, es necesario aplicar la misma transformación a dichas regiones de interés.
De esta forma, mediante un procesamiento de imagen, se consigue que el sistema siempre esté posicionado respecto al escenario clínico de la misma manera, por lo que la posición relativa unidad de visión - escenario clínico permanece idealmente estática.
Ventajosamente se dispone de información de orientación, forma y posición de los elementos comprendidos en el escenario clínico, siendo dicha información de gran precisión para el caso de las estructuras críticas contenidas en la o las regiones de interés.
Otra ventaja adicional de esta realización es que no se requiere de hardware adicional en el sistema ya que no se necesita la presencia de una unidad de posicionamiento y/u orientación sino que el propio módulo de control está configurado para aplicar las transformaciones a las imágenes de seguimiento.
En una realización particular, el módulo de control está adicionalmente configurado para transformar el modelo numérico asociado a la imagen de seguimiento i — ésima a partir de la transformación de tal modo gue la distancia entre los puntos de referencia característicos de la imagen de seguimiento i-ésima y los puntos de referencia de la imagen de seguimiento inmediatamente anterior es mínima.
En caso de que se hayan determinado modelos numéricos para cada imagen de seguimiento, cuando se determina una transformación lineal o no-lineal, es necesario que dichos modelos numéricos se actualicen de acuerdo a la transformación.
Ventajosamente, al transformar los modelos numéricos se dispone de toda la información del escenario clínico - orientación, forma y posición de los elementos comprendidos en el mismo - actualizada para poder llevar a cabo con precisión el seguimiento de estructuras críticas.
En una realización particular, el algoritmo de seguimiento es de tipoSLAM (Simultaneous Localization And Mapping).
De manera preferida, el algoritmo de seguimiento es de tipo SLAM, inicialmente desarrollado para que un robot móvil situado en un entorno y posición desconocidos sea capaz de construir incrementalmente un mapa de su entorno al tiempo que utiliza dicho mapa para determinar su propia localización. Actualmente, este tipo de algoritmos también se ha utilizado ampliamente en otros contextos como es el caso de la navegación quirúrgica.
En el contexto de la invención, como ya se ha comentado, este algoritmo realiza dos operaciones: una determinación de puntos de referencia característicos y una localización de dichos puntos en cada instante i — ésimo. Una vez obtenida la posición de la nube de puntos de referencia, el algoritmo es capaz de inferir, a partir de los desplazamientos de dichos puntos, cuál es el movimiento relativo entre el escenario clínico y el sistema de seguimiento.
En la invención se emplea de manera preferida un algoritmo de seguimiento basado en este algoritmo conocido, lo que ventajosamente incrementa la eficiencia del sistema al estar la eficacia de dicho algoritmo altamente demostrada.
En una realización particular, el sistema adicionalmente comprende un módulo de distinción de estructuras críticas en comunicación con el módulo de control, estando dicho módulo de distinción de estructuras críticas controlado por el módulo de control, y en donde: el módulo de distinción de estructuras críticas está configurado para:
- generar medidas m¡ en una pluralidad de puntos espaciales de su campo de visualización, donde j es un índice gue indica diferentes instantes de tiempo;
- procesar las medidas y llevar a cabo una distinción de una o más estructuras en dicha pluralidad de puntos espaciales, y
- enviar la información asociada a la distinción de estructuras al módulo de control; y en donde el sistema está adicionalmente caracterizado por gue la al menos una región de interés recibida o generada por el módulo de control se selecciona de una imagen de seguimiento en función de la información asociada a la distinción de estructuras j — ésima, donde el instante de tiempo j — ésimo de generación de medidas es el más próximo al instante de tiempo i — ésimo de captura de imagen de seguimiento.
A lo largo de este documento, como módulo de distinción de estructuras críticas - o simplemente módulo de distinción - ha de entenderse un módulo que comprende medios mecánicos, ópticos, computacionales y/o de procesamiento adaptados para distinguir, identificar o discriminar qué tejidos o estructuras de los presentes en una muestra son críticos o no. En un ejemplo particular, el módulo de distinción de estructuras críticas discrimina entre los tejidos sobre los que es posible llevar a cabo una operación de ablación o de corte de los que no.
En primer lugar, el módulo de distinción de estructuras críticas genera una pluralidad de medidas en diferentes puntos espaciales de su campo de visualización, entendiendo como tal el espacio del escenario clínico sobre el que tiene capacidad de realizar medidas. Dicha pluralidad de medidas se toma en diferentes instantes de tiempo j- ésimos, sin perjuicio de que esta notación pueda variar. A lo largo del texto se hace uso del índice i para identificar instantes de tiempo en los que se adquiere una imagen por la unidad de visión y el índice j para identificar instantes de tiempo en los que se lleva a cabo la adquisición de medidas por el módulo de distinción. Esta distinción no entra en contradicción con que los índices i y j puedan corresponder a los mismos instantes de tiempo en algún ejemplo de realización de la invención.
A continuación, el módulo de distinción de estructuras críticas procesa las medidas e identifica si cada uno de los puntos espaciales sobre los que han realizado medidas corresponden o no a la presencia de una estructura.
En un ejemplo preferido de realización, el tipo de estructura detectada es crítica, como un determinado tejido biológico o un elemento específico del escenario clínico.
La información obtenida por el módulo de distinción de estructuras críticas es enviada al módulo de control, para lo cual ambos módulos están conectados entre sí. El módulo de control utiliza dicha información para generar una o varias regiones de interés en la última imagen de seguimiento que ha capturado la unidad de visión a partir de criterios preestablecidos sobre las propiedades medidas. Alternativamente, el módulo de control ofrece al personal médico dicha información para que se seleccionen una o varias regiones de interés en la última imagen de seguimiento que ha capturado la unidad de visión. Dicha o dichas regiones de interés, preferentemente, han de incluir las estructuras que el módulo de distinción ha identificado como críticas.
Así, según diferentes realizaciones de la invención, la o las regiones de interés o bien pueden generarse mediante el módulo de control directamente sobre una imagen de seguimiento o sobre la información de distinción de estructuras críticas; o bien pueden ser seleccionadas por el personal médico directamente sobre una imagen de seguimiento o sobre la información de distinción de estructuras críticas. De manera preferida, la relación entre los sistemas de referencia de las imágenes de seguimiento y de la información de distinción de estructuras críticas es conocida por lo que la generación o selección de la o las regiones de interés en una imagen de seguimiento implica que la posición de dicha región o regiones de interés respecto de la información de distinción de estructuras críticas sea conocida - y viceversa.
La selección de la o las regiones de interés recibidas por el módulo de control o la generación de la o las regiones de interés por parte del módulo de control se realizan en base a la información de las coordenadas en las que el módulo de distinción ha identificado que las estructuras son críticas. El requisito mínimo es que la región de interés debe contener al menos la región de puntos espaciales que abarcan una estructura crítica según la información aportada por el módulo de distinción. La delimitación se establece a través de una envolvente, preferentemente una envolvente convexa. Adicionalmente, el módulo de control puede añadir un cierto margen de seguridad pre-configurado o configurable por el personal médico a dicha envolvente.
El uso de un módulo de distinción de estructuras críticas permite asegurar que el seguimiento se está focalizando en estructuras que realmente pueden considerarse de interés. Esto es muy importante en caso de que el evento clínico sea una cirugía, pues se dispone de información precisa y certera sobre qué tejidos pueden ser intervenidos - por ejemplo, mediante un corte o una ablación - y cuales han de evitarse para no infringir daños innecesarios al paciente. También es muy importante en caso de que el evento clínico sea un tratamiento, como por ejemplo una terapia radiológica en la que resulte clínicamente relevante limitar la aplicación de la radiación empleada en el tratamiento a una determinada región ya sea por aumentar su efecto beneficioso, por limitar posibles efectos colaterales en otros tejidos, o simplemente por mejorar la eficiencia del evento clínico. Por último, resulta igualmente importante en eventos de diagnóstico, sobre todo en aquellos casos en los que se ha de visualizar estructuras complejas que requieren una inspección visual detallada durante un tiempo prolongado sin que los movimientos del escenario clínico lo impidan.
Así, la utilización sinérgica de las técnicas de distinción de estructuras críticas y de seguimiento conlleva la ventaja de maximizar la precisión del seguimiento en las zonas de interés en detrimento de la precisión en las zonas no críticas que no tienen relevancia clínica.
Alternativamente, si no se requiere más precisión que la otorgada por los algoritmos de seguimiento convencionales, la invención tendría otra ventaja adicional y es que aumentaría considerablemente la velocidad del seguimiento del escenario clínico. Esto es posible gracias a que la elección óptima de los puntos de referencia característicos permite reducir su número total y, en consecuencia, el tiempo de cómputo disminuye.
En una realización particular, el módulo de distinción de estructuras críticas está previamente calibrado espacialmente de forma que se establece una correspondencia entre la posición de los puntos de su campo de su visualización y la posición de los puntos del campo de visualización de la unidad de visión.
Para que el seguimiento de las estructuras críticas del escenario clínico sea preciso, es imprescindible conocer la relación existente entre los sistemas de coordenadas de los campos de visualización de la unidad de visión y del módulo de distinción de estructuras críticas. De esta forma, los puntos del campo de visualización del módulo de distinción en los que éste distingue entre estructuras críticas y no críticas han de tener una correspondencia con los píxeles o vóxeles del campo de visualización de la unidad de visión y, por tanto, con las imágenes de seguimiento a partir de las cuales se identifican las regiones de interés. Esta correspondencia es posible cuando existe una calibración espacial entre el módulo de distinción de estructuras críticas y la unidad de visión.
En una realización particular, el módulo de distinción de estructuras críticas está previamente calibrado espacialmente de forma que se establece una correspondencia entre la posición de los puntos de su campo de visualización y la posición de los puntos del espacio real.
Para que el seguimiento de las estructuras críticas del escenario clínico sea preciso, es imprescindible que el sistema de coordenadas del módulo que distingue dichas estructuras críticas tenga las mismas referencias que el espacio real. De esta forma, los puntos del campo de visualización del módulo de distinción en los que éste distingue entre estructuras críticas y no críticas han de corresponder a puntos físicos del espacio real. Esta correspondencia es posible cuando existe una calibración espacial entre el módulo de distinción de estructuras críticas y el espacio real de referencia.
En una realización particular, el sistema adicionalmente comprende una memoria configurada para almacenar, para cada punto espacial, las medidas llevadas a cabo por el módulo de distinción de estructuras críticas de forma que, si existen medidas almacenadas en el instante temporal j — 1 y se generan nuevas medidas en el instante temporal j, se actualiza la memoria con las medidas del instante temporal j para cada punto espacial.
El sistema, adicionalmente, comprende una memoria en la que se van guardando y actualizando las medidas realizadas por el módulo de distinción de estructuras críticas para los diferentes puntos espaciales en los que dicho módulo genera las medidas. Esta memoria ha de estar conectada al módulo de distinción de estructuras críticas, que tendrá permisos de lectura y escritura en dicha memoria.
Ventajosamente, a partir del contenido de la memoria se dispondrá de las medidas más actualizadas en todos los puntos medidos por el módulo de distinción para poder establecer en qué puntos espaciales una estructura puede considerarse como crítica o no.
En una realización particular, el módulo de control trasforma la información de distinción de estructuras a partir de la transformación determinada por el algoritmo de seguimiento, donde el instante de tiempo j — ésimo de generación de la información de distinción de estructuras es el más próximo al instante de tiempo i — ésimo de captura de imagen de seguimiento.
Para que esta información de distinción de estructuras sea coherente con las imágenes de seguimiento y, por tanto, con la región de interés, es necesario que el módulo de control trasforme la información de distinción de estructuras a partir de la transformación determinada por el algoritmo de seguimiento. Ventajosamente, toda la información manejada por el sistema comparte un sistema de referencia común una vez el módulo de control aplica las transformaciones pertinentes.
En una realización particular, las coordenadas de los puntos espaciales en los que se realiza la pluralidad de medidas de distinción están expresadas en las coordenadas del modelo numérico determinadas tras la transformación. En realizaciones anteriores, se explica que una vez el algoritmo de seguimiento determina una transformación, ésta se emplea para reposicionar/reorientar el sistema de seguimiento físico mediante la unidad de posicionamiento y/u orientación y/o se aplica sobre las imágenes de seguimiento mediante un procesamiento de imagen. Ambas acciones son ejecutadas por el módulo de control.
En esta realización se parte de la segunda premisa: que la transformación determinada por el algoritmo de seguimiento se ha aplicado a las imágenes de seguimiento. En esta situación, para que las medidas generadas por el módulo de distinción de estructuras críticas se lleven a cabo sobre los puntos del espacio correctos es necesario informar al módulo de distinción de cómo se han desplazado/rotado las estructuras en relación al módulo o viceversa; es decir, el módulo de distinción tendrá que generar medidas en las posiciones del espacio que corresponderían a posiciones resultantes de aplicar la transformación al espacio real.
Para calcular la posición de los puntos espaciales en los que el módulo de distinción tiene que generar las medidas hay que seleccionar las correspondientes coordenadas del modelo numérico tras aplicar sobre el mismo la transformación. Igualmente, la captura de medidas a través del módulo de distinción permite enriquecer con estos datos el modelo numérico llevando el valor de las medidas al lugar correspondiente del modelo numérico.
En una realización particular, la selección de la al menos una región de interés se lleva a cabo según un criterio predefinido:
• la al menos una región de interés comprende al menos un nervio, o
• la al menos una región de interés comprende al menos un tracto cerebral, o
• la al menos una región de interés comprende al menos un vaso sanguíneo, o
• la al menos una región de interés es un tejido considerado como crítico, o
• la al menos una región de interés comprende tejido blando, o
• la al menos una región de interés comprende hueso, o
• la al menos una región de interés comprende al menos un marcador de referencia, o
• una combinación de cualguiera de los anteriores.
La o las regiones de interés han de comprender estructuras críticas, preferentemente tejidos biológicos. El tipo de tejido crítico depende del contexto en que el sistema está actuando; por ejemplo, en una cirugía puede interesar identificar nervios o vasos sanguíneos sobre los cuales no se debe realizar una operación de ablación o de corte o en una cirugía de resección de un tumor, el tejido crítico ha de ser el propio tejido tumoral a resecar.
En un ejemplo particular, la región de interés comprende estructuras críticas que no son tejidos biológicos, como puede ser un marcador de referencia. A lo largo de este documento, como marcador de referencia ha de entenderse un marcador fiduciario externo que puede estar fijado a tejido biológico (sin modificar dicho tejido), a instrumental quirúrgico u a cualquier otro elemento presente en el escenario clínico.
En una realización particular, el campo de visualización del módulo de distinción de estructuras críticas está limitado a:
- la al menos una región de interés, o
- la al menos una región de interés ampliada unos márgenes predefinidos.
El tiempo necesario para que el módulo de distinción de estructuras críticas pueda identificar las estructuras críticas presentes en su campo de visualización no es despreciable. Para optimizar la velocidad de distinción de tejidos, la información de seguimiento de estructuras críticas puede utilizarse mediante la priorización de la medida en las regiones críticas, cerrando así una sinergia que permite optimizar ambas técnicas para una mejor aplicación en condiciones operativas realistas.
Es decir, para agilizar el proceso de distinción de estructuras, conviene limitar dicho campo de visualización para que el módulo de distinción de estructuras críticas actúe en una región del espacio más limitada o, al menos, dar prioridad a esta región del espacio más limitada frente al resto del potencial campo de visualización del módulo de distinción de estructuras críticas.
Así, una vez se ha determinado al menos una región de interés - pudiendo provenir dicha al menos una región de interés de la información del módulo de distinción o no - se puede limitar el campo de visualización del módulo de distinción a dicha al menos una región de interés. Opcionalmente, se pueden incluir unos ciertos márgenes de seguridad para tener en cuenta posibles errores en la determinación de la al menos una región de interés así como los posibles movimientos del escenario clínico. Con esta limitación se consigue reducir el tiempo de medida del módulo de distinción y aumentar la tasa de refresco en estructuras críticas, lo que supone contar con información sobre la posición de tejidos críticos u otros elementos críticos actualizada con una frecuencia superior.
En una realización particular, la unidad de visión comprende:
1) al menos una cámara RGB o monocromática, o
2) al menos una cámara RGB-D o monocromática-D con sensor de profundidad, o
3) al menos una cámara con filtrado espectral, multiespectral, o hiperespectral, o
4) un equipo de ultrasonidos, o
5) un equipo de resonancia magnética, o
6) un equipo de tomografía computarizada, o
7) un equipo de tomografía de coherencia óptica, preferentemente sensible a la polarización, o
8) una combinación de cualquiera de los anteriores.
La unidad de visión comprende al menos un elemento visual adaptado para capturar imágenes de un escenario clínico dentro de su campo de visualización, proveyendo dichas imágenes de información de la orientación, forma y posición del escenario clínico.
Cualquier elemento que cumpla la premisa anterior puede estar comprendido en la unidad de visión. Ejemplos específicos de unidad de visión con estas capacidades son los formados por pares de cámaras con capacidades estereoscópicas donde la combinación de dos imágenes permite la reconstrucción volumétrica de objetos, determinación de posición y orientación de superficies, etc. Las imágenes capturadas no tienen necesariamente que ser bi-dimensionales sino que pueden ser capturadas por ejemplo por rayos X o con un escáner de TAC, con capacidad de penetración en el tejido, y representables mediante vóxeles en tres dimensiones.
Nótese que, dependiendo del tipo de unidad de visión, dicha unidad captura más de una imagen de seguimiento inicial. En tal caso, la o las imágenes de seguimiento "extra" aportan información adicional a la que se obtiene mediante una sola imagen de seguimiento, a la que llamaremos dominante, de forma que la información extra es añadida a la imagen dominante. De manera preferida, la unidad de visión es estereoscópica, es decir, comprende dos cámaras RGB que capturan dos imágenes de seguimiento inicial por separado.
Ambas cámaras comparten campo de visualización - o al menos sus campos de visualización son muy similares - pero dicho o dichos campos son observados desde dos puntos de vista distintos. El algoritmo de seguimiento determina una pluralidad de puntos de referencia característicos en las imágenes de seguimiento capturadas por ambas cámaras y establece una correspondencia entre los puntos de ambas imágenes. Al conocer la orientación y posición relativa entre ambas cámaras, se triangula la información de profundidad (eje Z) desde las cámaras a partir de la disparidad de los puntos entre ambas imágenes. Para ello es necesario que exista una buena calibración espacial entre las cámaras. Finalmente, se selecciona una de las dos imágenes como dominante y el algoritmo de seguimiento continúa ejecutándose en base a los puntos de referencia característicos de dicha imagen dominante pero a los cuales se les ha añadido la información de profundidad obtenida gracias al uso de ambas cámaras RGB.
En una realización particular, el módulo de distinción de estructuras críticas lleva a cabo la distinción de uno o más tejidos mediante una de las siguientes técnicas:
- espectroscopia de plasma inducido por láser (LIBS), o
- tomog rafia de coherencia óptica (OCT), o
- tomografía de coherencia óptica sensible a la polarización (PS-OCT), o
- imagen hiperespectral, o
- espectrometría lineal o no lineal basada en contraste endógeno o exógeno, o
- una combinación de cualguiera de las anteriores.
El módulo de distinción de estructuras críticas comprende medios mecánicos, ópticos, computacionales y de procesamiento adaptados para distinguir, identificar o discriminar qué tejidos o estructuras de los presentes en una muestra son críticos o no.
Cualquier dispositivo o sistema que cumpla la premisa anterior puede actuar como el módulo de distinción de estructuras críticas. De manera preferida, este módulo de distinción está basado en espectroscopia de plasma inducido por láser.
En una realización particular, el número máximo de imágenes de seguimiento:
- es un número entero predefinido mayor o igual a uno, o
- se establece al finalizar la sesión o evento clínico; o - se establece al alcanzar un tiempo límite predefinido; y/o el número máximo de veces que el módulo de distinción de estructuras críticas genera medidas:
- es un número entero predefinido mayor o igual a uno, o
- se establece al finalizar la sesión o evento clínico; o
- se establece al alcanzar un tiempo límite predefinido.
A lo largo de todo el evento clínico, pueden prefijarse el número de veces que la unidad de visión adquiere imágenes de seguimiento así como el número de veces que el módulo de distinción genera medidas para obtener información de estructuras críticas. De igual forma, se puede predefinir tiempos específicos de actuación para la unidad de visión y/o para el módulo de distinción.
De manera preferida, no existe un número de veces ni de tiempo en que la unidad de visión y/o el módulo de distinción actúan sino que su labor finaliza una vez termina la sesión o evento clínico.
En una realización particular, el módulo de control adicionalmente está configurado para desplazar y/u orientar la unidad de visión por medio de la unidad de posicionamiento y/u orientación espacial cuando el módulo de control detecta automáticamente que la al menos una región de interés se localiza a una distancia menor que una distancia predeterminada de alguno de los extremos del campo de visualización del módulo de distinción de estructuras críticas.
El módulo de control adicionalmente puede detectar que la o las regiones de interés que ha generado o ha recibido se localizan en un extremo del campo de visualización del módulo de distinción de estructuras críticas, en particular cuando la distancia al extremo es menor que una cierta distancia de seguridad predeterminada. En tal caso, existe riesgo de que en las subsiguientes iteraciones del método la o las regiones de interés desaparezcan de dicho campo de visualización.
Para evitarlo, el módulo de control, de manera automática, envía órdenes de mover la unidad de visión - reposicionándola y/o reorientándola por medio de la unidad de posicionamiento y/u orientación espacial - para que la o las regiones de interés se localicen a una distancia mayor a dicho margen de seguridad predeterminado respecto de los extremos del campo de visualización del módulo de distinción de estructuras críticas.
Este reposicionamiento y/o reorientación de la unidad de visión puede darse como alternativa o en combinación a otro u otros reposicionamientos y/o reorientaciones llevados a cabo por la unidad de posicionamiento y/u orientación espacial.
Ventajosamente, gracias al reposicionamiento y/o la reorientación de la unidad de visión, los elementos comprendidos en el escenario clínico no solo son perceptibles en todo momento sino que se dispone de información de orientación, forma y posición de dichos elementos, siendo dicha información de gran precisión para el caso de las estructuras críticas contenidas en la o las regiones de interés.
Todas las características descritas en esta memoria (incluyendo las reivindicaciones, descripción y dibujos) pueden combinarse en cualquier combinación, exceptuando las combinaciones de tales características mutuamente excluyentes.
DESCRIPCIÓN DE LOS DIBUJOS
Estas y otras características y ventajas de la invención, se pondrán más claramente de manifiesto a partir de la descripción detallada que sigue de una forma preferida de realización, dada únicamente a título de ejemplo ilustrativo y no limitativo, con referencia a las figuras que se acompañan.
Figuras la y Ib En estas figuras se muestra esquemáticamente el estado de la técnica de un sistema para seguimiento de un escenario clínico.
Figuras 2a y 2b En estas figuras se muestra un esquema del sistema para seguimiento de un escenario clínico según una realización de la invención. Figura 3 En esta figura se muestra un esquema del sistema para seguimiento de un escenario clínico según una realización de la invención que comprende una unidad de posicionamiento y/u orientación espacial.
Figura 4 En esta figura se muestra un esquema del sistema para seguimiento de un escenario clínico según una realización de la invención que comprende un módulo de distinción de estructuras críticas. EXPOSICIÓN DETALLADA DE LA INVENCIÓN
La presente invención describe un sistema (1) para seguimiento de un escenario clínico (6). Dicho escenario clínico (6) no es estático, sino que sufre variaciones a lo largo del tiempo por diversos motivos como la respiración del paciente o la interacción del instrumental o el personal médico con los tejidos del paciente. Debido a este movimiento, existe la necesidad de hacer un seguimiento exhaustivo de los elementos que aparecen en el escenario clínico (6), especialmente de estructuras de interés; por ejemplo, durante una cirugía de ablación es interesante conocer la posición, orientación y forma de ciertos tejidos biológicos como pueden ser los nervios o los vasos sanguíneos.
En la Figura la se muestra de forma esquemática un sistema (1) para seguimiento de un escenario clínico (6) que comprende: a) un módulo de control (2), con capacidad de procesamiento y con capacidad para ejecutar las instrucciones de un algoritmo de seguimiento (A), b) una unidad de visión (3), conectada al módulo de control (2) y controlada por dicho módulo de control (2), adaptada para capturar imágenes de un escenario clínico (6) dentro de su campo de visualización (Cs), en donde las imágenes capturadas proveen de información de la orientación, forma y posición de dicho escenario clínico (6).
Un sistema (1) como el descrito es conocido en el estado de la técnica, siendo habitual que ambos elementos trabajen de forma conjunta. Por un lado, la unidad de visión (3) está configurada para capturar al menos una imagen de seguimiento inicial (S0) y una pluralidad de imágenes de seguimiento (Si) del escenario clínico (6) dentro de su campo de visualización (Cs) en diferentes instantes de tiempo i — ésimos. Todas las imágenes de seguimiento (S0, Si) son enviadas por la unidad de visión (3) al módulo de control (2).
En este ejemplo mostrado en la Figura la, el escenario clínico (6) comprende la camilla en la que se situaría el paciente a intervenir así como el propio paciente, el personal médico y todo el entorno en el que se desarrolla el evento clínico. De manera preferida, el evento clínico es una cirugía y el escenario clínico es un campo quirúrgico que comprende, entre otros elementos, los tejidos biológicos del paciente, el instrumental quirúrgico o material estéril como gasas o algodones. El módulo de control (2) recibe las imágenes de seguimiento (S0, Si ) capturadas por la unidad de visión (3) y lleva a cabo sobre las mismas un determinado tipo de procesamiento. En particular, mediante la ejecución del algoritmo de seguimiento (A), en el instante inicial del evento clínico determina una pluralidad de puntos de referencia característicos iniciales (F0) pertenecientes al escenario clínico (6) - mostrados en la al menos una imagen de seguimiento inicial (S0) - y establece su posición en el espacio (P0). A medida que recibe el resto de las imágenes de seguimiento (Si), va realizando la misma operación para cada una de ellas; es decir, determina una pluralidad de puntos de referencia característicos (Fi) en cada imagen de seguimiento (Si) pertenecientes al escenario clínico (6) y establece su posición en el espacio (Pi).
Los puntos de referencia característicos (F0, Fi) son píxeles o regiones de píxeles de las imágenes de seguimiento (S0, Si ) fácilmente distinguibles respecto a su entorno. Los criterios de distinción de dichos puntos son de diversa índole, entre otros:
• puntos o regiones característicos de la imagen; como un lunar en la piel o un brillo en un instrumento quirúrgico; o
• colores específicos de la imagen; como el color rojo de la sangre o el metálico del instrumental quirúrgico; o
• texturas específicas de la imagen; como la textura acuosa de determinados fluidos; o
• regiones de la imagen con alto contraste respecto a su entorno, como la presencia de un tumor; o
• regiones de la imagen con alta heterogeneidad respecto a su entorno, como la presencia de un conjunto de vasos sanguíneos frente a una zona homogénea como la piel; o
• una combinación de cualquiera de los criterios anteriores.
En general, los puntos de referencia característicos de dos imágenes de seguimiento consecutivas (Si_1, Si) tienen correspondencia entre sí; es decir, pueden establecerse pares de puntos entre dos imágenes de seguimiento consecutivas. Nótese que es posible que se determinen ciertos puntos de referencia característicos en una sola de las imágenes de seguimiento, por lo que dichos puntos carecerán de tal correspondencia, al menos, entre dos instantes de tiempo concretos. Nótese igualmente que, para el instante de tiempo i = 1, la correspondencia entre pares de puntos se establece entre los puntos de la al menos una imagen de seguimiento inicial (S0) y los de la imagen de seguimiento en dicho instante de tiempo (S1) . Gracias a la correspondencia entre pares de puntos, el algoritmo de seguimiento (A) puede inferir el movimiento relativo entre la unidad de visión (3) y el escenario clínico (6) a lo largo del tiempo. Así, partiendo de dichas correspondencias, el algoritmo de seguimiento (A) determina una transformación (T¡) que relaciona la posición (Pi) de los puntos de referencia característicos (Fi) determinados en el instante i con la posición (Pi-1) de los puntos de referencia característicos ( Fi-1 correspondientes determinados en el instante i — 1. De manera preferida, el algoritmo de seguimiento (A) es de tipo SLAM (Simultaneous Localization And Mapping), cuyas capacidades en contextos como la robótica o la navegación quirúrgica están altamente demostradas.
En la Figura Ib se muestra un ejemplo de cómo el algoritmo de seguimiento (A) ejecutado por el módulo de control (2) determina puntos de referencia característicos (Fi) en una imagen de seguimiento (Si). Como puede apreciarse, dichos puntos están distribuidos por toda la imagen de seguimiento (Si) cubriendo al menos la mayor parte de estructuras del escenario clínico (6) visibles en la imagen de seguimiento (Si).
De esta manera, no se prioriza ningún tipo de estructura concreta del escenario clínico (6), existiendo un compromiso entre el seguimiento de todas ias estructuras que aparecen en la imagen de seguimiento (Si) - tejidos y otros elementos del escenario clínico (6) - y la precisión que se alcanza en dicho seguimiento.
Esta solución no sería adecuada cuando se requiere hacer un seguimiento exhaustivo de ciertas estructuras críticas o cuando el número de puntos de referencia característicos (Fi) es elevado ya que, mediante un algoritmo de seguimiento (A) característico del estado de la técnica, se conseguiría información sobre la posición, orientación y forma de dichas estructuras con una precisión insuficiente y/o un coste computacional elevado.
Dependiendo del contexto del evento clínico, ias estructuras críticas son diferentes; por ejemplo, en una cirugía de ablación o de corte conviene hacer un seguimiento exhaustivo de venas y nervios para que el personal médico o un sistema quirúrgico robotizado no intervengan sobre dichas estructuras. Por el contrario, en un procedimiento terapéutico, el seguimiento de una estructura crítica puede tener como objetivo aplicar el tratamiento exclusivamente sobre esa zona, como por ejemplo durante la irradiación óptica sobre lesiones cutáneas o la estimulación de tejido nervioso. También cabe mencionar el seguimiento de estructuras críticas en aplicaciones de diagnóstico, en lasque por ejemplo puede interesar visualizar una región crítica como un nodulo medíante técnicas de imagen médica durante el tiempo que sea necesario para completar el diagnóstico.
La solución propuesta por la invención consigue solventar este problema de! estado de la técnica. En las Figuras 2a y 2b se ilustra el sistema (1) de la invención, que persigue mejorar la precisión en el seguimiento de las estructuras críticas del escenario clínico (6).
Este sistema (1) comprende los mismos elementos que los descritos en las Figuras anteriores. La unidad de visión (3) del sistema (1), de manera preferida, es un sistema estereoscópico que comprende dos cámaras RGB. En ejemplos alternativos, la unidad de visión comprende (3):
- una única cámara RGB, o
- al menos una cámara monocromática, o
- al menos una cámara RGB-D o monocromática-D con sensor de profundidad, o
- al menos una cámara con filtrado espectral, multiespectral, o hiperespectral, o
- un equipo de ultrasonidos, o
- un equipo de resonancia magnética, o
- un equipo de tomografía computarizada, o
- un equipo de tomografía de coherencia óptica, preferentemente sensible a la polarización, o
- una combinación de cualquiera de los anteriores.
Nótese que en la realización preferida, como la unidad de visión (3) comprende dos cámaras RGB, se capturarán dos imágenes de seguimiento inicial por separado. La información aportada por una de dichas imágenes, a la que llamaremos dominante, es completada con información procedente de la otra imagen "extra" de seguimiento.
Los píxeles o vóxeles del campo de visualización (Cs) de esta unidad de visión (3) tienen correspondencia con puntos físicos del espacio real en el que transcurre el evento clínico. Para ello, de manera preferida, el sistema (1) de seguimiento - módulo de control (2) y unidad de visión (3) - está calibrado espacialmente. Por otra parte, e! número de imágenes de seguimiento (Si) que adquiere la unidad de visión (3) durante el evento clínico puede ser un número entero predefinido mayor o igual a uno, establecerse al finalizar dicho evento clínico; o bien establecerse al alcanzar un tiempo límite predefinido.
El sistema (1) de la invención se caracteriza por que, a diferencia del sistema mostrado en las Figuras la y Ib, el módulo de control (2) está adicionalmente configurado para recibir o generar al menos una región de interés (R) cuando la imagen de seguimiento capturada es la al menos una imagen de seguimiento inicial (S0) y para posicionar en el espacio la al menos una región de interés (R) respecto de cada imagen de seguimiento (Si). Además, el algoritmo de seguimiento (A) está configurado de tal modo que la concentración de puntos de referencia característicos (Fi) en la al menos una región de interés (R) es superior a la concentración de puntos de referencia característicos (Fi) en el resto de la imagen de seguimiento (Si). De manera preferida, dicho algoritmo de seguimiento (A) es un algoritmo SLAM modificado.
En particular, en la Figura 2a se muestra cómo el módulo de control (2) recibe una región de interés (R) y la posiciona respecto de una imagen de seguimiento (Si). Esta región de interés (R) es una sub-región de la al menos una imagen de seguimiento inicial (S0) en la que aparecen elementos del escenario clínico (6) sobre ios que se quiere obtener un seguimiento de mayor precisión.
En una realización alternativa, el propio módulo de control (2) es el encargado de generar dicha región de interés (R). Por simplicidad, en esta Figura 2a se ha mostrado únicamente una región de interés (R) pero el módulo de control (2) puede recibir - o generar - más de una región de interés (R).
Como ya se ha comentado, la o las regiones de interés { R ) comprenden estructuras de carácter critico. De manera preferida, las estructuras críticas son tejidos biológicos como nervios, tracto cerebral, vasos sanguíneos, tumores, tejido blando o hueso. Otros ejemplos de estructuras críticas diferentes a tejidos biológicos son marcadores de referencia presentes en el escenario clínico (6) o el propio instrumental o material quirúrgico.
En la Figura 2b se muestra cómo el algoritmo de seguimiento (A), teniendo en cuenta la región de interés (R), determina la pluralidad de puntos de referencia característicos (Fi) en la imagen de seguimiento (Si) de manera que la concentración de dichos puntos es superior en la región de interés (R) que en el resto de la imagen de seguimiento (Si).
Como bien se ha mencionado con anterioridad, en general los puntos de referencia característicos (Fi) determinados para una imagen de seguimiento (Si) tienen correspondencia con los puntos de referencia característicos ( Fi-1) determinados para la imagen de seguimiento (Si_1) inmediatamente anterior. Sin embargo, hay dos excepciones que el sistema (1) de la invención tiene en cuenta para reducir el coste computacional del procesamiento.
Por un lado, es posible que el algoritmo de seguimiento (A) identifique al menos un punto de referencia (Fi) en una imagen de seguimiento (Si) que no se determinó en la imagen de seguimiento anterior (Si_1). Este caso puede ocurrir, por ejemplo, cuando a causa del movimiento del escenario clínico (6) entran en el campo de visualización (Cs) de la unidad de visión (3) elementos que anteriormente no eran visibles y que son susceptibles de identificarse con un punto de referencia característico.
Por otro lado, aunque el algoritmo de seguimiento (A) haya identificado al menos un punto de referencia (Fi_1) en una imagen de seguimiento (Si_1), dicho al menos un punto puede descartarse en la imagen de seguimiento (Si) inmediatamente posterior. Este caso puede ocurrir, o bien porque la estructura que ha dado lugar al al menos un punto de referencia ya no es visible en el instante de tiempo i — ésimo (en cuyo caso el algoritmo de seguimiento (A) puede mantenerlo almacenado temporalmente por si vuelve a ser visible en instantes de tiempo posteriores) o simplemente porque el al menos un punto deja de ser un buen candidato como punto de referencia en el que basar el seguimiento de estructuras.
Esta flexibilidad permite que el algoritmo de seguimiento (A) se vaya adaptando a los cambios que va experimentando el propio escenario clínico (6). Así, analiza solamente los puntos de referencia que dan lugar a una buena precisión en el seguimiento del escenario clínico (6) sin malgastar recursos computacionales en el procesamiento de los puntos que no son de interés. En un ejemplo alternativo, cuando no se requiere más precisión en el seguimiento de estructuras críticas que la otorgada por los algoritmos de seguimiento (A) convencionales, con el sistema (1) de la invención aumenta sustancialmente la velocidad del seguimiento de estructuras. Esto es posible gracias a la reducción del número de puntos de referencia característicos (Fi) a analizar producida por la elección óptima de los mismos.
En un ejemplo preferido, la o las regiones de interés (R) se van actualizando con el tiempo. Para ello, el módulo de control (2) está adicionalmente configurado para recibir o generar al menos una nueva región de interés (R) en una imagen de seguimiento (Si), para i > 0. Una primera opción es que la o las nuevas regiones de interés (R) se incluyan como parte del conjunto ya preexistente de regiones de interés (R); por ejemplo, si una nueva estructura crítica entra en el campo de visualización (Cs) de la unidad de visión (3) y se requiere hacer un seguimiento detallado de la misma. Otra opción es que la o las nuevas regiones de interés (R) sustituyan a alguna de las regiones de interés (R) preexistentes; por ejemplo, si debido al movimiento del escenario clínico (6) las estructuras críticas de una región de interés (R) han modificado de posición, forma y/u orientación. Una última opción es que se produzca una combinación de las dos opciones anteriores, es decir, que una o varias de las regiones de interés (R) nuevas se incluyan en el conjunto de regiones preexistentes y otra u otras de las regiones de interés (R) nuevas sustituyan a una o varias regiones preexistentes.
Una vez determinados y posicionados los puntos de referencia característicos (Fi), el algoritmo de seguimiento (A) determina la transformación (Fi) que relaciona la posición (Pi) de los puntos de referencia característicos (Fi) determinados en el instante i con la posición (Pi_1) de los puntos de referencia característicos (Fi_1) correspondientes determinados en el instante i — 1. Existen diferentes tipos de transformación (Fi), lineal o no lineal, que conllevan distintos grados de complejidad matemática y, por tanto, de coste computacional.
De manera preferida, el algoritmo de seguimiento (A) determina que la transformación (Fi) entre dos imágenes de seguimiento consecutivas (Si_1, Si)es de tipo lineal y corresponde a un modelo de sólido rígido del escenario clínico (6). Esta transformación (Fi) lineal tiene que verificar que la distancia entre los puntos de referencia característicos (Fi_1) de la primera imagen de seguimiento (Si_1) transformados por la transformación (Fi) y los puntos de referencia característicos (Fi) de la segunda imagen de seguimiento (Si) es mínima.
Esta transformación lineal asume que el escenario clínico (6) es no deformable a lo largo del tiempo. Así, un experto en la materia no emplearía una transformación (Fi) de este tipo para hacer un seguimiento de estructuras que sufren deformaciones temporales, como las propias del escenario clínico (6) de la invención.
Incluso si el experto en la materia decidiera emplear este tipo de transformación (Ti), tendería a separar lo máximo posible los puntos de referencia (Fi) en las imágenes de seguimiento (Si) para cubrir en la medida de lo posible todo el escenario clínico (6) motivado porque la mayor distancia entre punto permite incrementar la precisión en la orientación del objeto referenciado. No obstante se ha observado que se obtiene una precisión en el seguimiento de estructuras que es insuficiente en el contexto de la invención, especialmente en el seguimiento de estructuras críticas. Para mejorar esta precisión, el experto en la materia utilizaría un número de puntos de referencia (Fi) muy superior al que cualquier algoritmo de seguimiento (A) estándar determinaría, lo que aumentaría el coste computacional de forma exponencial haciendo inviable el seguimiento de escenarios clínicos (6) en cuasi tiempo real.
Sin embargo, el sistema (1) de la invención se caracteriza por que el módulo de control (2) recibe o genera una o varias regiones de interés (R) en las que el algoritmo de seguimiento (A) determina la mayor concentración de puntos de referencia característicos (Fi), lo que sorprendentemente permite aplicar una sencilla transformación (Fi) lineal para llevar a cabo el seguimiento de un escenario deformable con una alta precisión en el seguimiento de las estructuras críticas visibles en la o las regiones de interés (R). Por un lado, las regiones de interés (R) son de un tamaño limitado en comparación con el tamaño de las imágenes de seguimiento (Si) y, por otro, la concentración de puntos de referencia (Fi) en dichas regiones de interés (R) es mayor que en el resto de la imagen de seguimiento (Si). Así, las posiciones relativas entre los puntos de referencia característicos (Fi) de las regiones de interés (R) no sufren o apenas sufren variaciones entre imágenes de seguimiento consecutivas (Si_1, Si) .Con este tipo de transformación se perdería precisión en el seguimiento del resto de estructuras visibles en las imágenes de seguimiento (Si) ya que no se está teniendo en cuenta la deformación real que sufren dichas estructuras. Sin embargo, dado que estas estructuras no están contenidas en regiones de interés (R), puede considerase que no son críticas y, por tanto, que su seguimiento no requiere una gran precisión. La principal ventaja de aplicar este modelo es su sencillez y el bajo coste computacional que requiere la determinación de la transformación (Ti).
De manera alternativa, el algoritmo de seguimiento (A) determina que la transformación (Fi) entre dos imágenes de seguimiento consecutivas (Si_1, Si)es de tipo no lineal y corresponde a un modelo de sólido deformable del escenario clínico (6). En esta transformación (Ti), más compleja que la transformación lineal anteriormente mencionada, cada par de puntos de referencia (Fi_1, Fi) entre dos imágenes de seguimiento consecutivas (Si_1, Si) tiene su propia correspondencia; es decir, se aplica una trasformación (Fi) diferente a cada par de puntos.
Este tipo de transformación (Fi) es la que, a priori, emplearía un experto en la materia ya que el escenario clínico (6) se deforma con el paso del tiempo. Sin embargo, como se ha comentado para el caso anterior, tendería a separar lo máximo posible los puntos de referencia (Fi) en las imágenes de seguimiento (Si) para cubrir en la medida de lo posible todo el escenario clínico (6) y tener una deformación suave y realista al ponderar la deformación en un mayor área. Aunque la precisión obtenida en el seguimiento de estructuras sería mayor a la obtenida por una transformación lineal, no estaría focalizada en las estructuras críticas tal como se requiere en el contexto de la invención. Así, al no disponer de información sobre las estructuras críticas, el experto en la materia utilizaría un número de puntos de referencia (Fi) muy superior al que cualquier algoritmo de seguimiento (A) estándar determinaría, lo que aumentaría el coste computacional de forma exponencial haciendo inviable el seguimiento de escenarios clínicos (6) en cuasi tiempo real. Nótese que el coste computacional en este caso sería incluso un factor mucho más crítico que para una transformación lineal, ya que en este caso hay que determinar una correspondencia diferente para cada par de puntos.
Por el contrario, al utilizar este modelo en el contexto de la invención, es decir, empleando regiones de interés (R) con concentraciones de puntos de referencia (Fi) mayores que en el resto de la imagen de seguimiento (Si), conlleva la ventaja de obtener una precisión muy alta en el seguimiento de las estructuras pertenecientes a la o las regiones de interés (R). Evidentemente, la determinación de este tipo de transformación (Fi) supone un mayor coste computacional que el correspondiente a una única transformación lineal para todos los puntos de referencia.
Adicionalmente, la transformación (Fi) no lineal puede extrapolarse al resto de puntos de la imagen de seguimiento (Si) que no son puntos de referencia característicos (Fi) empleando un modelo de deformación interpolatorio. De esta manera, se consigue aún más precisión en el seguimiento de estructuras a costa de un mayor coste computacional.
En la Figura 3 se muestra un ejemplo de realización en el que el sistema (1) adicionalmente comprende una unidad de posicionamiento y/u orientación espacial (5) acoplada a la unidad de visión (3). Esta unidad (5) está conectada y controlada por el módulo de control (2), que está adicionalmente configurado para desplazary/u orientar la unidad de visión (3) por medio de esta unidad de posicionamiento y/u orientación espacial (5) en función de la transformación (Ti) determinada por el algoritmo de seguimiento (A).
En un ejemplo alternativo, la unidad de visión (3) se reposiciona y/u reorienta si el módulo de control (2) detecta automáticamente que la al menos una región de interés (R) se localiza a una distancia menor que una distancia predeterminada de alguno de los extremos del campo de visualización (Cs) de la unidad de visión (3). En otro ejemplo alternativo, la unidad de visión (3) se reposiciona y/u reorienta si el módulo de control (2) recibe una orden de desplazar y/u orientar la unidad de visión (3) a través de un periférico - por ejemplo, mediante un joystick - y/o a través de otras vías de comunicación - por ejemplo, vía WiFi.
El objetivo de este reposicionamiento y/o reorientación de la unidad de visión (3) es conseguir capturar imágenes de seguimiento (Si) cuasi-estáticas del escenario clínico (6); es decir, tras reposicionar y/o reorientar la unidad de visión (3), la percepción que se tiene de las imágenes de seguimiento (Si) capturadas es que no han ido variando con el tiempo o, al menos, que dicha variación ha sido mínima. Así, el sistema (1) sigue activamente el movimiento del escenario clínico (6) de modo que, aunque éste experimente variaciones, el sistema (1) siempre está posicionado respecto al escenario (6) de tal forma que la posición relativa unidad de visión (3) - escenario clínico (6) permanece idealmente estática.
En una realización alternativa, el sistema (1) no comprende esta unidad de posicionamiento y/u orientación espacial (5) por lo que la unidad de visión (3) permanece estática. Así, para conseguir el mismo efecto de escenario clínico (6) cuasi- estático, el módulo de control (2) está adicionalmente configurado para procesar las imágenes de seguimiento (Si) aplicando la transformación (Fi) determinada por el algoritmo de seguimiento (A) sobre dichas imágenes (Si). Para ello, el módulo de control (2) transforma la imagen de seguimiento i — ésima a partir de la transformación (Fi) de tal modo que la distancia entre los puntos de referencia característicos (Fi) de esta imagen (Si) y los puntos de referencia ( Fi-1) de la imagen de seguimiento (Si_1) inmediatamente anterior es mínima. Adicionalmente, para que la o las regiones de interés (R) sigan representando la misma zona de la imagen de seguimiento (Si), el módulo de control (2) también transforma dicha o dichas regiones (R) a partir de la misma transformación (Ti).
Según otro ejemplo de realización, el número de grados de libertad que tiene la unidad de posicionamiento y/u orientación espacial (5) es limitado, por ejemplo a dos movimientos en un plano horizontal, y por lo tanto la compensación de los movimientos no es suficiente. En este ejemplo de realización se combina el uso de esta unidad de posicionamiento y/u orientación espacial (5) y la aplicación de la transformación (Ti) determinada por el algoritmo de seguimiento (A) sobre las imágenes (Si) tras la compensación aplicada por la unidad de posicionamiento y/u orientación espacial (5), mejorando el resultado final ya que esta última transformación da lugar a desplazamientos y giros menores.
En un ejemplo particular, el sistema (1) de las Figuras 2a, 2b y 3 está configurado para, por cada imagen de seguimiento (Si), determinar un modelo numérico del escenario clínico (6) que comprende la orientación, forma y posición de dicho escenario clínico (6) a partir de dicha imagen de seguimiento (Si). Adicionalmente, el sistema (1) está configurado para incorporar la pluralidad de puntos de referencia característicos (Fi) determinados por el algoritmo de seguimiento (A) pertenecientes al campo clínico al modelo numérico asociado a dicha imagen de seguimiento (Si). Una estructura de datos destinada a almacenar este modelo numérico comprende la imagen de seguimiento (Si) así como sub-estructuras de datos destinadas a almacenar otros elementos tales como por ejemplo ecuaciones de modelos de superficies y volúmenes, puntos de referencia u otras imágenes representando valores escalares de propiedades.
Adicionalmente, para conseguir el efecto de escenario clínico (6) cuasi-estático mencionado anteriormente, el módulo de control (2) está adicionalmente configurado para transformar el modelo numérico asociado a la imagen de seguimiento (Si) a partir de la transformación (Fi) de tal modo que la distancia entre los puntos de referencia característicos (Fi) de la imagen de seguimiento (Si) y los puntos de referencia ( Fi-1) de la imagen de seguimiento (Si_1) inmediatamente anterior es mínima.
En la Figura 4 se muestra un ejemplo de realización en el que el sistema (1) adicionalmente comprende un módulo de distinción de estructuras críticas (4). Dicho módulo tiene la función de distinguir, identificar o discriminar qué tejidos o estructuras de los presentes en el escenario clínico (6) son críticos o no. Por ejemplo, en el contexto de una cirugía de ablación o de corte, el módulo de distinción de estructuras críticas discrimina entre los tejidos sobre los que es posible llevar a cabo una operación de ablación o de corte de los que no. En el contexto de un evento clínico de tratamiento, el módulo de distinción discrimina entre los tejidos sobre los que debe aplicarse el tratamiento de los que no. Y por último, en el caso de una operación de diagnóstico, el módulo de diagnóstico discrimina entre los tejidos de interés en los que ha de focalizarse el diagnóstico de los que son irrelevantes para determinar la condición sana o patológica del paciente.
De manera preferida, la técnica utilizada por el módulo de distinción de estructuras críticas (4) es la espectroscopia de plasma inducido por láser (LIBS). En otros ejemplos alternativos, la técnica es una de las siguientes:
- tomografía de coherencia óptica (OCT), o
- tomografía de coherencia óptica sensible a la polarización (PS-OCT), o
- imagen hiperespectral, o
- espectrometría lineal o no lineal basada en contraste endógeno o exógeno, o
- una combinación de cualquiera de las técnicas anteriores.
Este módulo adicional, que se comunica con el módulo de control (2) y está controlado por el mismo (2), generar medidas (mj) en una pluralidad de puntos espaciales de su campo de visualización (Cv), donde j es un índice que indica diferentes instantes de tiempo. En un ejemplo particular, las medidas (mj) llevadas a cabo por el módulo de distinción de estructuras críticas (4) se almacenan en una memoria comprendida en el sistema (1). Estas medidas (mj), además, han de irse actualizando en instantes temporales subsecuentes.
El número de medidas (mj) que genera el módulo de distinción de estructuras críticas (4) durante el evento clínico puede ser es un número entero predefinido mayor o igual a uno, establecerse al finalizar dicho evento clínico; o bien establecerse al alcanzar un tiempo límite predefinido.
Una vez tomadas las medidas (mj), el módulo de distinción de estructuras críticas (4) las procesa y lleva a cabo una distinción de una o más estructuras (Dj) en dicha pluralidad de puntos espaciales (mj). Finalmente, envía la información asociada a la distinción de estructuras (Dj) al módulo de control (2). En una realización preferida, para que esta información y el seguimiento de estructuras sean coherentes, el módulo de control (2) trasforma la información de distinción de estructuras ( Dj ) a partir de la transformación (Ti) determinada por el algoritmo de seguimiento (A).
Esta información asociada a la distinción de estructuras ( Dj ) sirve como base para seleccionar la al menos una región de interés (R) de una imagen de seguimiento (S0, Si) teniendo en cuenta que el instante de generación de medidas (mj) ha de ser el más próximo al instante de tiempo de captura de la imagen de seguimiento para minimizar los efectos del movimiento del escenario clínico (6).
En un ejemplo particular, el módulo de control (2) genera la al menos una región de interés (R) a partir de la información asociada a la distinción de estructuras (Dj). El requisito mínimo es que la región de interés (R) debe contener al menos la región de puntos espaciales que abarcan una estructura crítica según la información aportada por el módulo de distinción (4). De manera preferida, la delimitación se establece a través de una envolvente. De manera aún más preferida, la envolvente es convexa. Adicionalmente, el módulo de control (2) añade un cierto margen de seguridad a dicha envolvente generando una envolvente expandida una determinada distancia.
En otro ejemplo particular, el personal médico selecciona la al menos una región de interés (R) a partir de la información asociada a la distinción de estructuras (Dj) y la envía al módulo de control (2). Los campos de visualización (Cs, Cv) de la unidad de visión (3) y del módulo de distinción de estructuras críticas (4), como se aprecia en la Figura 4, no tienen por qué abarcar la misma extensión. De manera preferida, ambos campos visualización se solapan al menos parcialmente. Para que el seguimiento de las estructuras críticas del escenario clínico (6) sea preciso, se requiere que ambos campos de visualización (Cs, Cv) tengan el mismo sistema de coordenadas. Así, el módulo de distinción de estructuras críticas (4) y la unidad de visión (3) del sistema (1) mostrado en la Figura 4 están calibrados espacialmente. Adicionalmente, módulo de distinción de estructuras críticas (4) también está calibrado espacialmente para que su sistema de tenga las mismas referencias que el espacio real en el que transcurre el evento clínico.
En una realización preferida, el campo de visualización del módulo de distinción de estructuras críticas (4) está limitado a la región de interés (R) con o sin unos márgenes predefinidos de seguridad. De esta forma, se consigue reducir el tiempo de medida del módulo de distinción (4) y aumentar la tasa de refresco en estructuras críticas.
En una realización alternativa, el sistema (1) de la Figura 4 adicionalmente comprende una unidad de posicionamiento y/u orientación espacial (5) acoplada a la unidad de visión (3). Esta unidad (5) está conectada y controlada por el módulo de control (2), que está adicionalmente configurado para desplazar y/u orientar la unidad de visión (3) por medio de esta unidad de posicionamiento y/u orientación espacial (5) si el módulo de control (2) detecta automáticamente que la al menos una región de interés (R) se localiza a una distancia menor que una distancia predeterminada de alguno de los extremos del campo de visualización (Cv) del módulo de distinción de estructuras críticas (4).

Claims

REIVINDICACIONES
1.- Un sistema (1) para seguimiento de un escenario clínico (6) que comprende: a) un módulo de control (2), con capacidad de procesamiento; b) una unidad de visión (3), conectada al módulo de control (2) y controlada por dicho módulo de control (2), adaptada para capturar imágenes de un escenario clínico (6) dentro de su campo de visualización (Cs), en donde las imágenes capturadas proveen de información de la orientación, forma y posición de dicho escenario clínico (6); y en donde el módulo de control (2) y la unidad de visión (3) están configurados para:
- capturar, mediante la unidad de visión (3), al menos una imagen de seguimiento inicial (S0) del escenario clínico (6) dentro del campo de visualización (Cs) de la unidad de visión (3);
- capturar, mediante la unidad de visión (3), una pluralidad de imágenes de seguimiento (Si) del escenario clínico (6) dentro del campo de visualización
(Cs) de la unidad de visión (3) en diferentes instantes de tiempo, donde i es un índice que indica el instante temporal de captura de la imagen de seguimiento i — ésima (Si) capturada;
- mediante un algoritmo de seguimiento (A) ejecutado en el módulo de control (2): o determinar una pluralidad de puntos de referencia característicos iniciales (F0) pertenecientes al escenario clínico (6) y mostrados en la al menos una imagen de seguimiento inicial (S0), y establecer su posición en el espacio (P0); o para cada una de las imágenes de seguimiento (Si), determinar una pluralidad de puntos de referencia característicos (Fi) pertenecientes al escenario clínico (6), que tienen correspondencia con puntos de referencia característicos determinados en la imagen de seguimiento inmediatamente anterior (Si_1), y establecer su posición en el espacio (Pi); o determinar una transformación (Fi) que relaciona la posición (Pi) de los puntos de referencia característicos (Fi) determinados en el instante i con la posición (Pi_1) de los puntos de referencia característicos ( Fi-1) correspondientes determinados en el instante i - 1; y en donde el sistema está caracterizado por que el módulo de control (2) está adicionalmente configurado para recibir o generar al menos una región de interés (R) cuando la imagen de seguimiento capturada es la al menos una imagen de seguimiento inicial (S0) y posicionar en el espacio la al menos una región de interés (R) respecto de cada imagen de seguimiento (Si) y, por que el algoritmo de seguimiento (A) está configurado de tal modo que la concentración de puntos de referencia característicos (Fi) en la al menos una región de interés (R) es superior a la concentración de puntos de referencia característicos (Fi) en el resto de la imagen de seguimiento (Si).
2.- El sistema (1) según la reivindicación 1, donde el módulo de control (2) está configurado para, por cada imagen de seguimiento (Si): determinar un modelo numérico del escenario clínico (6) que comprende la orientación, forma y posición de dicho escenario clínico (6) a partir de dicha imagen de seguimiento (Si); e incorporar la pluralidad de puntos de referencia característicos (Fi) determinados por el algoritmo de seguimiento (A) pertenecientes al campo clínico al modelo numérico asociado a dicha imagen de seguimiento (Si).
3.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el algoritmo de seguimiento (A) está adicionalmente configurado para determinar puntos de referencia característicos (Fi) en la imagen de seguimiento i — ésima (Si) no determinados en la imagen de seguimiento inmediatamente anterior (Si_1); y/o descartar puntos de referencia característicos ( Fi-1) en el instante de tiempo i — ésimo determinados en la imagen de seguimiento (Si_1 ) capturada en el instante de tiempo inmediatamente anterior.
4.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el módulo de control (2) está adicionalmente configurado para recibir o generar al menos una nueva región de interés (R) en una imagen de seguimiento i — ésima (Si), para i > 0, incluyéndose en y/o reemplazando total o parcialmente al conjunto de regiones de interés preexistentes.
5.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el módulo de control (2) y la unidad de visión (3) están previamente calibrados espacialmente de forma que se establece una correspondencia entre la posición de los puntos del campo de visualización (Cs) de la unidad de visión (3) y la posición de los puntos del espacio real.
6.- El sistema (1) según cualquiera de las reivindicaciones anteriores, donde la transformación (Ti) entre una primera y una segunda imágenes de seguimiento consecutivas (S¡_1, S¡) es una transformación lineal correspondiente a un modelo de sólido rígido del escenario clínico (6), donde la transformación lineal verifica que la distancia entre los puntos de referencia característicos ( Fi-1) de la primera imagen de seguimiento (Si_1) transformados por la transformación (Ti) y los puntos de referencia característicos (Fi) de la segunda imagen de seguimiento (Si) es mínima.
7.- El sistema (1) según cualquiera de las reivindicaciones anteriores, donde la transformación (Fi) es una transformación no lineal correspondiente a un modelo de deformación, donde cada par de puntos de referencia característicos (F^, Fi) entre dos imágenes de seguimiento consecutivas (Si_1, S¡) tiene su propia correspondencia.
8.- El sistema (1) según la reivindicación 7, donde adicionalmente, se establece una transformación para el resto de puntos que no son puntos de referencia característicos (Fi) mediante un modelo de deformación interpolatorio sujeto a que los puntos de referencia característicos (Fi) tienen la correspondencia dada por la transformación (Fi).
9.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el sistema (1) adicionalmente comprende una unidad de posicionamiento y/u orientación espacial (5) acoplada a la unidad de visión (3), conectada al módulo de control (2) y controlada por dicho módulo de control (2), en donde el módulo de control (2) adicionalmente está configurado para mover, desplazar y/u orientar, la unidad de visión (3) por medio de la unidad de posicionamiento y/u orientación espacial (5) aplicando la transformación (Fi) a la posición y orientación antes del movimiento para determinar la nueva posición y orientación, para la captura de imágenes cuasi-estáticas del escenario clínico (6).
10.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el sistema (1) adicionalmente comprende una unidad de posicionamiento y/u orientación espacial (5) acoplada a la unidad de visión (3), conectada al módulo de control (2) y controlada por dicho módulo de control (2), en donde el módulo de control (2) adidonalmente está configurado para mover, desplazar y/u orientar, la unidad de visión (3) por medio de la unidad de posicionamiento y/u orientación espacial (5) cuando el módulo de control (2) detecta automáticamente que la al menos una región de interés (R) se localiza a una distancia menor que una distancia predeterminada de alguno de los extremos del campo de visualización (Cs) de la unidad de visión (3).
11.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el sistema (1) adicionalmente comprende una unidad de posicionamiento y/u orientación espacial (5) acoplada a la unidad de visión (3), conectada al módulo de control (2) y controlada por dicho módulo de control (2), en donde el módulo de control (2) adicionalmente está configurado para mover, desplazar y/u orientar, la unidad de visión (3) por medio de la unidad de posicionamiento y/u orientación espacial (5) cuando el módulo de control (2) recibe una orden de desplazar y/u orientar la unidad de visión (3) a través de un periférico y/u otras vías de comunicación.
12.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el módulo de control (2) está adicionalmente configurado para: transformar la imagen de seguimiento i — ésima (Si) a partir de la transformación (Ti) de tal modo que la distancia entre los puntos de referencia característicos (Fi) de la imagen de seguimiento i-ésima (Si) y los puntos de referencia (F^) de la imagen de seguimiento inmediatamente anterior (Si_1) es mínima, y transformar la al menos una región de interés (R) a partir de la misma transformación (Ti) en la imagen de seguimiento (Si).
13.- El sistema (1) según las reivindicaciones 2 y 12, en donde el módulo de control (2) está adicionalmente configurado para transformar el modelo numérico asociado a la imagen de seguimiento i — ésima (Si) a partir de la transformación (Ti) de tal modo que la distancia entre los puntos de referencia característicos (Fi) de la imagen de seguimiento í-ésima (Si) y los puntos de referencia ( Fi-1) de la imagen de seguimiento inmediatamente anterior (Si_1) es mínima.
14.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el algoritmo de seguimiento (A) es de tipo SLAM (Simultaneous Localization And Mapping).
15.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde el sistema (1) adicionalmente comprende un módulo de distinción de estructuras críticas (4) en comunicación con el módulo de control (2), estando dicho módulo de distinción de estructuras críticas (4) controlado porel módulo de control (2), y en donde: el módulo de distinción de estructuras críticas (4) está configurado para:
- generar medidas (mj) en una pluralidad de puntos espaciales de su campo de visualización (Cv), donde j es un índice que indica diferentes instantes de tiempo;
- procesar las medidas (mj) y llevar a cabo una distinción de una o más estructuras (Dj) en dicha pluralidad de puntos espaciales, y
- enviar la información asociada a la distinción de estructuras (Dj) al módulo de control (2); y en donde el sistema (1) está adicionalmente caracterizado por que la al menos una región de interés (R) recibida o generada por el módulo de control (2) se selecciona de una imagen de seguimiento (S0, Si) en función de la información asociada a la distinción de estructuras j — ésima (Dj), donde el instante de tiempo j — ésimo de generación de medidas (mj) es el más próximo al instante de tiempo i — ésimo de captura de imagen de seguimiento (S0, Si).
16.- El sistema (1) según la reivindicación 15, en donde el módulo de distinción de estructuras críticas (4) está previamente calibrado espacialmente de forma que se establece una correspondencia entre la posición de los puntos de su campo de su visualización (Cv) y la posición de los puntos del campo de visualización (Cs) de la unidad de visión (3).
17.- El sistema (1) según la reivindicación 15 o 16, en donde el módulo de distinción de estructuras críticas (4) está previamente calibrado espacialmente de forma que se establece una correspondencia entre la posición de los puntos de su campo de visualización (Cv) y la posición de los puntos del espacio real.
18.- El sistema (1) según cualquiera de las reivindicaciones 15 a 17, en donde el sistema (1) adicionalmente comprende una memoria configurada para almacenar, para cada punto espacial, las medidas (mj) llevadas a cabo por el módulo de distinción de estructuras críticas (4) de forma que, si existen medidas almacenadas en el instante temporal j — 1 (mj-1) y se generan nuevas medidas en el instante temporal j (mj), se actualiza la memoria con las medidas del instante temporal j para cada punto espacial.
19.- El sistema (1) según cualquiera de las reivindicaciones 15 a 18, en donde el módulo de control (2) trasforma la información de distinción de estructuras ( Dj ) a partir de la transformación (Ti) determinada por el algoritmo de seguimiento (A), donde el instante de tiempo j — ésimo de generación de la información de distinción de estructuras (Dj) es el más próximo al instante de tiempo i — ésimo de captura de imagen de seguimiento (S0, Si).
20.- El sistema (1) según cualquiera de las reivindicaciones 15 a 19, en donde las coordenadas de los puntos espaciales en los que se realiza la pluralidad de medidas (mj) de distinción están expresadas en las coordenadas del modelo numérico determinadas tras la transformación (Ti).
21.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde la selección de la al menos una región de interés ( R ) se lleva a cabo según un criterio predefinido:
• la al menos una región de interés (R) comprende al menos un nervio, o
• la al menos una región de interés (R) comprende al menos un tracto cerebral, o
• la al menos una región de interés (R) comprende al menos un vaso sanguíneo, o
• la al menos una región de interés (R) es un tejido considerado como crítico, o
• la al menos una región de interés (R) comprende tejido blando, o
• la al menos una región de interés (R) comprende hueso, o
• la al menos una región de interés (R) comprende al menos un marcador de referencia, o
• una combinación de cualquiera de los anteriores.
22.- El sistema (1) según cualquiera de las reivindicaciones 15 a 21, en donde el campo de visualización (Cv) del módulo de distinción de estructuras críticas (4) está limitado a:
- la al menos una región de interés (R), o
- la al menos una región de interés (R) ampliada unos márgenes predefinidos.
23.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde la unidad de visión (3) comprende:
1) al menos una cámara RGB o monocromática, o
2) al menos una cámara RGB-D o monocromática-D con sensor de profundidad, o
3) al menos una cámara con filtrado espectral, multiespectral, o hiperespectral, o
4) un equipo de ultrasonidos, o 5) un equipo de resonancia magnética, o
6) un equipo de tomografía computarizada, o
7) un equipo de tomografía de coherencia óptica, preferentemente sensible a la polarización, o
8) una combinación de cualquiera de los anteriores.
24.- El sistema (1) según cualquiera de las reivindicaciones 15 a 23, en donde el módulo de distinción de estructuras críticas (4) lleva a cabo la distinción de una o más estructuras ( Dj ) mediante una de las siguientes técnicas:
- espectroscopia de plasma inducido por láser (LIBS), o
- tomografía de coherencia óptica (OCT), o
- tomografía de coherencia óptica sensible a la polarización (PS-OCT), o
- imagen hiperespectral, o
- espectrometría lineal o no lineal basada en contraste endógeno o exógeno, o
- una combinación de cualquiera de las anteriores.
25.- El sistema (1) según cualquiera de las reivindicaciones anteriores, en donde: el número máximo de imágenes de seguimiento (Si):
- es un número entero predefinido mayor o igual a uno, o
- se establece al finalizar la sesión o evento clínico; o
- se establece al alcanzar un tiempo límite predefinido; y/o el número máximo de veces que el módulo de distinción de estructuras críticas (4) genera medidas (mj):
- es un número entero predefinido mayor o igual a uno, o
- se establece al finalizar la sesión o evento clínico; o
- se establece al alcanzar un tiempo límite predefinido.
26.- El sistema (1) según cualquiera de las reivindicaciones 9 a 11 y cualquiera de las reivindicaciones 15 a 25, en donde el módulo de control (2) adicionalmente está configurado para desplazar y/u orientar la unidad de visión (3) por medio de la unidad de posicionamiento y/u orientación espacial (5) cuando el módulo de control (2) detecta automáticamente que la al menos una región de interés (R) se localiza a una distancia menor que una distancia predeterminada de alguno de los extremos del campo de visualización (Cv) del módulo de distinción de estructuras críticas (4).
PCT/ES2019/070825 2019-12-04 2019-12-04 Sistema de seguimiento de un escenario clínico WO2021111015A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/ES2019/070825 WO2021111015A1 (es) 2019-12-04 2019-12-04 Sistema de seguimiento de un escenario clínico
US17/782,874 US20230030273A1 (en) 2019-12-04 2019-12-04 System for Monitoring a Clinical Scenario

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/ES2019/070825 WO2021111015A1 (es) 2019-12-04 2019-12-04 Sistema de seguimiento de un escenario clínico

Publications (1)

Publication Number Publication Date
WO2021111015A1 true WO2021111015A1 (es) 2021-06-10

Family

ID=69570693

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2019/070825 WO2021111015A1 (es) 2019-12-04 2019-12-04 Sistema de seguimiento de un escenario clínico

Country Status (2)

Country Link
US (1) US20230030273A1 (es)
WO (1) WO2021111015A1 (es)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270436A1 (en) * 2013-03-12 2014-09-18 Lightlab Imaging, Inc. Vascular Data Processing and Image Registration Systems, Methods, and Apparatuses
US20150018682A1 (en) * 2007-06-20 2015-01-15 Universite Of Joseph Fourier Ultrasonic bone motion tracking system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150018682A1 (en) * 2007-06-20 2015-01-15 Universite Of Joseph Fourier Ultrasonic bone motion tracking system
US20140270436A1 (en) * 2013-03-12 2014-09-18 Lightlab Imaging, Inc. Vascular Data Processing and Image Registration Systems, Methods, and Apparatuses

Also Published As

Publication number Publication date
US20230030273A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
KR102327527B1 (ko) 3차원 데이터로 피험자의 실시간 뷰
KR102014355B1 (ko) 수술도구의 위치 정보 산출 방법 및 장치
US20190021681A1 (en) Medical device approaches
ES2815800T3 (es) Sistema de navegación, seguimiento y guía para el posicionamiento de instrumentos quirúrgicos dentro del cuerpo de un paciente
KR20210016378A (ko) 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
ES2361717T3 (es) Plataforma robotizada con múltiples aplicaciones para neurocirugía y procedimiento de reajuste.
US20210137605A1 (en) Using augmented reality in surgical navigation
EP2637593A1 (en) Visualization of anatomical data by augmented reality
KR20150019311A (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
JP7188970B2 (ja) ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム
CA2963865C (en) Phantom to determine positional and angular navigation system error
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
CN109833092A (zh) 体内导航系统和方法
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
KR102084256B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
WO2021111015A1 (es) Sistema de seguimiento de un escenario clínico
JP7182126B2 (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
JP6795744B2 (ja) 医療支援方法および医療支援装置
KR100957713B1 (ko) 수술용 항법 장치의 작동 방법
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
EP3644845B1 (en) Position detection system by fiber bragg grating based optical sensors in surgical fields
KR102362149B1 (ko) 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
AU2022349022A1 (en) Anatomical scanning, targeting, and visualization
JP2021045341A (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850721

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850721

Country of ref document: EP

Kind code of ref document: A1