WO2008046940A1 - Método de posicionamiento espacial de objetos cilíndricos mediante análisis de imágenes - Google Patents

Método de posicionamiento espacial de objetos cilíndricos mediante análisis de imágenes Download PDF

Info

Publication number
WO2008046940A1
WO2008046940A1 PCT/ES2007/000579 ES2007000579W WO2008046940A1 WO 2008046940 A1 WO2008046940 A1 WO 2008046940A1 ES 2007000579 W ES2007000579 W ES 2007000579W WO 2008046940 A1 WO2008046940 A1 WO 2008046940A1
Authority
WO
WIPO (PCT)
Prior art keywords
cylinder
point
axis
optical center
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/ES2007/000579
Other languages
English (en)
French (fr)
Inventor
Alicia CANO GONZÁLEZ
Francisco GAYÁ MORENO
Pablo Lamata De La Orden
Enrique J. Gomez Aguilera
Francisco Del Pozo Guerrero
Elena HERNÁNDEZ PÉREZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Politecnica de Madrid
Original Assignee
Universidad Politecnica de Madrid
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Politecnica de Madrid filed Critical Universidad Politecnica de Madrid
Publication of WO2008046940A1 publication Critical patent/WO2008046940A1/es
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • This invention is part of the field of artificial vision technologies. It has as its main application the field of minimally invasive surgery (laparoscopy). However, it can be used in any other industrial or control sector where the problem addressed is presented.
  • this invention a method of spatial positioning of cylindrical objects is proposed by analyzing monoscopic video images. With this method it is possible to determine the position of any point of the axis of a cylinder that appears in the image with respect to the camera or the cameras that acquire the image. In this way, this invention allows, unlike previous positioning methods, to determine said spatial coordinates using as a single source of information the monoscopic video images and without the need to incorporate additional elements to the scene, such as markers.
  • the innovation of this method of spatial positioning consists in the possibility of determining the relative position of any point of the axis of a cylinder with respect to a camera, making use only of the video images acquired by said camera. It is also necessary to know the field of vision of the camera and the diameter of the cylinder. The orientation of the cylinder and its 3d position are determined through the edges of the cylinder in the image and an analysis of its cross-section.
  • An application of the patent is its use as a method of spatial positioning of cylindrical objects in minimally invasive surgery.
  • the surgical instruments used in certain interventions, such as laparoscopy, have a cylindrical stem. This feature allows the present positioning method to be applied to determine the spatial position of any point of the surgical instruments using the images captured by the endoscope.
  • Figure 1 Perspective of a cylinder (A) in space and the projection of its edges in the image plane (Bl) and (B2), fixing the optical center at point (C).
  • the point (P) is any point on the axis of the cylinder.
  • the planes of sight of the edges of the cylinder ( ⁇ l) and ( ⁇ 2). These view planes determine the projected edges of the cylinder in its cut with the image plane (F).
  • Figure 2 Cross section of the cylinder contained in the plane orthogonal to the axis of the cylinder that passes through the optical center (C) and has as its center the point (N).
  • the angle (2 ⁇ w) is the dihedral angle formed by the view planes ( ⁇ l) and ( ⁇ 2) in that section.
  • the vectors (U ⁇ I) and (U ⁇ 2) are the normal vectors to said view planes.
  • This section describes the main steps of the method of spatial positioning of cylindrical objects through image analysis.
  • the work scenario consists of the spatial placement of a camera, known as its optical center (C) 5 and of a cylindrical object (A) whose position is within the field of view of the camera (See figure 1).
  • the camera acquires the movements in the space of the cylindrical object through sequences of video images.
  • the images acquired by the camera show the displacement of the cylinder.
  • the view planes ( ⁇ l) and ( ⁇ 2) that contain each of the edges of the cylinder and the optical center (C) of the camera cut to the image plane (F ), defining the projected edges of the cylinder, (Bl) and (B2).
  • the innovation of the method is the determination of the position relative to the optical center of the chamber of any point of the cylinder axis using the information of the projected cylinder edges, of two points of the cylinder edges and of any point of its axis in the image. Therefore, an image analysis stage is necessary to extract 2d information from the image. In this stage, it is required to know the direction of the projections of both edges, the direction of the view beam of a point of each of the projected edges of the cylindrical object and the direction of the view beam of a point of the axis of the cylindrical object . The directions of both edges in the image are determined through image analysis. On the contrary, the direction of the beam of sight of a point of the cylinder is calculated using the parameter Field of View (FoV) or field of vision of the camera. This parameter allows you to determine the direction of the view beam (vector that joins the optical center of the camera with a point in space) of any point in the image.
  • FoV Field of View
  • the normal vector (A 1 ) to the plane of view of the edge is determined as a vector product of both vectors, since both are contained in said plane of view.
  • the normal vector (U ⁇ 2 ) is obtained in the view plane of the second edge of the cylinder (See figure 2).
  • the direction or orientation of the axis of the cylinder in space is given by the vector product of the normal vectors to the view planes. Similarly, the vector sum of said vectors indicates the direction of the line perpendicular to the axis of the cylinder that joins it with the optical center of the chamber (UNC).
  • the distance between the optical center and the cylinder is determined by knowing the amplitude of said angle (XN) and the diameter of the cylinder ( ⁇ C IL).
  • the equation for its determination is the one shown below,
  • the relative position of any point of the axis of a cylinder can be determined with respect to the optical center of the camera that acquires the recording of the movements, using exclusively the images that are captured by said camera and knowing the diameter of the cylinder and the field of vision of it.
  • this invention can be applied as a system for locating cylindrical bodies in space.
  • This invention presents an interesting application in the field of minimally invasive surgery, specifically laparoscopy, where the sensation of depth is lost due to the visualization of the intervention on a screen.
  • This positioning method allows determine the position of the end of the laparoscopic instrument (which has a cylindrical rod) with respect to the camera using the image sequences acquired by it.
  • the invention provides added value by not requiring the incursion of additional elements in the scenario, in this case, in the patient's body.
  • this method of positioning cylindrical bodies allows its application in many other sectors such as industrial, control systems, robotics, ...
  • Surgical instrument tracking method e.g. for biopsy needle, involves determining if prior image data set obtained add calibration video camera using marker block attached to the instrument, is within threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Esta invención consiste en un método para determinar la posición espacial de un objeto cilíndrico, basado en el procesamiento de la imagen captada por una cámara. Las fuentes de información son únicamente la información de las imágenes de vídeo captadas, el campo de visión de la cámara y el diámetro del cilindro. La posición 3D del objeto cilíndrico se obtiene mediante un análisis de la sección transversal de éste, y de los bordes del cilindro visualizados en la imagen captada. Esta solución es especialmente interesante en el campo de la cirugía laparoscópica, con tres aplicaciones concretas: (1) análisis automático de intervenciones quirúrgicas para obtener parámetros de evaluación de las mismas; (2) aplicaciones de realidad aumentada que permitan guiar al cirujano; (3) sistemas computerizados inteligentes de cirugía. El método puede resultar útil en otros sectores como industrial o de control.

Description

Título
"Método de posicionamiento espacial de objetos cilindricos mediante análisis de imágenes"
Sector técnico
Esta invención se enmarca en el sector de tecnologías de visión artificial. Presenta como principal aplicación el campo de la cirugía de mínima invasión (laparoscopia). No obstante, puede ser empleada en cualquier otro sector industrial o de control en el que se presente el problema abordado.
Estado de la Técnica
Son conocidas las diferentes técnicas de seguimiento en el espacio de objetos por medio de sensores de posición. En este tipo de sistemas se encuentran los sensores ópticos, electromagnéticos o mecánicos. Éstos presentan entre sus principales inconvenientes la aparatosidad en su uso (sensores mecánicos), problemas de interferencias con objetos metálicos (sensores electromagnéticos) o la necesidad de un campo de visión sin obstáculos (sensores ópticos).
Para evitar los inconvenientes de estos sistemas, en los últimos años están siendo desarrolladas técnicas de posicionamiento de objetos y seguimiento de sus movimientos por medio de análisis de imágenes de vídeo, abordando aspectos tan dispares como el seguimiento de un balón en un campo de fútbol o la identificación y seguimiento de caras en secuencias captadas por una cámara de seguridad.
En los últimos años, estas técnicas de análisis de vídeo están sufriendo un gran auge en el campo de cirugía de mínima invasión, donde se pretende hacer un posicionamiento y seguimiento 3d de la herramienta laparoscópica. En la actualidad existen unas primeras aproximaciones al problema encontradas en publicaciones científicas recientes en este campo. Un primer trabajo analiza empíricamente el problema del posicionamiento 3d de la herramienta en vídeo monoscópico, y concluye que la información presente en una imagen laparoscópica es suficiente para estimar la coordenada 3d del extremo de la herramienta [I]. Concretamente la información se basa en un análisis del tamaño de la herramienta y el ángulo que definen los bordes de la misma en la imagen, pero sólo ofrece una aproximación heurística al problema, sin llegar a formalizar un método.
En la literatura científica existe un trabajo que plantea un método de posicionamiento 3d de la herramienta laparoscópica mediante la información que aporta los bordes de la herramienta en la imagen, pero que se basa en principios de visualización e iluminación de escenas generadas por ordenador, algo muy distinto a lo propuesto en la presente patente [2].
Los autores de la presente patente han publicado dos primeras soluciones a este problema, basadas en dos aspectos de la imagen bidimensional distintos al propuesto en la presente patente, como son el análisis del diámetro visualizado de la herramienta o el cálculo del punto de fuga de sus bordes en la imagen [3]. Estos métodos presentan ciertas limitaciones en cuanto a la precisión y estabilidad alcanzadas.
En el ámbito de la propiedad industrial existen varias patentes de localización de objetos en el campo de aplicación quirúrgico, que utilizan la información de unas cámaras de visión, pero que precisan de la información estereoscópica de dos o más puntos de visión [4]J[5],[6],[7]. Otra alternativa es el empleo de una visión monoscópica introduciendo en el escenario una serie de marcadores [8], estimando así la posición y orientación del instrumental a través de la situación en la imagen de dichos marcadores.
Descripción detallada de la invención
Como se ha mencionado en el apartado anterior, existen diferentes técnicas que permiten obtener la posición 3d de un objeto en el espacio por medio de sensores de posición. Sin embargo, la aplicación de este tipo de sistemas en determinados campos puede resultar inviable debido a los principales inconvenientes que presentan, tal y como se ha comentado en el apartado anterior. Por ello, se plantea una nueva forma de determinar la posición espacial de un cuerpo a través de un análisis de las imágenes captadas por cámaras. Hasta la fecha, las propuestas de localización espacial de objetos haciendo uso de un análisis de las imágenes dan soluciones únicamente para imágenes captadas en visión estereoscópica. Lo cual resulta un inconveniente en determinadas aplicaciones en presencia de una única cámara.
En esta invención se propone un método de posicionamiento espacial de objetos cilindricos mediante análisis de imágenes de vídeo monoscópico. Con este método se consigue determinar la posición de un punto cualquiera del eje de un cilindro que aparezca en la imagen con respecto a la cámara o las cámaras que adquieren la imagen. De este modo, esta invención permite, a diferencia de los anteriores métodos de posicionamiento, determinar dichas coordenadas espaciales utilizando como única fuente de información las imágenes de vídeo monoscópico y sin necesidad de incorporar elementos adicionales a la escena, como pueden ser marcadores.
La innovación de este método de posicionamiento espacial consiste en la posibilidad de determinar la posición relativa de un punto cualquiera del eje de un cilindro con respecto a una cámara, haciendo uso únicamente de las imágenes de vídeo adquirido por dicha cámara. Además es necesario conocer el campo de visión de la cámara y el diámetro del cilindro. La orientación del cilindro y su posición 3d quedan determinadas a través de los bordes del cilindro en la imagen y de un análisis de la sección transversal del mismo.
Una aplicación de la patente es su utilización como método de posicionamiento espacial de objetos cilindricos en cirugía de mínima invasión. El instrumental quirúrgico utilizado en determinadas intervenciones, como en el caso de laparoscopia, presenta un vastago de forma cilindrica. Esta característica permite aplicar el presente método de posicionamiento para determinar la posición espacial de cualquier punto del instrumental quirúrgico utilizando las imágenes captadas por el endoscopio.
Otras aplicaciones potenciales de la patente son aquellas relacionadas con sectores como la industria, robótica, sistemas de control, etc., donde sea necesaria la localización espacial de objetos cilindricos mediante imágenes captadas por una o varias cámaras. Breve descripción de los dibujos
Figura 1. Perspectiva de un cilindro (A) en el espacio y la proyección sus bordes en el plano de la imagen (Bl) y (B2), fijando el centro óptico eri el punto (C). La recta perpendicular al eje del cilindro que interseca a éste y que contiene al centro óptico, corta a dicho eje en el punto (N). El punto (P) es un punto cualquiera del eje del cilindro. Los planos de vista de los bordes del cilindro (Ωl) y (Ω2). Estos planos de vista determinan los bordes proyectados del cilindro en su corte con el plano de la imagen (F).
Figura 2. Sección transversal del cilindro contenida en el plano ortogonal al eje del cilindro que pasa por el centro óptico (C) y presenta como centro el punto (N). El ángulo (2λw) es el ángulo diedro que forman los planos de vista (Ωl) y (Ω2) en dicha sección. Los vectores (UΩI) y (UΩ2) son los vectores normales a dichos planos de vista.
Exposición detallada de un modo de realización de la invención
En este apartado se describe los pasos principales de que consta el método de posicionamiento espacial de objetos cilindricos mediante análisis de imágenes.
En primer lugar se describe la geometría implicada en el método de posicionamiento planteado. El escenario de trabajo consiste en la colocación espacial de una cámara, conocido su centro óptico (C)5 y de un objeto cilindrico (A) cuya posición se encuentra dentro del campo de visión de la cámara (Ver figura 1). La cámara adquiere los movimientos en el espacio del objeto cilindrico mediante secuencias de imágenes de vídeo.
De esta forma, las imágenes adquiridas por la cámara muestran el desplazamiento del cilindro. De acuerdo con la geometría proyectiva de las imágenes, los planos de vista (Ωl) y (Ω2) que contienen a cada uno de los bordes del cilindro y al centro óptico (C) de la cámara, cortan al plano de la imagen (F), definiendo los bordes proyectados del cilindro, (Bl) y (B2).
La innovación del método es la determinación de la posición relativa al centro óptico de la cámara de cualquier punto del eje del cilindro usando la información de los bordes del cilindro proyectados, de dos puntos de los bordes del cilindro y de un punto cualquiera de su eje en la imagen. Es por ello necesaria una etapa de análisis de imágenes que permita extraer información 2d de la imagen. En esta etapa, se requiere conocer la dirección de las proyecciones de ambos bordes, la dirección del rayo de vista de un punto de cada uno de los bordes proyectados del objeto cilindrico y la dirección del rayo de vista de un punto del eje del objeto cilindrico. Las direcciones de ambos bordes en la imagen se determinan a través del análisis de la imagen. Por el contrario, la dirección del rayo de vista de un punto del cilindro se calcula haciendo uso del parámetro Field of View (FoV) o campo de visión de la cámara. Este parámetro permite determinar la dirección del rayo de vista (vector que une el centro óptico de la cámara con un punto en el espacio) de cualquier punto de la imagen.
Con estos datos se procede al análisis de la sección transversal del cilindro, para determinar la posición relativa de un punto del eje del cilindro (P) con respecto al centro óptico de la cámara. Se puede dividir en dos etapas:
1. Determinación de la distancia del cilindro al centro óptico de la cámara y su orientación, entendida como la distancia perpendicular al eje del cilindro que le separa del centro óptico de la cámara.
Una vez conocido el vector director del rayo de vista a un punto de uno de los bordes y la dirección de dicho borde en la imagen, se determina el vector normal (Un1) al plano de vista del borde como producto vectorial de ambos vectores, puesto que ambos están contenidos en dicho plano de vista. Se procede del mismo modo para la obtención del vector normal (UΩ2) al plano de vista del segundo borde del cilindro (Ver figura 2).
La dirección u orientación del eje del cilindro en el espacio viene dada por el producto vectorial de los vectores normales a los planos de vista. Del mismo modo, la suma vectorial de dichos vectores indica la dirección de la recta perpendicular al eje del cilindro que une éste con el centro óptico de la cámara (UNC ).
A continuación se calcula el semi-ángulo (λ^) que definen los planos de vista en la sección transversal, la mitad del ángulo diedro, como muestra la siguiente ecuación,
Figure imgf000008_0001
La distancia entre el centro óptico y el cilindro se determina conociendo la amplitud de dicho ángulo (XN) y el diámetro del cilindro (ΦCIL). La ecuación para su determinación es la que a continuación se muestra,
[ECU. 2] |CN| = φCIL/senλN
2. Determinación de la posición relativa de un punto cualquiera del eje del cilindro con respecto al centro óptico de la cámara.
En la imagen, fijado un punto cualquiera del eje del cilindro y conocida la dirección del rayo de vista a dicho punto (UCP ), se determina la posición en el espacio de dicho punto mediante los parámetros calculados anteriormente como,
[Ecu. 3] CP J™\.UC P
UCP 'UcN
De esta forma, se puede determinar la posición relativa de cualquier punto del eje de un cilindro con respecto al centro óptico de la cámara que adquiere la grabación de los movimientos, utilizando exclusivamente las imágenes que son captadas por dicha cámara y conociendo el diámetro del cilindro y el campo de visión de la misma.
Aplicación industrial
Como ya se ha comentado en los apartados anteriores, esta invención puede aplicarse como sistema de localización de cuerpos cilindricos en el espacio.
Esta invención presenta una interesante aplicación en el campo de cirugía de mínima invasión, concretamente laparoscopia, donde la sensación de profundidad se pierde debido a la visualización de la intervención en una pantalla. Este método de posicionamiento permite determinar la posición del extremo del instrumental laparoscópico (el cual presenta un vastago cilindrico) con respecto a la cámara mediante las secuencias de imágenes adquiridas por ésta. Además, la invención aporta un valor añadido al no requerir la incursión de elementos adicionales en el escenario, en este caso, en el cuerpo del paciente. En este campo caben destacar cuatro aplicaciones concretas: el análisis automático de intervenciones quirúrgicas para obtener parámetros objetivos de evaluación de las mismas; el desarrollo de aplicaciones de realidad aumentada que permitan guiar al cirujano, en las que el conocimiento de la posición de las herramientas es vital; el estudio de propiedades biomecánicas de tejidos en el campo laparoscópico, mediante la incorporación de sensores de fuerza en las herramientas; el diseño de sistemas robóticos inteligentes de cirugía.
A su vez, este método de posicionamiento de cuerpos cilindricos permite su aplicación en otros muchos sectores como el industrial, en sistemas de control, robótica,...
Bibliografía
[1] O. Tonet, T. U. Ramesh, G. Megali, and P. Darío, "Tracking endoscopic instruments without localizer: image analysis-based approach," Stud. Health Technol. Inform., vol.
119, pp. 544-549, 2006. [2] C. Doignon, F. Nageotte, M. de Mathelin. "Segmentation and Guidance of Múltiple
Rigid Objects for Intra-operative Endoscopic Vision". International Workshop on Dynamical Vision, in conjunction with ECCV 2006, Springer Graz (Austria), May
2006. [3] A.M. Cano, P. Lamata, F. Gaya, F. del Pozo, E. J. Gómez. "New Methods for Video-
Based Tracking of Laparoscopic Tools", Lecture Notes in Computer Science 4072, pp.142-149, JuIy, 2006. [4] M. P. Heilbrun, P. McDonald, J. C. Wiker, S. Koehler, W. Peters. "Medical instrument localizing apparatus for surgical applications, establishes 3D workspace coordinate framework, from calibration image pair generated by fiducial structure",
US2001039421-A1; US6491702-B2. [5] S. Koehler, W. Peters, J. C. Wiker, P. McDonald, M. P. Heilbrun. "Photogrammetric surgical localization using two video cameras to provide two dimensional images with a fiducial structure used for calibration and a projection algorithm used to reconstruct the 3D framework", US6165181-A. [6] S. Koehler, M. P. Heilbrun, W. Peters, P. McDonald, J. C. Wiker, "Photogrammetric surgical localisation appts. - defines location of medical instrument relative to elements in medical workspace". US5603318-A.
[7] S. Lu, "3D position measuring system for movie animation, virtual reality - determines zero crossings of image Unes using their derivative order, after which connecting points between zero crossings with respect to image lines is determined for judging pixel consistency".US5852672-A.
[8] H. Mostafavi, "Surgical instrument tracking method e.g. for biopsy needle, involves determining if prior image data set obtained añer calibrating video camera using marker block attached to the instrument, is within threshold", US2003063292-A1; WO2004023783-A2; AU2003268401-Al; EP1535457-A2; US6973202-B2.

Claims

Reivindicaciones
1. Método para la determinación de la posición en el espacio de cualquier punto del eje de un objeto cilindrico, de diámetro conocido, que se mueve libremente, caracterizado por el uso exclusivo del análisis de una única imagen de vídeo adquirida por una única cámara en un instante dado, cuyo campo de visión es conocido, y en ausencia de cualquier tipo de marcador externo.
2. Método según la reivindicación 1, caracterizado porque el análisis de la imagen de vídeo captada por la cámara comprende las siguientes etapas: - Análisis de la información 2d del cilindro a partir de la imagen consistente en obtener la dirección de las proyecciones de los bordes del cilindro, la dirección del rayo de. vista de un punto de cada uno de los bordes proyectados del objeto cilindrico y la dirección del rayo de vista de un punto cualquiera del eje del cilindro - Análisis de la sección transversal del cilindro consistente en la determinación de la distancia del cilindro al centro óptico de la cámara y su orientación, y la determinación de la posición relativa de un punto cualquiera del eje del cilindro con respecto al centro óptico de la cámara.
3. Método según reivindicaciones 1 y 2 caracterizado porque para la determinación de la distancia del cilindro al centro óptico de la cámara y su orientación se realizan las siguientes operaciones:
- Determinación de la dirección u orientación del eje del cilindro mediante el producto vectorial de los vectores normales al plano de los bordes del cilindro, Un1 y Un2, obtenidos a partir de la información 2d extraída del análisis de la imagen
- Determinación de la dirección de la recta perpendicular al eje del cilindro y que une éste con el centro óptico de la cámara (UNC ), mediante la suma de los vectores normales de los bordes del cilindro (UΩI y UΩ2) Cálculo del semi-ángulo definido por los planos de vista en la sección transversal, ángulo (λw), mediante la siguiente ecuación:
Figure imgf000012_0001
- Determinación de la distancia entre el centro óptico (C) de la cámara y el eje del cilindro, concretamente en el punto (N), conocido el diámetro de éste (ΦCIL), mediante la siguiente ecuación:
|CN| = Φcπ,/senλN
4. Método según reivindicaciones 1 a 3 caracterizado porque para la determinación de la posición relativa de un punto cualquiera del eje del cilindro (P) con respecto al centro óptico (C) de la cámara se realiza la siguiente operación:
Figure imgf000012_0002
siendo UCP el vector unitario del rayo de vista que une el centro óptico (C) de la cámara con el punto P del cilindro, obtenido a través del parámetro campo de visión de la cámara.
5. Uso del método descrito en las reivindicaciones 1 a 4 en cirugía laparoscópica, concretamente en el posicionamiento espacial del instrumental laparoscópico mediante análisis de imágenes captadas por un endoscopio.
6. Uso del método descrito en las reivindicaciones 1 a 4 en otros campos como son la producción industrial, sistemas de control y en robótica.
PCT/ES2007/000579 2006-10-18 2007-10-15 Método de posicionamiento espacial de objetos cilíndricos mediante análisis de imágenes Ceased WO2008046940A1 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESES200602647 2006-10-18
ES200602647A ES2282048B2 (es) 2006-10-18 2006-10-18 Metodo de posicionamiento espacial de objetos cilindricos mediante analisis de imagenes.

Publications (1)

Publication Number Publication Date
WO2008046940A1 true WO2008046940A1 (es) 2008-04-24

Family

ID=38512285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2007/000579 Ceased WO2008046940A1 (es) 2006-10-18 2007-10-15 Método de posicionamiento espacial de objetos cilíndricos mediante análisis de imágenes

Country Status (2)

Country Link
ES (1) ES2282048B2 (es)
WO (1) WO2008046940A1 (es)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975571A (zh) * 2010-09-14 2011-02-16 中国矿业大学 一种巷道变形的自动实时监测方法
DE102018102988A1 (de) * 2018-02-09 2019-08-14 Hochschule Rheinmain University Of Applied Sciences Wiesbaden Rüsselsheim Verfahren und Vorrichtung zur Bestimmung und Überwachung der Position und Orientierung eines zylindrischen Objekts
GB2571953A (en) * 2018-03-13 2019-09-18 Massless Emea Ltd Single view tracking of cylindrical objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US20010039421A1 (en) * 1992-04-21 2001-11-08 Sofamor Danek Holdings, Inc. Apparatus and method for photogrammetric surgical localization
US20020029127A1 (en) * 2000-07-19 2002-03-07 Asahi Kogaku Kogyo Kabushiki Kaisha Method and apparatus for measuring 3-D information
US20040008259A1 (en) * 2002-04-10 2004-01-15 Gokturk Salih Burak Optical methods for remotely measuring objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010039421A1 (en) * 1992-04-21 2001-11-08 Sofamor Danek Holdings, Inc. Apparatus and method for photogrammetric surgical localization
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US20020029127A1 (en) * 2000-07-19 2002-03-07 Asahi Kogaku Kogyo Kabushiki Kaisha Method and apparatus for measuring 3-D information
US20040008259A1 (en) * 2002-04-10 2004-01-15 Gokturk Salih Burak Optical methods for remotely measuring objects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975571A (zh) * 2010-09-14 2011-02-16 中国矿业大学 一种巷道变形的自动实时监测方法
DE102018102988A1 (de) * 2018-02-09 2019-08-14 Hochschule Rheinmain University Of Applied Sciences Wiesbaden Rüsselsheim Verfahren und Vorrichtung zur Bestimmung und Überwachung der Position und Orientierung eines zylindrischen Objekts
GB2571953A (en) * 2018-03-13 2019-09-18 Massless Emea Ltd Single view tracking of cylindrical objects
US11593963B2 (en) 2018-03-13 2023-02-28 Massless Corp. Single view tracking of cylindrical objects

Also Published As

Publication number Publication date
ES2282048B2 (es) 2008-02-01
ES2282048A1 (es) 2007-10-01

Similar Documents

Publication Publication Date Title
US11883105B2 (en) Surgical navigation system using image segmentation
KR101536115B1 (ko) 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
JP6129344B2 (ja) 内視鏡、殊に低侵襲手術のための内視鏡
US9289267B2 (en) Method and apparatus for minimally invasive surgery using endoscopes
US9248000B2 (en) System for and method of visualizing an interior of body
EP3858280A1 (en) Surgical navigation system with augmented reality device
CN116829091B (zh) 外科手术辅助系统和表示方法
US20130250081A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
JP2009165615A (ja) 腫瘍領域サイズ測定方法および装置ならびにプログラム
CN115461009A (zh) 用于察看受试者的系统和方法
CN118251188B (zh) 具有改进的器械跟踪的外科手术导航系统和导航方法
Mori et al. A method for tracking the camera motion of real endoscope by epipolar geometry analysis and virtual endoscopy system
WO2008046940A1 (es) Método de posicionamiento espacial de objetos cilíndricos mediante análisis de imágenes
US20150301439A1 (en) Imaging Projection System
WO2009027088A9 (en) Augmented visualization in two-dimensional images
JP2024525733A (ja) 手術前及び手術中のシーンの画像データを表示する方法及びシステム
Jeung et al. Intraoperative zoom lens calibration for high magnification surgical microscope
Dey et al. Mixed reality merging of endoscopic images and 3-D surfaces
Conen et al. Development and evaluation of a miniature trinocular camera system for surgical measurement applications
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
Gong et al. Toward real-time endoscopically-guided robotic navigation based on a 3D virtual surgical field model
Speidel et al. Robust feature tracking for endoscopic pose estimation and structure recovery
Konen et al. Robust registration procedures for endoscopic imaging
JP5283015B2 (ja) 測距装置及びそのプログラム、並びに測距システム
Cano González et al. Video-endoscopic image analysis for 3D reconstruction of the surgical scene

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07822986

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07822986

Country of ref document: EP

Kind code of ref document: A1