WO2011012747A2 - Sistema de identificación forense por superposición craneofacial basado en soft computing - Google Patents

Sistema de identificación forense por superposición craneofacial basado en soft computing Download PDF

Info

Publication number
WO2011012747A2
WO2011012747A2 PCT/ES2010/000350 ES2010000350W WO2011012747A2 WO 2011012747 A2 WO2011012747 A2 WO 2011012747A2 ES 2010000350 W ES2010000350 W ES 2010000350W WO 2011012747 A2 WO2011012747 A2 WO 2011012747A2
Authority
WO
WIPO (PCT)
Prior art keywords
skull
craniofacial
superposition
subsystem
face
Prior art date
Application number
PCT/ES2010/000350
Other languages
English (en)
French (fr)
Other versions
WO2011012747A3 (es
Inventor
Óscar CORDÓN GARCÍA
Sergio Damas Arroyo
Óscar IBÁÑEZ PANIZO
José SANTAMARÍA LÓPEZ
Inmaculada ALEMÁN AGUILERA
Miguel Cecilio BOTELLA LÓPEZ
Original Assignee
Fundación Para Progreso Del Soft Computing
Universidad De Granada
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fundación Para Progreso Del Soft Computing, Universidad De Granada filed Critical Fundación Para Progreso Del Soft Computing
Priority to MX2012000942A priority Critical patent/MX2012000942A/es
Priority to EP10803938.9A priority patent/EP2461271A4/en
Priority to US13/387,321 priority patent/US20120182294A1/en
Publication of WO2011012747A2 publication Critical patent/WO2011012747A2/es
Publication of WO2011012747A3 publication Critical patent/WO2011012747A3/es

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention patent refers to the resolution of the problem of craniofacial overlap for forensic identification.
  • it has direct application in the study of missing persons, large mass disasters and natural disasters.
  • it may be of interest to the state security forces and bodies (specifically, the judicial and scientific police of the National police and Civil Guard, respectively) and the institutes of legal and forensic medicine.
  • It also has direct application in acquisition and reconstruction devices of three-dimensional object models such as laser range scanners.
  • the present invention is given by a new automatic system method that supports the forensic anthropologist in the task of identification by craniofacial overlap. Note that there is no methodology that provides a comprehensive solution to address the resolution of this problem.
  • the present invention allows the formulation of hypotheses about the possible relationship between the skull and the photograph, considering the uncertainty present in the process.
  • the accuracy of the results provided is so high that it allows its use in real cases of forensic identification.
  • the facial reconstruction starts from the same principles as the craniofacial overlap but aims to represent the possible aspect of a person's face from his skull. For this, a series of marks are applied in the main craniometric points, which contribute to the thickness of the soft tissues of the face, and the rest of the facial structures are modeled on them.
  • US patent application US0111631 describes a facial reconstruction system.
  • One of the main problems of this technique is that it has been proven that there are many variations of the different facial morphological features that confer uniqueness to the face. On the other hand, there are also differences in facial tissues that are related to age, weight changes, moods, etc.
  • craniofacial overlap is a much more complicated problem where the two objects to be matched are different (a 3D model of the skull and a 2D photograph of the face).
  • facial recognition there is no need to address the uncertainty present in real cases of craniofacial overlap, where the thickness of the tissues that cover the skull must be taken into account.
  • all the data related to the camera are known.
  • the family of the missing person is the one that usually provides the photographs without additional information and, in some cases, modified by preprocessing algorithms (clipping, rescaling, color and contrast transformations, etc.), which may adversely affect the results of the overlap.
  • the first stage consists in obtaining an accurate digital model of the skull automatically, requiring the least possible interaction with the forensic expert.
  • the second stage aims at the adequate projection of the 3D model of the skull on the photograph.
  • the system of the present invention is based on two sets of markers ( Figures 3 and 4) selected by the forensic expert. A set on the photograph of the face (cephalometric points, Figure 3) and another set in the 3D model of the skull (craniometric points, Figure 4). It is then about matching both sets properly.
  • the last stage corresponds to the taking of an identification decision in the same terms used by the experts Forensics (positive, negative, probable positive, probable negative, uncertain). In order to make this decision, the quality of the pairings between pairs of markers is considered.
  • the present invention carries out the task of identification by craniofacial overlap by means of the design of a computer system based on the use of soft computing techniques [P.P. Bonissone, "Soft computing: the convergence of emerging reasoning technologies”. Soft Computing VoI. 1 (1), pp. 6-18, 1997].
  • Soft computing techniques P.P. Bonissone, "Soft computing: the convergence of emerging reasoning technologies”.
  • the uncertainty inherent in this method of forensic identification is modeled through the use of fuzzy logic [KHr 96].
  • the proposed system incorporates a new methodology based on the exploitation of the information derived from the pairing of skull and face markers for which metaheuristics [Glover 03] and other advanced optimization and search algorithms [T. Báck, D. B. Fogel, Z. Michalewicz, Eds.
  • 3D skull modeling subsystem whose objective is the construction of 3D skull models from partial views taken with the system of capture. For this, image registration techniques based on optimization and search algorithms are used.
  • Skull-face projection subsystem whose objective is the correct projection of the 3D model of the skull on the 2D photograph of the face of the disappeared person automatically. It is based on optimization and search algorithms in addition to using fuzzy logic techniques to model the uncertainty inherent in the problem.
  • Decision support subsystem diffuse decision support system to assist the forensic anthropologist in the identification facing the association of craniometric and cephalometric points as a partial matching process.
  • Positioning subsystem of the 3D skull model whose objective is the automatic positioning of the 3D skull model with an initial orientation close to the orientation of the face in the photograph.
  • Manual refinement subsystem of the craniofacial superposition image editing tool for manual refinement of the craniofacial superposition achieved through the craniofacial projection subsystem.
  • subsystem 4 entails the reduction of the time required to perform an automatic superposition due to the reduction of the search space that involves having the skull in an orientation close to that sought. In addition, this initial positioning gives greater strength to the results provided. Finally, subsystem 5 allows a manual refinement of the superposition achieved in the previous stage. However, in Ia In most cases, the automatic superposition obtained will not require any manual refinement and, therefore, the stage associated with this subsystem is in many cases unnecessary.
  • the present invention addresses, globally and with a new approach, each one of the tasks associated with the overlapping process.
  • This subsystem aims to obtain a three-dimensional digital model of the skull.
  • an image acquisition device is used.
  • a method is employed in charge of the correct alignment of the different partial images.
  • This subsystem is based on a process of exhaustive and automatic selection of the most representative points of the skull present in each of the views. These characteristic points facilitate not having to work with the complete model, synthesizing it for further processing. Once these points have been selected, an optimization and search process is carried out whose purpose is to provide the geometric transformation that makes it possible to match a set of images as accurately as possible. Unlike other current methods, multiple skull views are integrated simultaneously. This approach has the advantage of reducing the accumulated error when the integration is carried out progressively between adjacent images. Thus, 3D models of more reliable skulls are achieved. Another advantage over methods of the state of the art is that it allows the degree of overlap between two consecutive views to be minimal. This is achieved thanks to the robust treatment of the distances between points of different views that have been paired. That is, to calculate the geometric transformation that places each view in the appropriate position to obtain the 3D model of the skull, only those pairings between points that do not extend more than one threshold with respect to the distribution of distances between matched points will be considered.
  • Skull-face projection subsystem This subsystem is responsible for performing the best possible projection of the skull on the photograph automatically. It is, therefore, a problem of registering images, where the transformation that places two different 3D / 2D images in the same coordinate system (rotation, translation, scale change, etc.) is sought. In the case of the present invention, the problem consists in finding the registered transformation that places the 3D model of the skull in the same pose that it had at the moment in which the photograph of the missing person was taken.
  • the definition of the objective geometric transformation depends on a number of unknowns coming from two different sources: a) the configuration of the camera, where we need to know parameters such as the opening of the objective of the camera or the distance between it and the person missing in the time to take the picture; and b) the skull model: which will have a specific orientation and resolution and size given by the technical characteristics of the image capture system, as well as by the skull modeling process.
  • the implemented method performs a search within the limits established for each unknown, with the objective that the resulting transformation minimizes the distance between the pairs of paired markers (in the skull and in the face).
  • the uncertainty in the location refers to the great difficulty inherent in the task of locating the markers in an invariable location and with the precision required for this application.
  • each forensic anthropologist tends to place these points in different locations (although close to each other).
  • the markers are selected in order to be as invariable as possible, factors such as changes in facial expressions or changes in age hinder the precise location of these points by the anthropologist.
  • the information we have is not always in the best conditions. For example, the ambiguity to locate the points may sometimes be due to reasons such as the variation in the distribution of shadows due to lighting conditions during
  • the uncertainty in the pairing refers to the uncertainty involved in the correspondence between markers associated with different objects: the face and the skull.
  • the face and the skull There is a certain distance between each craniometric point in the skull and its corresponding cephalometric point in the photograph. This distance is due to a certain amount of tissue that separates the markers of the skull bone from their corresponding on the face.
  • craniometric and cephalometric points are associated with biologically significant locations.
  • the present invention addresses the problem of uncertainty in the craniofacial overlap process considering the two sources of uncertainty cited: a) On the one hand, by using diffuse markers for which the community of physical anthropologists has already shown interest. In particular, the forensic expert can locate markers of the desired size according to the spatial variability that he considers each reference point could have in a specific skull image or model.
  • the implementation of diffuse markers in the present invention has the following characteristics: - A diffuse two-dimensional set corresponds to each diffuse reference point, whose limits are represented by the pixels bordering the point.
  • This diffuse set gives us the degree of belonging of each pixel of the diffuse reference point according to the chosen function (triangular, Gaussian, trapezoidal, etc.) and the location of the centroid (point with the highest degree of belonging) performed by the expert coroner. This degree of belonging is understood as the level of possibility that said pixel is actually the exact location of the marker.
  • This method computes the distances between each pair of points contained in the diffuse markers in question. Then a final diffuse distance is calculated taking into account the degree of belonging of each point.
  • fuzzy sets are defined that model the real distance that may exist between each craniometric point and its corresponding cephalometric. For each pair of markers there is a two-dimensional diffuse set that models the allowed distance between them, that is, the "physiognomic tolerance" of the pairing. In particular, the most probable distances according to forensic anthropologists correspond to the highest degrees of confidence. As these distances differ more, the less confidence in that pairing will be.
  • the calculation of the diffuse distance mentioned above varies by including the uncertainty in the pairing.
  • the search algorithm no longer tries to minimize the distance between pairs of points but tries to adjust the distances between pairs of markers to those with greater confidence, according to the diffuse sets that model the real distance.
  • the results of the overlays show that the diffuse approach is capable of modeling the uncertainty involved in the matching of the markers.
  • the current systems try to minimize the absolute distance between each pair of markers.
  • the knowledge of forensic experts is included in the operation of this system, which have defined confidence intervals for each distance between each pair of markers. This means that the search process does not minimize distances, but rather try to make them more similar to the actual distances between craniometric and cephalometric points. These distances are different for each case and for each pair of markers.
  • the inclusion of this expert knowledge in the craniofacial superposition subsystem greatly improves the quality of the overlays and, therefore, the final result provided by the system.
  • the result of the skull-face projection subsystem can (if the forensic expert thus prefers it) be used as a starting point to manually and automatically refine the superposition obtained automatically.
  • the advantage in this case with respect to the usual procedure of the coroner is that it is based on a superposition of great quality, with the consequent saving of time.
  • This subsystem is responsible for assisting the forensic anthropologist in the final decision of the identification from the matching of the markers found in the superposition of the previous subsystem.
  • both the uncertainty in the location of the markers and the one associated with their pairing, are transferred to this subsystem.
  • the objective is to be able to give a measure of confidence that serves to evaluate the overlap made.
  • a diffuse inference system is designed with the collaboration of forensic experts.
  • the entries thereof are the degrees of certainty in the location of the markers and in the matching of each pair of these points.
  • Diffuse aggregation operators are used to combine them and make the final decision.
  • the system issues a recommendation to the forensic anthropologist of the degree of correspondence between the model of the skull found and the photograph of the face of the missing person.
  • This recommendation can be one of the following five: positive, negative, probable positive, probable negative and uncertain.
  • the certainty value associated with the recommendation is provided.
  • the present invention allows the comparison of the same skull against a repository of photographs of missing persons, providing as output the photograph with which there is a greater degree of correspondence.
  • a recommendation is also provided to the expert (positive, negative, probable positive, probable negative and uncertain) and the certainty value associated with the recommendation.
  • 3D skull model positioning subsystem The objective of this subsystem is to orient the skull towards a pose close to the orientation of the face in the photograph.
  • the search space is significantly reduced by limiting the limits of the rotations allowed by the craniofacial superposition subsystem in each of the three axes. This reduction of the search space implies a decrease in the time required to perform the skull-face projection task while making the results of the system more robust.
  • the position of the skull with respect to the chamber is first obtained. This is achieved by calculating the orthogonal vector to the plane formed by three cranial markers (craniometric points) selected a priori. From this vector, the angles of the three rotations necessary to position the skull in front of the chamber are calculated (and applied). Although it is not a complicated operation, there are no jobs in the state of the art that perform this initial positioning of the skull in front of the camera, something that helps the overlay process, making it faster and more robust.
  • the method used to find the pose of the face in the photograph uses on the one hand the cephalometric points of the vertical axis of the face (the coroner can mark up to seven different ones, interpolates on the available points), to find said axis.
  • Two of the cephalometric points are used at the height of the eyes (of the four possible) from which a horizontal axis is drawn.
  • the base of the nose is located on the vertical axis from one of the cephalometric points in this area (there are three, two wings and a subnasal).
  • the tip of the nose is detected from a "window" of pixels, looking for the point of greatest intensity.
  • the manual refinement subsystem of the craniofacial overlay is a 3D / 2D image editing tool designed ad-hoc.
  • the objective is to give the user of the invention the possibility of manually refining the superposition obtained automatically in the previous stage. In principle, it would not always be necessary because the approximation obtained automatically is of high quality. If used, this automatic approach would always be an initialization very close to the final result desired by the forensic expert.
  • This tool allows:
  • this tool integrates the use of 3D models and 2D photographs. To do this, it allows modifying the perspective transformation associated with the superposition, something without which adequate overlays cannot be achieved. Note that the present subsystem adds value to the invention by giving the possibility of manual processing of the automatically generated overlay.
  • Figure 1 represents a general scheme of the problem of image registration. This problem is based on an image 1 ("scene"), which is to be placed on the same coordinate axis as another image 2 (“model”). To do this, 3 (transformation f) is applied to the scene image and it is evaluated if there is a good match by means of 4 (similarity metric). If in 5, convergence, the result is that yes (the method has converged) 6, final f is obtained. If this is not the case, it is about iteratively optimizing 7, new transformation f, until a valid match is achieved by means of 8, optimizer.
  • scene an image 1
  • model model
  • Figure 2 schematically represents the three stages of the process performed by the craniofacial forensic identification system.
  • First in 1 you get a photo and model of the skull, locating the appropriate markers on both. Then a skull-face projection is performed, 2. Based on the superposition obtained in this way, it is decided (3) if skull and photograph correspond to the same individual and with what degree of certainty.
  • Figure 3 schematically represents the different markers that are normally used on the face (cephalometric points) for craniofacial overlap. These are: 1 Glabela, 2 Nasio, 3 Endocantio, 4 Ectocantio, 5 Subnasal, 6 Alar, 7 Upper lipstick, 8 Cigio, 9 Lower lipstick, 10 Pogonio, 11 Gonio, 12 Gnatio, 13 Tragio, 14 Mentón.
  • Figure 4 schematically represents the different markers that are normally used in the skull (craniometric points) for craniofacial overlap. These are: 1 Vertex, 2 Glabela, 3 Nasio, 4 Frontotemporal, 5 Dacrio, 6 Frontomolar temporal, 7 Orbital, 8 Alar, 9 Cigio, 10 Nasospinal, 11 Prostio, 12 Gonio, 13 Pogonio, 14 Gnatio, 15 Porio.
  • Figure 5 represents a flow chart of a preferred embodiment of the process method performed by the system of the present invention distinguishing different stages: A, reconstruction of a three-dimensional model of the skull; A.1, obtaining images of different views of the skull found by means of a Konica-Minolta VI-910 laser scanner, A.2, obtaining the crest lines of the different views obtained in A.1; A.3, pre-alignment of the images obtained in A.2 using the Scatter Search optimization algorithm; A.4, refinement of the 3D model obtained in A.3 using the ICP algorithm; B, skull-face projection of the 3D model of the skull and of the face of the photograph; B.1, positioning of the markers on the skull model obtained in A.4 and the photograph of the missing person; B.2, reorientation of the skull obtained in A.4 to a pose close to that of the face in the photograph; B.3, skull-face projection using the Scatter Search optimization algorithm for pairing markers, using fuzzy sets for modeling markers with uncertainty; B.4, manual refinement of the superposition obtained in B
  • Figure 5 shows a flow chart of a preferred embodiment of the process performed by the system of the present invention. The following specific characteristics are distinguished: 1. At the stage of obtaining images of different views of the skull, A.1, the acquisition device is a Konica-Minolta VI-910 laser range scanner. A rotary table is not used for such acquisition,
  • stage A.2 the extraction of crest lines is used
  • stage A.3 a methodology is followed in which all the views of the 3D model are integrated at the same time, thus minimizing the error
  • the refinement phase A.4 takes as input the 3D model resulting from the previous stage and performs a refinement of the pairing of the views, using a deterministic algorithm based on gradients, ICP,
  • stage B.1 ellipses were used to locate the cephalometric points and points of a pixel to position the craniometric ones.
  • stage B.2 the markers located in the previous stage are started to undertake the positioning of the skull. Specifically, to place the frontal skull to the chamber, the two dacryons and the nasospinale were used and, to obtain the pose of the face in the photograph, the two ectocanthions were used to obtain the horizontal axis, the gnatio and the glabella for the vertical axis and subnasal to obtain the tip of the nose,
  • step B.3 the correspondence between the 3D model of the skull and the photograph of the face is carried out by means of sets of similarity transformations and perspective projections.
  • These transformations consist of the following: • Rotation R. Transformation that seeks to place the skull in the same pose as the photograph. To define the rotation we need: the direction of the rotation axis (dx, dy, dz), Ia location of the axis of rotation with respect to the center of coordinates (rx, ry, rz) and the angle ⁇ .
  • the Scatter Search algorithm is used as an optimization method, which searches for the values for the twelve unknowns of the system of equations described above, so that the resulting transformation minimizes the objective function (or error function).
  • the objective function (or error function) is the average of the sum of the distances between each pair of markers to be matched (each marker of the skull, craniometric point, has to be paired with a marker of the face, cephalometric point).
  • the distance considered is a "diffuse" distance that takes into account the uncertainty relative to each marker (the larger the ellipse that represents the marker, the greater the uncertainty).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

La presente invención viene dada por un método y un sistema automático que dan soporte al antropólogo forense en la tarea de identificación por superposición craneofacial. En primer lugar, el sistema construye de manera automática un modelo tridimensional a partir de un dispositivo que proporciona vistas parciales del cráneo. Posteriormente, se superpone dicho modelo sobre una fotografía de la persona desaparecida, modelando la incertidumbre inherente al emparejamiento de dos objetos distintos: un cráneo y una cara. Finalmente, el sistema emite una recomendación del resultado del proceso de identificación al antropólogo forense

Description

SISTEMA DE IDENTIFICACIÓN FORENSE POR SUPERPOSICIÓN CRANEOFACIAL BASADO EN SOFT COMPUTING
SECTOR DE LA TÉCNICA
La presente patente de invención se refiere a Ia resolución del problema de superposición craneofacial para Ia identificación forense. En términos generales tiene aplicación directa en el estudio de personas desaparecidas, grandes desastres de masas y catástrofes naturales. Como tal, puede ser de interés para los cuerpos y fuerzas de seguridad del estado (concretamente, Ia policía judicial y científica de Ia Policía Nacional y Guardia Civil, respectivamente) y los institutos de medicina legal y forense. Asimismo, tiene aplicación directa en dispositivos de adquisición y reconstrucción de modelos de objetos tridimensionales cómo los escáneres láser de rangos.
ESTADO DE LA TÉCNICA Una de las tareas más importantes de Ia Antropología Forense es Ia identificación de seres humanos a partir de sus restos óseos. Este trabajo requiere Ia comparación de datos ante-mortem (los cuales se obtienen de material visual y de entrevistas con parientes y testigos) y post-mortem. Una de las técnicas de identificación forense de mayor éxito es Ia superposición craneofacial, en Ia que se comparan fotografías o fotogramas de video de una persona desaparecida con el cráneo encontrado. Proyectando ambas fotografías una sobre otra (o, mejor, emparejando Ia foto con un modelo tridimensional del cráneo) se puede establecer si pertenecen a Ia misma persona. Este proceso se realiza de forma manual, empleando habitualmente el ordenador para representar las imágenes de ambos objetos. El procedimiento es iterativo y finaliza cuando el experto forense estima que se ha obtenido Ia mejor superposición posible desde una perspectiva global. Finalmente, a Ia vista de las características antropométricas específicas de Ia superposición obtenida, dicho experto proporciona una decisión del proceso de identificación en uno de los siguientes términos: positiva, negativa, probable positiva, probable negativa, incierta.
La presente invención viene dada por un nuevo método sistema automático que da soporte al antropólogo forense en Ia tarea de identificación por superposición craneofacial. Nótese que no existe ninguna metodología que proporcione una solución integral para abordar Ia resolución de dicho problema.
Además, Ia presente invención permite Ia formulación de hipótesis sobre Ia posible relación entre el cráneo y Ia fotografía, considerando para ello Ia incertidumbre presente en el proceso. La precisión de los resultados proporcionados es tan alta que permite su uso en casos reales de identificación forense.
Es importante distinguir el problema que resuelve Ia presente invención de una serie de técnicas relacionadas, ya sea en cuanto a los principios que los fundamentan (estudios antropológicos que relacionan cráneo y cara) o en cuanto a Ia formulación del problema (emparejamiento de imágenes):
• Por un lado, Ia reconstrucción facial parte de los mismos principios que Ia superposición craneofacial pero tiene como objetivo el representar el posible aspecto de Ia cara de una persona a partir de su cráneo. Para ello se aplican una serie de marcas en los principales puntos craneométricos, que aportan el grosor de los tejidos blandos de Ia cara, y se modelan el resto de las estructuras faciales sobre ellos. La solicitud de patente americana US0111631 describe un sistema de reconstrucción facial. Uno de los principales problemas de esta técnica es que se ha comprobado que hay muchas variaciones de los diferentes rasgos morfológicos faciales que confieren singularidad a Ia cara. Por otro lado, también hay diferencias en los tejidos faciales que están en relación con Ia edad, cambios de peso, estados anímicos, etc. Destaca Ia utilidad de Ia reconstrucción facial para recreaciones de homínidos (Atapuerca/ antecessor) o de personajes históricos (Galileo Galilei, Tutankamón), que tienen un gran valor desde el punto de vista divulgativo o didáctico. Sin embargo, desde el campo de Ia Antropología Forense Ia técnica tiene muchas limitaciones y sólo se utiliza para hacer aproximaciones que sirven para iniciar una investigación pero nunca para realizar una identificación.
• Por otro lado, existen varias propuestas automáticas de superposición de modelos 3D de Ia cara sobre fotografías 2D también de Ia cara [Patentes US0196000 o US7421097]. Una revisión del estado del arte puede encontrarse en [K.W. Bowyer, K. Chang y P. Flynn, "A survey of approaches and challenges in 3D and multi-modal 3D + 2D face recognition" Computer Vision and Image Understanding, VoI. 101 , pp. 1- 15, 2006.] Sin embargo, se trata de un problema totalmente diferente, el reconocimiento facial, que conlleva Ia superposición de un objeto 3D (el modelo 3D de Ia cara) con una proyección 2D (Ia fotografía de Ia cara) del mismo objeto. Nótese que Ia superposición craneofacial es un problema mucho más complicado donde los dos objetos a emparejar son diferentes (un modelo 3D del cráneo y una fotografía 2D de Ia cara). En el reconocimiento facial no hay necesidad de abordar Ia incertidumbre presente en casos reales de superposición craneofacial, donde se tiene que tener en cuenta el grosor de los tejidos que recubren el cráneo. Además, al contrario que en los casos reales de identificación forense, en los problemas de reconocimiento facial, todos los datos relativos a Ia cámara son conocidos. En los casos de identificación forense, Ia familia de Ia persona desaparecida es Ia que suele proporcionar la/las fotografías sin información adicional y, en algunos casos, modificadas mediante algoritmos de preprocesado (recorte, reescalado, transformaciones en el color y en el contraste, etc.), Io que puede afectar negativamente a los resultados de Ia superposición.
No existe una metodología general para el proceso de identificación por superposición craneofacial. Esto se debe tanto a Ia complejidad del procedimiento de proyección (cráneo y cara son dos objetos diferentes cuya correlación no es directa debido a Ia presencia de carne y piel en el segundo) como a Ia incertidumbre inherente al proceso de decisión (con varios niveles de confianza dependiendo del grado de conservación de Ia muestra y de Ia calidad de las fotos disponibles del proceso analítico realizado por el forense).
Existen algunos métodos de superposición craneofacial que emplean ordenadores para ayudarse en el proceso de superposición y/o para Ia visualización del cráneo y Ia cara. Sin embargo, el tamaño y Ia orientación del cráneo se cambian manualmente para ajustarlo correctamente a Ia pose de Ia cabeza en Ia fotografía. Esto se hace bien moviendo físicamente el cráneo, empleando el ordenador solo para visualizarlo en el monitor, o bien moviendo una imagen digital por Ia pantalla hasta lograr un emparejamiento bueno (con ayuda de un software comercial). Estos métodos trabajan con imágenes digitales pero, como se ha dicho, no son para nada automáticos, ya que necesitan hacer manualmente las tareas de redimensionado, traslación y rotación mediante prueba y error, algo muy costoso en tiempo y que conlleva un proceso afectado por múltiples errores. Vale Ia pena comentar que los expertos forenses pueden emplear del orden de 24 horas para cada caso. Los trabajos de Ubelaker et al. [D.H. Ubelaker, E. Bubniak, G. O'Donnel, "Computer-assisted photographic superimposition", Journal of Forensic Sciences VoI. 37 (3), pp. 750-762, 1992], Yoshino et al. [M. Yoshino, H. Matsuda, S. Kubota, K. Imaizumi, S. Miyasaka, S. Seta, "Computer-assisted skull identification system using video superimposition", Forensic Science International VoI. 90, pp. 231-244, 1997] y Ricci et al. [A. Ricci, G.L. Marella, M .A. Apóstol, "A new experimental approach to computer-aided face/skull identification in forensic anthropology", American Journal of Forensic Medicine and Pathology VoI. 27 (1), pp. 46-49, 2006] son ejemplos típicos de Io que consideramos superposiciones asistidas por ordenador.
Encontramos también un número limitado de métodos automáticos donde las dos primeras etapas del proceso de superposición craneofacial, el modelado tridimensional del cráneo y Ia proyección cráneo-cara, pueden formularse como un problema de registrado de imágenes. En este caso, se trata de aprovechar Ia capacidad de cómputo del ordenador para hallar Ia transformación espacial que logre el mejor emparejamiento entre dos imágenes (Figura 1), ya sea para reconstruir el modelo 3D del cráneo o para encontrar automáticamente Ia superposición óptima entre dicho modelo y Ia fotografía 2D de Ia cara mediante algoritmos informáticos. Hasta Ia fecha, no se han usado métodos automáticos en aplicaciones reales a pesar del alto número de casos examinados [D. H. Ubelaker, "A history of Smithsonian-FBI collaboration ¡n forensic anthropology, especially in regard to facial imagery", Forensic Science Communications VoI. 2 (4), 2000]. Sólo existen dos propuestas que realizan una superposición craneofacial de manera automática, basadas en redes neuronales [A. Ghosh, P. Sinha, "An economised craniofacial identification system", Forensic Science International VoI. 117 (1-2), pp. 109-119, 2001] y algoritmos genéticos [B.A. Nickerson, P.A. Fitzhorn, S. K. Koch, M. Charney, "A methodology for near- optimal computational superimposition of two-dimensional digital facial photographs and three-dimensional cranial surface meshes", Journal of Forensic Sciences VoI. 36 (2), pp. 480-500, 1991], respectivamente. El método propuesto por Ghosh y Sinha tiene dos importantes limitaciones (ya comentadas por los autores): no se lograba proyectar adecuadamente una zona del cráneo y requería disponer de imágenes frontales. Pero, sin duda, Ia mayor limitación del método es que realiza un emparejamiento 2D-2D al no considerar un modelo 3D del cráneo. Esto simplifica mucho Ia tarea de superposición, pero hace inviable su uso para Ia identificación forense en casos reales. Por otro lado, el método de Nickerson usaba un algoritmo genético [D. E. Goldberg, "Genetic algorithms in search, optimization, and machine learning", Addison-Wesley, 1989.] para encontrar los parámetros óptimos de las transformaciones de similitud y perspectiva que superponen el modelo 3D del cráneo sobre Ia cara de Ia fotografía. Se consideraba el empleo de una cámara digital para digitalizar Ia fotografía y se partía de un modelo 3D del cráneo encontrado (del que no se detalla el método seguido para su obtención), así como de algoritmos clásicos de procesado de imágenes para mejorar éstas (filtro de mediana, ecualización del histograma, filtro de Wiener). En ninguno de estos trabajos se formulan hipótesis sobre Ia posible relación de pertenencia entre el cráneo y Ia fotografía, y no se considera Ia incertidumbre presente en todas las etapas del proceso de superposición. En consecuencia, los resultados no son suficientemente precisos para su uso en Ia identificación forense. Además, no es un sistema automático de identificación ya que el método no incluye Ia digitalización del cráneo.
DESCRIPCIÓN DE LA INVENCIÓN
Éstos y otros objetos de Ia presente invención se consiguen mediante un procedimiento automático, basado en el ordenador, según Ia reivindicación independiente 1 , para ayudar al antropólogo forense en Ia tarea de identificación por superposición craneofacial. En dicha tarea consideramos tres etapas principales (Figura 2):
1. La primera etapa consiste en obtener un modelo digital preciso del cráneo de forma automática, requiriendo Ia menor interacción posible con el experto forense.
2. La segunda etapa, conocida como proyección cráneo-cara, tiene como objetivo Ia adecuada proyección del modelo 3D del cráneo sobre Ia fotografía. Para ello, el sistema de Ia presente invención toma como base dos conjuntos de marcadores (Figuras 3 y 4) seleccionados por el experto forense. Un conjunto sobre Ia fotografía de Ia cara (puntos cefalométricos, Figura 3) y otro conjunto en el modelo 3D del cráneo (puntos craneométricos, Figura 4). Se trata entonces de emparejar ambos conjuntos apropiadamente.
3. La última etapa se corresponde con Ia toma de una decisión de identificación en los mismos términos utilizados por los expertos forenses (positiva, negativa, probable positiva, probable negativa, incierta). Para Ia toma de esta decisión, se considera Ia calidad de los emparejamientos entre pares de marcadores.
La presente invención lleva a cabo Ia tarea de identificación por superposición craneofacial mediante el diseño de un sistema informático basado en el uso de técnicas de soft computing [P.P. Bonissone, "Soft computing: the convergence of emerging reasoning technologies". Soft Computing VoI. 1 (1), pp. 6-18, 1997]. En concreto, en dicho sistema se modela Ia incertidumbre inherente a este método de identificación forense mediante el uso de lógica difusa [KHr 96]. Asimismo, el sistema propuesto incorpora una nueva metodología fundamentada en Ia explotación de Ia información derivada del emparejamiento de marcadores en cráneo y cara para Io cual se usan metaheurísticas [Glover 03] y otros algoritmos avanzados de optimización y búsqueda [T. Báck, D. B. Fogel, Z. Michalewicz, Eds. "Handbook of Evolutionary Computation", 1OP Publishing Ud and Oxford University Press, 1997] como por ejemplo, Scatter Search [Laguna, M., Martí, R. "Scatter Search: Methodology and lmplementations in C". Kluwer Academic Publishers, 2003], CHC [Eshelman, L. J. "The CHC adaptive search algorithm: How to have safe search when engaging ¡n nontraditional genetic recombination". In GJ. E. Rawlins (Ed.), Foundations of Genetic Algorithms-1 , pp. 265-283. Morgan Kauffman, 1991] o CMA-ES [N. Hansen, A. Ostermeier, "Completely derandomized self-adaptation in evolution strategies", Evolutionary Computation VoI. 9 (2), pp.159-195, 2001]. De acuerdo a Ia metodología definida en Ia presente invención, las tres etapas del proceso de superposición se corresponden con los siguientes tres subsistemas:
1. Subsistema de modelado 3D de cráneos: cuyo objetivo es Ia construcción de modelos 3D de cráneos a partir de vistas parciales tomadas con el sistema de captura. Para ello se usan técnicas de registrado de imágenes basadas en algoritmos de optimización y búsqueda.
2. Subsistema de proyección cráneo-cara: cuyo objetivo es Ia correcta proyección del modelo 3D del cráneo sobre Ia fotografía 2D de Ia cara de Ia persona desparecida de manera automática. Se basa en algoritmos de optimización y búsqueda además de hacer uso de técnicas de lógica difusa para modelar Ia ¡ncertidumbre inherente al problema.
3. Subsistema de ayuda a Ia toma de decisiones: sistema difuso de ayuda a Ia decisión para asistir al antropólogo forense en Ia identificación afrontando Ia asociación de los puntos craneométricos y cefalométricos como un proceso de emparejamiento parcial.
Además de estos tres subsistemas hay otros dos, que si bien son opcionales, ayudan al subsistema de proyección a conseguir unos resultados más robustos y de una mayor calidad, en un menor tiempo. 4. Subsistema de posicionamiento del modelo 3D del cráneo: cuyo objetivo es el posicionamiento automático del modelo 3D del cráneo con una orientación inicial próxima a Ia orientación de Ia cara en Ia fotografía.
5. Subsistema de refinamiento manual de Ia superposición craneofacial: herramienta de edición de imágenes para el refinamiento manual de Ia superposición craneofacial lograda mediante el subsistema de proyección cráneo-cara.
El uso del subsistema 4 conlleva Ia disminución del tiempo requerido para realizar una superposición automática debido a Ia reducción del espacio de búsqueda que supone tener el cráneo en una orientación próxima a Ia buscada. Además, este posicionamiento inicial dota de una mayor robustez a los resultados proporcionados. Por último, el subsistema 5 permite un refinamiento manual de Ia superposición lograda en Ia anterior etapa. Sin embargo, en Ia mayoría de los casos, Ia superposición automática obtenida no precisará de ningún refinamiento manual y, por Io tanto, Ia etapa asociada a este subsistema es en muchos casos innecesaria.
Así, al contrario que otros sistemas y métodos comprendidos en el estado de Ia técnica, Ia presente invención aborda, globalmente y con un nuevo enfoque, cada una las tareas asociadas al proceso de superposición.
A continuación se detallan cada una de los cinco subsistemas que componen Ia presente invención, comentando las ventajas de Ia invención en relación al estado de Ia técnica mostrado en Ia sección anterior.
Subsistema de modelado 3D de cráneos
Con este subsistema se pretende obtener un modelo digital en tres dimensiones del cráneo. Para obtener dicho modelo se emplea un dispositivo de adquisición de imágenes. En el caso de que dicho dispositivo adquiera imágenes parciales de Ia superficie del cráneo, se emplea un método encargado de Ia correcta alineación de las diferentes imágenes parciales.
Este subsistema se basa en un proceso de selección exhaustiva y automática de los puntos más representativos del cráneo presentes en cada una de las vistas. Estos puntos característicos facilitan el no tener que trabajar con el modelo completo, sintetizándolo de cara al posterior procesamiento. Una vez que se han seleccionado estos puntos, se lleva a cabo un proceso de optimización y búsqueda cuyo propósito es proporcionar Ia transformación geométrica que consiga hacer coincidir un conjunto de imágenes de Ia forma más precisa posible. Al contrario que otros métodos vigentes, se integran las múltiples vistas del cráneo de manera simultánea. Este enfoque tiene Ia ventaja de reducir el error acumulado cuando Ia integración se lleva a cabo progresivamente entre imágenes adyacentes. Se consiguen así modelos 3D de cráneos más fidedignos. Otra ventaja respecto a métodos del estado de Ia técnica es que permite que el grado de solapamiento entre dos vistas consecutivas sea mínimo. Esto se consigue gracias al tratamiento robusto de las distancias entre puntos de diferentes vistas que han sido emparejados. Esto es, para calcular Ia transformación geométrica que sitúa cada vista en Ia posición adecuada para obtener el modelo 3D del cráneo, sólo se considerarán aquellos emparejamientos entre puntos que no disten más de un umbral respecto a Ia distribución de distancias entre puntos emparejados.
Ocho vistas del cráneo serían suficientes para poder llevar a cabo Ia reconstrucción total del mismo. Esto supone un ahorro en espacio de almacenamiento muy significativo respecto a otras técnicas que únicamente son capaces de manejar una ligera desalineación entre vistas consecutivas.
Subsistema de proyección cráneo-cara Este subsistema es el encargado de realizar Ia mejor proyección posible del cráneo sobre Ia fotografía de forma automática. Es, por Io tanto, un problema de registrado de imágenes, donde se busca Ia transformación que sitúa a dos imágenes 3D/2D diferentes en un mismo sistema de coordenadas (rotación, traslación, cambio de escala, etc.). En el caso de Ia presente invención, el problema consiste en encontrar Ia transformación de registrado que sitúe al modelo 3D del cráneo en Ia misma pose que tenía en el momento en el que fue realizada Ia fotografía de Ia persona desaparecida.
La definición de Ia transformación geométrica objetivo depende de un número de incógnitas provenientes de dos fuentes diferentes: a) Ia configuración de Ia cámara, donde necesitamos conocer parámetros como Ia apertura del objetivo de Ia cámara o Ia distancia entre ésta y Ia persona desaparecida en el momento de realizar Ia fotografía; y b) el modelo del cráneo: que tendrá una orientación específica y una resolución y un tamaño dados por las características técnicas del sistema de captura de imágenes, así como por el proceso de modelado del cráneo.
Una vez hemos definido los parámetros que representan Ia transformación geométrica necesaria para llevar a cabo Ia tarea de superposición craneofacial, se trata de encontrar Ia combinación de valores, para las incógnitas del sistema de ecuaciones definido, que conlleven a Ia mejor proyección posible.
Esto es, por tanto, un problema de optimización numérica, que en Ia presente invención se resuelve mediante algoritmos avanzados de optimización y búsqueda, como por ejemplo los mencionados anteriormente (Scatter Search,
CHC o CMA-ES).
El método implementado realiza una búsqueda dentro de los límites establecidos para cada incógnita, con el objetivo de que Ia transformación resultante minimice Ia distancia entre los pares de marcadores emparejados (en el cráneo y en Ia cara).
Dado que buscamos el mejor solapamiento de los marcadores localizados en dos objetos diferentes (cara y cráneo), cuya distancia no es necesariamente nula, no es adecuado seguir un enfoque que se base en minimizar Ia distancia Euclídea entre cada par de marcadores. Esto se debe a que Ia correspondencia entre marcadores faciales y craneales no es siempre simétrica y perpendicular. Por ejemplo, algunos marcadores se localizan en una posición superior en Ia cara respecto al marcador correspondiente en el cráneo. Por Io tanto, una aproximación mucho más realista y compleja consiste en considerar Ia incertidumbre inherente al proceso de superposición craneofacial, Io cual no ha sido realizado hasta el momento por ningún otro trabajo del estado de Ia técnica. Desde este punto de vista se distinguen dos tipos de incertidumbre: a) Por un lado, Ia incertidumbre en Ia localización se refiere a Ia gran dificultad inherente a Ia tarea de ubicar los marcadores en una localización invariable y con Ia precisión requerida para esta aplicación. De hecho, cada antropólogo forense tiende a situar estos puntos en diferentes localizaciones (aunque cercanas entre sí). Aunque los marcadores se seleccionan buscando que sean Io más invariables posibles, factores como los cambios en las expresiones faciales o cambios en Ia edad dificultan Ia localización precisa de estos puntos por el antropólogo. Además de Ia dificultad inherente a Ia hora de localizar los marcadores, Ia información de que disponemos no siempre está en las mejores condiciones. Por ejemplo, Ia ambigüedad para ubicar los puntos puede deberse en ocasiones a razones como Ia variación en Ia distribución de sombras debido a las condiciones de iluminación durante
Ia toma de Ia fotografía, un enfoque inadecuado, una calidad de Ia imagen pobre, etc. De este modo, Ia causa de Ia ambigüedad, y por Io tanto su naturaleza, puede variar de una imagen a otra e incluso de una característica a otra en una misma imagen. Por otro lado, Ia incertidumbre en el emparejamiento se refiere a Ia incertidumbre involucrada en Ia correspondencia entre marcadores asociados a diferentes objetos: Ia cara y el cráneo. Hay una cierta distancia entre cada punto craneométrico en el cráneo y su correspondiente punto cefalométrico en Ia fotografía. Esta distancia se debe a una cierta cantidad de tejido que separa los marcadores del hueso del cráneo de sus correspondientes en Ia cara. Además, los puntos craneométricos y cefalométricos se asocian a ubicaciones significativas biológicamente. Si estudiamos el cráneo y Ia cara por separado, se puede observar cómo puntos significativos en el cráneo no siempre se localizan justo encima de los correspondientes puntos significativos en Ia cara. De este modo, nunca se dará una superposición perfecta de todos los marcadores, incluso logrando Ia posición óptima del cráneo con respecto a Ia fotografía. Algunos estarán muy cerca, mientras que otros estarán separados por una pequeña pero significativa distancia. Nótese que no todos los marcadores contribuirán de igual manera a Ia ¡ncertidumbre del emparejamiento: cuanto mayor sea Ia distancia entre un punto cefalométrico y otro craneométrico, más importante será Ia aportación de ese par de puntos a Ia ¡ncertidumbre total del emparejamiento. La presente invención aborda el problema de Ia incertidumbre en el proceso de Ia superposición craneofacial considerando las dos fuentes de incertidumbre citadas: a) Por un lado, mediante el uso de marcadores difusos por los que Ia comunidad de antropólogos físicos ya ha mostrado su interés. En particular el experto forense puede localizar marcadores del tamaño que desee según a Ia variabilidad espacial que considere que pudiera tener cada punto de referencia en una imagen o modelo de cráneo concreto. La implementación de marcadores difusos en Ia presente invención tiene las siguientes características: - A cada punto de referencia difuso Ie corresponde un conjunto difuso bidimensional, cuyos límites vienen representados por los píxeles limítrofes al punto. Este conjunto difuso nos proporciona el grado de pertenencia de cada píxel del punto de referencia difuso según Ia función elegida (triangular, gaussiana, trapezoidal, etc.) y Ia localización del centroide (punto con mayor grado de pertenencia) realizada por el forense experto. Este grado de pertenencia se entiende como el nivel de posibilidad de que dicho píxel sea en realidad Ia localización exacta del marcador.
- Mediante este método se computan las distancias entre cada par de puntos contenidos en los marcadores difusos en cuestión. Luego se calcula una distancia difusa final teniendo en cuenta el grado de pertenencia de cada punto.
Los resultados de las superposiciones muestran que Ia aproximación difusa es capaz de modelar Ia incertidumbre involucrada en Ia localización de los marcadores, permitiendo el uso de marcadores del tamaño deseado por el experto forense. Esto posibilita que los forenses puedan localizar marcadores que no les sería posible posicionar mediante los sistemas vigentes, al no ser capaces de determinar su posición exacta con una confianza absoluta. El hecho de tener más marcadores mejora Ia calidad de las superposiciones realizadas por este método y, por Io tanto, el resultado final que el sistema proporcionará. b) Por otro lado, en esta invención también se aborda Ia incertidumbre en el emparejamiento. Su implementación en Ia presente invención tiene las siguientes características:
- Según el conocimiento de expertos forenses, se definen unos conjuntos difusos que modelan Ia distancia real que puede existir entre cada punto craneométrico y su correspondiente cefalométrico. Por cada par de marcadores hay un conjunto difuso bidimensional que modela Ia distancia permitida entre éstos, es decir, Ia "tolerancia fisonómica" del emparejamiento. En particular, las distancias más probables según los antropólogos forenses se corresponden con los grados de confianza más elevados. Según difieren más esas distancias, menor será Ia confianza en ese emparejamiento.
- El cálculo de Ia distancia difusa anteriormente comentada varía mediante Ia inclusión de Ia incertidumbre en el emparejamiento. El algoritmo de búsqueda ya no trata de minimizar Ia distancia entre pares de puntos sino que intenta ajustar las distancias entre pares de marcadores a aquéllas con mayor grado de confianza, según los conjuntos difusos que modelan Ia distancia real.
Los resultados de las superposiciones muestran que Ia aproximación difusa es capaz de modelar Ia incertidumbre involucrada en el emparejamiento de los marcadores. Los sistemas vigentes tratan de minimizar la distancia absoluta entre cada par de marcadores. Por el contrario, en el funcionamiento de este sistema se incluye el conocimiento de los expertos forenses, los cuales han definido unos intervalos de confianza para cada distancia entre cada par de marcadores. Esto conlleva que el proceso de búsqueda no minimice distancias, sino que trate de que éstas sean Io más parecidas a las distancias reales que existen entre puntos craneométricos y cefalométricos. Dichas distancias son distintas para cada caso y para cada par de marcadores. La inclusión de este conocimiento experto en el subsistema de superposición craneofacial mejora mucho Ia calidad de las superposiciones y, por Io tanto, el resultado final que proporciona el sistema.
Finalmente, en este subsistema se obtiene una superposición craneofacial muy precisa que permite estudiar Ia posible correspondencia cráneo-cara. Además, el resultado del subsistema de proyección cráneo-cara puede (si el experto forense así Io prefiere) usarse como punto de partida para refinar manualmente y con ayuda del ordenador Ia superposición obtenida automáticamente. La ventaja en este caso con respecto al procedimiento habitual del forense es que se parte de una superposición de gran calidad, con el consecuente ahorro de tiempo.
Subsistema de ayuda a Ia toma de decisiones
Este subsistema es el encargado de asistir al antropólogo forense en Ia decisión final de Ia identificación a partir del emparejamiento de los marcadores encontrado en Ia superposición del subsistema previo.
Gracias al uso de Ia lógica difusa en el subsistema de proyección cráneo-cara, tanto Ia incertidumbre en Ia localización de los marcadores como Ia asociada al emparejamiento de los mismos, se traslada a este subsistema. El objetivo es poder dar una medida de confianza que sirva para evaluar Ia superposición realizada.
Para ello, en este subsistema se diseña un sistema de inferencia difuso con Ia colaboración de los expertos forenses. Las entradas del mismo son los grados de certeza en Ia localización de los marcadores y en el emparejamiento de cada par de estos puntos. Se usan operadores de agregación difusos para combinarlos y tomar Ia decisión final.
Mediante el mecanismo de inferencia difuso que modela el conocimiento de los antropólogos forenses, el sistema emite una recomendación al antropólogo forense del grado de correspondencia entre el modelo del cráneo encontrado y Ia fotografía de Ia cara de Ia persona desaparecida. Esta recomendación puede ser una de las cinco siguientes: positiva, negativa, probable positiva, probable negativa e incierta. Además, se proporciona el valor de certeza asociado a Ia recomendación. Las ventajas que aporta Ia inclusión de este subsistema son muy importantes ya que, por un lado, ayuda al experto forense a emitir un juicio final sobre Ia correspondencia entre cráneo y cara y, por otro lado, también se puede utilizar de forma autónoma, sin Ia necesidad de Ia supervisión de un experto. Además, basándose en este último caso de funcionamiento, Ia presente invención permite Ia comparación de un mismo cráneo contra un repositorio de fotografías de personas desaparecidas, proporcionando como salida Ia fotografía con Ia que existe un mayor grado de correspondencia. En este caso, también se proporciona una recomendación al experto (positiva, negativa, probable positiva, probable negativa e incierta) y el valor de certeza asociado a Ia recomendación.
Subsistema de posicionamiento del modelo 3D del cráneo El objetivo de este subsistema es orientar el cráneo hacia una pose próxima a Ia orientación de Ia cara en Ia fotografía. De esta manera, se disminuye notablemente el espacio de búsqueda al acotar los límites de las rotaciones permitidas por el subsistema de superposición craneofacial en cada uno de los tres ejes. Esta reducción del espacio de búsqueda conlleva una disminución en el tiempo necesario para realizar Ia tarea de proyección cráneo-cara a Ia vez que hace que los resultados del sistema sean más robustos.
Para realizar esta orientación inicial del cráneo se obtiene primero Ia posición de éste con respecto a Ia cámara. Esto se logra calculando el vector ortogonal al plano formado por tres marcadores craneales (puntos craneométricos) seleccionados a priori. A partir de este vector, se calculan (y aplican) los ángulos de las tres rotaciones necesarias para situar al cráneo frente a Ia cámara. Si bien no es una operación complicada, no hay trabajos en el estado de Ia técnica que realicen este posicionamiento inicial del cráneo frente a Ia cámara, algo que ayuda al proceso de superposición, haciéndolo más rápido y robusto.
Además, dado que Ia pose de Ia persona en Ia fotografía no tiene porque ser frontal a Ia cámara, se calcula Ia pose (tres ángulos de rotación: rol I, pitch y yaw) de ésta para luego situar al cráneo en Ia misma pose, nuevamente mediante tres rotaciones. Si bien hay métodos en el estado de Ia técnica para calcular Ia pose inicial de Ia cara [Murphy-Chutorian, E., Manubhai Trivedi, M. "Head Pose Estimation in Computer Vision: a Survey", IEEE Transactions on Pattem Analysis and Machine Intelligence vol.31 , no.4, 2009], se diseño un método propio para esta invención, dado que ninguno de éstos es válido para nuestro problema. Hay enfoques de aprendizaje automático que tienen el inconveniente de que necesitan un amplio número de fotos de caras (con los 3 ángulos de Ia pose conocidos) para su entrenamiento. Además de no encontrar ninguna base de imágenes etiquetadas con los 3 ángulos de Ia pose (solo con dos), estos métodos no producen resultados satisfactorios sobre las imágenes con las que se trata en Ia identificación forense, si no que se utilizan imágenes en entornos (luminosidad, oclusiones de Ia cara, resolución de las imágenes, etc.). Otros trabajos, los que siguen un enfoque geométrico, no resultaron válidos por diversas razones, unos porque requerían conocer datos de Ia cámara, como Ia distancia focal, otros por limitarse a vistas frontales, otros por utilizar imágenes en 2.5D, y otros por que se enfocan hacia el tracking en video.
El método utilizado para hallar Ia pose de Ia cara en Ia fotografía utiliza por un lado los puntos cefalométricos del eje vertical de Ia cara (el forense puede marcar hasta siete distintos, se interpola sobre los puntos de los que se disponga), para hallar dicho eje. Se utilizan dos de los puntos cefalométricos a Ia altura de los ojos (de los cuatro posibles) a partir de los cuales se traza un eje horizontal. Se sitúa Ia base de Ia nariz sobre el eje vertical a partir de alguno de los puntos cefalométricos en esta zona (hay tres, dos alares y un subnasal). A continuación, se detecta Ia punta de Ia nariz a partir de una "ventana" de píxeles, buscando en esta el punto de mayor intensidad. Una vez calculado el eje y los puntos base de Ia nariz y punta, ya se pueden calcular los tres ángulos que determinan Ia pose de Ia cara. El "roll" se calcula aparte, midiendo directamente Ia inclinación del eje horizontal de los ojos con respecto al eje horizontal del plano imagen. Para el cálculo del "pitch" y "yaw" se utilizan una serie de ecuaciones que establecen relaciones geométricas en el plano de Ia cara y su representación en 3D. Aunque como resultado de este subsistema Ia precisión en Ia orientación del cráneo no es Ia deseada, se alcanza una orientación muy cercana a Ia óptima, por Io que Ia optimización de este parámetro en el subsistema de superposición estará restringida a un espacio de búsqueda menor, con el consiguiente ahorro de tiempo. Subsistema de refinamiento manual de Ia superposición craneofacial
El subsistema de refinamiento manual de Ia superposición craneofacial es una herramienta de edición de imagen 3D/2D diseñada ad-hoc. El objetivo es dar al usuario de Ia invención Ia posibilidad de refinar manualmente Ia superposición obtenida de forma automática en Ia etapa anterior. En principio, no siempre sería necesaria porque Ia aproximación obtenida automáticamente es de una alta calidad. En caso de emplearse, dicha aproximación automática siempre sería una inicialización muy próxima al resultado final deseado por el experto forense. Esta herramienta permite:
(a) manipular el modelo 3D del cráneo partiendo de una posición inicial,
(b) rotar, escalar y trasladar el modelo 3D del cráneo,
(c) ajustar Ia transformación perspectiva del modelo 3D del cráneo, y
(d) guardar Ia superposición craneofacial lograda y el correspondiente valor de los parámetros de Ia transformación.
Al contrario que otras herramientas que pueden utilizarse para manipular objetos tridimensionales u otras orientadas al trabajo con imágenes bidimensionales, esta herramienta integra el uso de modelos 3D y fotografías 2D. Para ello, permite modificar Ia transformación perspectiva asociada a Ia superposición, algo sin Io cual no se pueden conseguir superposiciones adecuadas. Nótese que el presente subsistema añade valor a Ia invención al dar Ia posibilidad de un procesamiento manual de Ia superposición generada automáticamente.
DESCRIPCIÓN DE LAS FIGURAS Para complementar Ia descripción que seguidamente se va a realizar y con objeto de ayudar a una mejor comprensión de las características de Ia invención, se acompaña como parte integrante de dicha descripción, un juego de figuras donde con carácter ilustrativo y no limitativo, se ha representado Io siguiente:
La Figura 1 representa un esquema general del problema de registrado de imágenes. En dicho problema se parte de una imagen 1 ("escena"), Ia cual se quiere poner en el mismo eje de coordenadas que otra imagen 2 ("modelo"). Para ello, se aplica 3 (transformación f) a Ia imagen escena y se evalúa si hay un buen emparejamiento mediante 4 (métrica de similitud). Si en 5, convergencia, el resultado es que sí (el método ha convergido) se obtiene 6, f final. Si no es así, se trata de optimizar iterativamente 7, nueva transformación f, hasta alcanzar un emparejamiento válido mediante 8, optimizador.
La Figura 2 representa esquemáticamente las tres etapas del proceso realizado por el sistema de identificación forense por superposición craneofacial. Primeramente en 1 se obtienen una foto y modelo del cráneo, localizando en ambos los marcadores oportunos. Luego se realiza una proyección cráneo- cara, 2. En base a Ia superposición obtenida de este modo se decide (3) si cráneo y fotografía corresponden al mismo individuo y con qué grado de certeza.
La Figura 3 representa esquemáticamente los diferentes marcadores que normalmente se utilizan en Ia cara (puntos cefalométricos) para Ia superposición craneofacial. Estos son: 1 Glabela, 2 Nasio, 3 Endocantio, 4 Ectocantio, 5 Subnasal, 6 Alar, 7 Labial superior, 8 Cigio, 9 Labial inferior, 10 Pogonio, 11 Gonio, 12 Gnatio,13 Tragio, 14 Mentón.
La Figura 4 representa esquemáticamente los diferentes marcadores que normalmente se utilizan en el cráneo (puntos craneométricos) para Ia superposición craneofacial. Estos son: 1 Vértex, 2 Glabela, 3 Nasio, 4 Frontotemporal, 5 Dacrio, 6 Frontomolar temporal, 7 Orbital, 8 Alar, 9 Cigio, 10 Nasoespinal, 11 Prostio, 12 Gonio, 13 Pogonio, 14 Gnatio, 15 Porio.
La Figura 5 representa un diagrama de flujo, de una realización preferida del método proceso que realiza el sistema de Ia presente invención distinguiendo diferentes etapas: A, reconstrucción de un modelo tridimensional del cráneo; A.1 , obtención de imágenes de diferentes vistas del cráneo encontrado mediante un escáner láser de rangos Konica-Minolta VI-910, A.2, obtención de las líneas de cresta de las diferentes vistas obtenidas en A.1 ; A.3, prealineamiento de las imágenes obtenidas en A.2 mediante el algoritmo de optimización Scatter Search; A.4, refinamiento del modelo 3D obtenido en A.3 mediante el algoritmo ICP; B, proyección cráneo-cara del modelo 3D del cráneo y de Ia cara de Ia fotografía; B.1 , posicionamiento de los marcadores sobre el modelo de cráneo obtenido en A.4 y Ia fotografía de Ia persona desaparecida; B.2, reorientación del cráneo obtenido en A.4 a una pose próxima a Ia de Ia cara en Ia fotografía; B.3, proyección cráneo-cara mediante el algoritmo de optimización Scatter Search para el emparejamiento de marcadores, usando conjuntos difusos para el modelado de marcadores con incertidumbre; B.4, refinamiento manual de Ia superposición obtenida en B.3; C, ayuda a Ia toma de decisiones; C.1 , propagación de Ia incertidumbre obtenida en Ia etapa B.3 para cada emparejamiento y cálculo de una incertidumbre global; C.2, cálculo de los grados de los emparejamientos parciales de los marcadores; C.3, emisión de una recomendación tras Ia aplicación de un operador de agregación difusa.
DESCRIPCIÓN DE UNA REALIZACIÓN PREFERIDA
En Ia Figura 5 se muestra un diagrama de flujo de una realización preferida del proceso realizado por el sistema de Ia presente invención. Se distinguen las siguientes características específicas: 1. en la etapa de obtención de imágenes de diferentes vistas del cráneo, A.1 , el dispositivo de adquisición es un escáner láser de rangos Konica- Minolta VI-910. No se usa una mesa rotatoria para dicha adquisición,
2. como proceso de extracción de características de las diferentes vistas adquiridas, etapa A.2, se utiliza Ia extracción de líneas de cresta,
3. para llevar a cabo el prealineamiento de imágenes, etapa A.3, se sigue una metodología en Ia que se integran todas las vistas del modelo 3D al mismo tiempo, minimizando así el error,
4. Ia fase de refinamiento A.4, coge como entrada el modelo 3D resultante de Ia etapa anterior y realiza un refinamiento del emparejamiento de las vistas, mediante un algoritmo determinista basado en gradientes, ICP,
5. en Ia etapa B.1 , se utilizaron elipses para localizar los puntos cefalométricos y puntos de un píxel para posicionar los craneométricos.
6. en Ia etapa B.2, se parte de los marcadores localizados en Ia etapa anterior para acometer el posicionamiento del cráneo. Concretamente, para situar el cráneo frontal a Ia cámara, se utilizaron los dos dacryons y el nasoespinale y, para obtener Ia pose de Ia cara en Ia fotografía, se utilizaron los dos ectocanthions para obtener el eje horizontal, el gnatio y Ia glabella para el eje vertical y el subnasal para obtener Ia punta de Ia nariz,
7. para llevar a cabo Ia proyección cráneo-cara, etapa B.3, se realiza Ia correspondencia entre el modelo 3D del cráneo y Ia fotografía de Ia cara mediante conjuntos de transformaciones de similitud y proyecciones perspectivas. Estas transformaciones consisten en Io siguiente: • Rotación R. Transformación que busca situar al cráneo en Ia misma pose que Ia fotografía. Para definir Ia rotación necesitamos: Ia dirección del eje de rotación (dx,dy,dz), Ia localización del eje de rotación con respecto al centro de coordenadas (rx,ry,rz) y el ángulo θ.
• Escalado S. Transformación que busca adaptar uniformemente el tamaño del modelo del cráneo en base al tamaño de Ia persona desaparecida en Ia fotografía.
• Traslación T. Transformación (tx.ty.tz) que busca situar el origen de coordenadas enfrente de Ia cámara (reproduciendo las condiciones iniciales del momento en el que se realizó Ia fotografía).
• Proyección perspectiva P. Transformación que trata de determinar Io lejos que está Ia cámara del cráneo y tiene una fuerte relación con el ángulo de visión (Φ) de Ia cámara.
Todas estas transformaciones dan lugar a un sistema de ecuaciones con doce incógnitas (rx,ry,rz,dx,dy,dz,θ,S,tx,ty,tz,Φ) que representan Ia transformación geométrica que empareja cada marcador del modelo 3D del cráneo en su correspondiente marcador facial en Ia fotografía.
El sistema de ecuaciones resultante es el siguiente: F = CxSxTxP
donde:
R = Ax Dx X D2 x®x D~ι X Z)1 "1
Figure imgf000025_0001
F = y. C =
Figure imgf000025_0002
Como método de optimización se utiliza el algoritmo Scatter Search, que busca los valores para las doce incógnitas del sistema de ecuaciones antes descrito, de manera que Ia transformación resultante haga mínima Ia función objetivo (o función de error).
La función objetivo (o función de error) es Ia media de Ia suma de las distancias entre cada par de marcadores a emparejar (cada marcador del cráneo, punto craneométrico, tiene que emparejarse con un marcador de Ia cara, punto cefalométrico). La distancia considerada es una distancia "difusa" que tiene en cuenta Ia incertidumbre relativa a cada marcador (a mayor tamaño de Ia elipse que representa el marcador mayor incertidumbre).
Es muy importante destacar el tiempo necesario para realizar esta tarea por parte de Ia invención, que en el peor de los casos nunca supera los cinco minutos en un PC convencional. Comparando este tiempo con las 24 horas que puede llegar a tardar un antropólogo forense en hacer una superposición manual asistida por el ordenador, Ia mejora es muy significativa, más aún teniendo en cuenta que en muchos casos será necesario realizar Ia superposición de un mismo cráneo sobre las diferentes fotografías disponibles.
Por último, en base a Ia distancia existente (difusa) entre cada par de marcadores (craneométrico-cefalométrico) y su distancia teórica (difusa), se calcula un grado de incertidumbre global asociado a Ia superposición. Teniendo en cuenta esta incertidumbre y haciendo uso de un operador de agregación difuso, el sistema emite una recomendación sobre Ia correspondencia cráneo- fotografía dentro de las siguientes cinco posibilidades: positiva, negativa, probable positiva, probable negativa e incierta.

Claims

REIVINDICACIONES
1.- Sistema de identificación forense que realiza un proceso de superposición craneofacial de un modelo 3D de un cráneo y una fotografía en Ia que se incluye Ia cara de un individuo, caracterizado por:
(a) un subsistema de modelado 3D de cráneos, que proporciona un modelo 3D del cráneo a partir de vistas parciales del mismo mediante un algoritmo de optimización y búsqueda
(b) un subsistema de proyección cráneo-cara, que empareja el modelo 3D del cráneo con Ia cara de Ia fotografía mediante un algoritmo de optimización y búsqueda
(c) un subsistema de ayuda a Ia toma de decisiones, que emite una valoración sobre Ia relación de correspondencia entre el cráneo y Ia cara emparejados (d) un subsistema de posicionamiento inicial del modelo 3D del cráneo, que hace una primera estimación de Ia mejor posición del modelo del cráneo en Ia fotografía
(e) un subsistema de refinamiento manual de Ia superposición craneofacial que permite modificar, según las preferencias del usuario, el emparejamiento cráneo-cara llevado a cabo por el sistema,
2. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de modelado 3D de cráneos usa un dispositivo que proporciona varias vistas parciales del cráneo y que comprende las siguientes fases: (a) adquisición de las diferentes vistas parciales del cráneo, donde cada vista es una imagen parcial de Ia superficie del cráneo,
(b) síntesis de Ia información de cada vista parcial del cráneo mediante Ia extracción de características de Ia imagen invariantes a Ia transformación que relaciona cada par de vistas adyacentes,
(c) prealineamiento de las diferentes imágenes obtenidas mediante un algoritmo de optimización,
(d) refinamiento del modelo 3D obtenido en Ia etapa anterior mediante un algoritmo de búsqueda local.
3. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de modelado 3D de cráneos de Ia reivindicación 2 es capaz de realizar una correcta reconstrucción 3D del cráneo a partir de vistas parciales del mismo.
4. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el dispositivo usado para Ia fase (a) de Ia reivindicación 2, adquisición de diferentes vistas parciales del cráneo, puede ser un escáner láser de rangos, un sistema de imagen óptica basado en tiempo de vuelo o cualquier dispositivo óptico capaz de obtener imágenes con información precisa de profundidad.
5. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque en Ia fase de prealineamiento de imágenes de Ia reivindicación 2, se puede seguir o bien una metodología que integra progresivamente vistas adyacentes, o bien, una metodología en Ia que se integran todas las vistas al mismo tiempo.
6. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de proyección cráneo-cara comprende las siguientes fases: (a) codificación de Ia transformación proyectiva 3D-2D,
(b) establecimiento de los intervalos de posibles valores para cada una de las incógnitas de Ia transformación proyectiva elegida,
(c) búsqueda de Ia transformación 3D-2D (combinación de valores para las incógnitas) que conlleve una adecuada superposición, mediante un algoritmo de optimización y búsqueda.
7. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el algoritmo de búsqueda utilizado en Ia etapa (c) de Ia reivindicación 6 puede ser uno de los siguientes: Scatter Search, CHC, CMA-ES.
8. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque para lograr una adecuada superposición en Ia etapa (c) de Ia reivindicación 6, hay que minimizar una de las siguientes funciones:
(a) Ia media de Ia suma de las distancias Euclídeas entre pares de puntos de referencia cefalométricos y sus correspondientes craneométricos una vez transformados a 2D, si no se tiene en cuenta Ia incertidumbre, (b) las distancias difusas entre pares de puntos de referencia cefalométricos y sus correspondientes craneométricos una vez transformados a 2D, si sólo se tiene en cuenta Ia incertidumbre en Ia localización de los marcadores,
(c) Ia diferencia entre las distancias fisonómicas aproximadas entre pares de puntos craneométricos-cefalométricos y las distancias entre pares de puntos cefalométricos y sus correspondientes craneométricos una vez transformados a 2D1 si se tiene en cuenta Ia incertidumbre en Ia localización y emparejamiento de los marcadores.
9. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de superposición craneofacial de Ia reivindicación 6 muestra gráficamente el resultado de Ia superposición del modelo 3D del cráneo proyectado sobre Ia fotografía objetivo.
10. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de superposición craneofacial de Ia reivindicación 6 presenta una interfaz para Ia interacción con el usuario para que éste pueda ajustar los parámetros que intervienen en el proceso de superposición para Ia obtención de superposiciones diferentes a las propuestas por dicho sistema.
11. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de ayuda a Ia toma de decisiones comprende las siguientes etapas:
(a) propagación de Ia incertidumbre obtenida en el subsistema de proyección cráneo-cara de Ia reivindicación 1 ,
(b) análisis del emparejamiento de Ia superposición obtenida en el subsistema de proyección cráneo-cara de Ia reivindicación 1 , (c) emisión de una recomendación.
12. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1, caracterizado porque en Ia etapa de propagación de Ia incertidumbre, del subsistema de ayuda a Ia toma de decisiones, se propaga Ia incertidumbre relativa a Ia localización imprecisa de los puntos craneométricos y cefalométricos.
13. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque en Ia etapa de propagación de Ia incertidumbre del subsistema de ayuda a Ia toma de decisiones, se propaga Ia incertidumbre relativa al emparejamiento impreciso entre pares de puntos cefalométricos y craneométricos.
14. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque en Ia etapa de análisis del emparejamiento de Ia superposición obtenida del subsistema de ayuda a Ia toma de decisiones, se utiliza un sistema difuso que modela el conocimiento experto de los antropólogos forenses.
15. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque en Ia etapa de emisión de una recomendación del subsistema de ayuda a Ia toma de decisiones, se emite una de las siguientes recomendaciones sobre Ia superposición craneofacial (correspondencia de fotografía de Ia cara-modelo 3D del cráneo) obtenida: identificación positiva, negativa, probable positiva, probable negativa o incierta, y se proporciona un grado de confianza asociado.
16. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1, caracterizado porque el subsistema de posicionamiento del modelo 3D del cráneo comprende las siguientes fases: (a) obtención de Ia posición del modelo 3D del cráneo respecto a Ia cámara mediante tres ángulos de Euler,
(b) aplicación de los tres ángulos de Euler calculados en (a) para el posicionamiento del cráneo en una posición frontal a Ia cámara,
(c) obtención de Ja orientación de Ia cara en Ia fotografía mediante tres ángulos de Euler,, .
(d) aplicación de los tres ángulos de Euler calculados en (c) para el posicionamiento del cráneo en Ia misma pose que Ia estimada para Ia cara en Ia fotografía.
17. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque Ia etapa (a) de Ia reivindicación 16 comprende las siguientes fases:
(a) cálculo del plano facial del modelo 3D del cráneo a partir de los puntos craneométricos frontales, (b) cálculo del vector normal al plano facial,
(c) cálculo de las rotaciones necesarias para que el vector normal al plano facial esté orientado hacia el eje de Ia cámara.
HOJA DE SUSTITUCIÓN (REGLA 26) RO/XX
21. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque Ia etapa (c) de Ia reivindicación 16 comprende las siguientes fases:
(a) cálculo del eje vertical central de Ia cara y del eje horizontal que pasa por el centro de los ojos,
(b) cálculo de Ia base y Ia punta de Ia nariz,
(c) cálculo de los tres ángulos de Euler que definen Ia orientación de Ia cara en Ia fotografía a partir de los puntos y ejes calculados en (a) y (b) además de las ecuaciones que definen las relaciones geométricas de una cara.
22. Sistema de identificación forense mediante superposición craneofacial según reivindicación 1 , caracterizado porque el subsistema de refinamiento manual de Ia superposición craneofacial es una herramienta de edición de imágenes 3D/2D que permite:
(a) manipular el modelo 3D del cráneo partiendo de una posición inicial dada por el subsistema de proyección cráneo-cara de Ia reivindicación 1 ,
(b) rotar, escalar y trasladar el modelo 3D del cráneo,
(c) ajustar Ia transformación perspectiva del modelo 3D del cráneo, (d) modificar los parámetros intrínsecos y extrínsecos de Ia cámara,
(e) guardar Ia superposición craneofacial lograda y el correspondiente valor de los parámetros de Ia transformación.
PCT/ES2010/000350 2009-07-30 2010-07-30 Sistema de identificación forense por superposición craneofacial basado en soft computing WO2011012747A2 (es)

Priority Applications (3)

Application Number Priority Date Filing Date Title
MX2012000942A MX2012000942A (es) 2009-07-30 2010-07-30 Sistema de identificacion forense por superposicion craneofacial basado en soft computing.
EP10803938.9A EP2461271A4 (en) 2009-07-30 2010-07-30 COURT MEDICAL IDENTIFICATION SYSTEM WITH A CRANO-FACTORY OVERLAPPING BASED ON A SOFT CALCULATION
US13/387,321 US20120182294A1 (en) 2009-07-30 2010-07-30 Forensic identification system using craniofacial superimposition based on soft computing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESP200901732 2009-07-30
ES200901732A ES2353099B1 (es) 2009-07-30 2009-07-30 Método y sistema de identificación forense por superposición craneofacial basado en soft computing.

Publications (2)

Publication Number Publication Date
WO2011012747A2 true WO2011012747A2 (es) 2011-02-03
WO2011012747A3 WO2011012747A3 (es) 2011-07-14

Family

ID=43529762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2010/000350 WO2011012747A2 (es) 2009-07-30 2010-07-30 Sistema de identificación forense por superposición craneofacial basado en soft computing

Country Status (5)

Country Link
US (1) US20120182294A1 (es)
EP (1) EP2461271A4 (es)
ES (1) ES2353099B1 (es)
MX (1) MX2012000942A (es)
WO (1) WO2011012747A2 (es)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477878B2 (en) * 2014-01-28 2016-10-25 Disney Enterprises, Inc. Rigid stabilization of facial expressions
US10007988B2 (en) 2014-02-28 2018-06-26 The Board Of Regents Of The Nevada System Of Higher Education On Behalf Of The University Of Nevada, Las Vegas Systems and methods for approximating the soft tissue profile of the skull of an unknown subject
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
CN110251047B (zh) 2014-03-28 2022-01-18 直观外科手术操作公司 手术植入物的定量三维成像和打印
JP2017518147A (ja) 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術シーンの定量的三次元撮像
WO2015149044A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Surgical system with haptic feedback based upon quantitative three-dimensional imaging
WO2015149042A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Alignment of q3d models with 3d images
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
US9402070B2 (en) * 2014-06-12 2016-07-26 Faro Technologies, Inc. Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality
US10021379B2 (en) 2014-06-12 2018-07-10 Faro Technologies, Inc. Six degree-of-freedom triangulation scanner and camera for augmented reality
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
KR102288280B1 (ko) 2014-11-05 2021-08-10 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치
US9506744B2 (en) 2014-12-16 2016-11-29 Faro Technologies, Inc. Triangulation scanner and camera for augmented reality
US11880980B2 (en) * 2016-06-17 2024-01-23 Children's National Medical Center Medical anatomy quantification: computer-aided diagnosis tool
CN110214341A (zh) * 2016-12-06 2019-09-06 新加坡国立大学 重建颅骨的方法
CN109146845A (zh) * 2018-07-16 2019-01-04 中南大学 基于卷积神经网络的头颅影像标志点检测方法
IT201800011117A1 (it) * 2018-12-14 2020-06-14 Marco Farronato Sistema e metodo per la visualizzazione di un sito anatomico in realta' aumentata
ES2769962A1 (es) * 2018-12-29 2020-06-29 Univ Granada Procedimiento de identificacion de imagenes oseas
US20220215625A1 (en) * 2019-04-02 2022-07-07 The Methodist Hospital System Image-based methods for estimating a patient-specific reference bone model for a patient with a craniomaxillofacial defect and related systems
CN110264562B (zh) * 2019-05-23 2023-06-27 沈阳医学院 颅骨模型特征点自动标定方法
ES2932181A1 (es) * 2021-07-02 2023-01-16 Panacea Cooperative Res S Coop Procedimiento de identificación forense mediante comparación automática de modelo 3D del cráneo y fotografía(s) de la cara

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421097B2 (en) 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7717708B2 (en) * 2001-04-13 2010-05-18 Orametrix, Inc. Method and system for integrated orthodontic treatment planning using unified workstation
US6879712B2 (en) * 2001-05-25 2005-04-12 Orhan C. Tuncay System and method of digitally modelling craniofacial features for the purposes of diagnosis and treatment predictions
US7616797B2 (en) * 2004-08-23 2009-11-10 Bailey Kenneth S Minutia detection from measurement of a human skull and identifying and profiling individuals from the human skull detection
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US20070237365A1 (en) * 2006-04-07 2007-10-11 Monro Donald M Biometric identification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421097B2 (en) 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
"Fuzzy sets, fuzzy logic, and fuzzy systems: selected papers by Lotfi A. Zadeh", 1996, WORLD SCIENTIFIC PUBLISHING
"Handbook of Evolutionary Computation", 1997, IOP PUBLISHING LTD AND OXFORD UNIVERSITY PRESS
"Handbook of Metaheuristics", 2003, KLUWER ACADEMIC PUBLISHERS
A. GHOSH; P. SINHA: "An economised craniofacial identification system", FORENSIC SCIENCE INTEMATIONAL, vol. 117, no. 1-2, 2001, pages 109 - 119
A. RICCI; G.L. MARELLA; M.A. APOSTOL: "A new experimental approach to computer-aided face/skull identification in forensic anthropology", AMERICAN JOURNAL OF FORENSIC MEDICINE AND PATHOLOGY, vol. 27, no. 1, 2006, pages 46 - 49
B.A. NICKERSON; P.A. FITZHORN; S.K. KOCH; M. CHARNEY: "A methodology for near-optimal computational superimposition of two-dimensional digital facial photographs and three-dimensional cranial surface meshes", JOUMAL OF FORENSIC SCIENCES, vol. 36, no. 2, 1991, pages 480 - 500
D.E. GOLDBERG: "Genetic algorithms in search, optimization, and machine learning", 1989, ADDISON-WESLEY
D.H. UBELAKER: "A history of Smithsonian-FBI collaboration in forensic anthropology, especially in regard to facial imagery", FORENSIC SCIENCE COMMUNICATIONS, vol. 2, no. 4, 2000
D.H. UBELAKER; E. BUBNIAK; G. O'DONNEL: "Computer-assisted photographic superimposition", JOURNAL OF FORENSIC SCIENCES, vol. 37, no. 3, 1992, pages 750 - 762
ESHELMAN, L. J.: "Foundations of Genetic Algorithms-1", 1991, MORGAN KAUFFMAN, article "The CHC adaptive search algorithm: How to have safe search when engaging in non-traditional genetic recombination", pages: 265 - 283
K.W. BOWYER; K. CHANG; P. FLYNN: "A survey of approaches and challenges in 3D and multi-modal 3D + 2D face recognition", COMPUTER VISION AND IMAGE UNDERSTANDING, vol. 101, 2006, pages 1 - 15, XP005176394, DOI: doi:10.1016/j.cviu.2005.05.005
LAGUNA, M.; MARTI, R.: "Scatter Search: Methodology and Implementations in C", 2003, KLUWER ACADEMIC PUBLISHERS
M. YOSHINO; H. MATSUDA; S. KUBOTA; K. IMAIZUMI; S. MIYASAKA; S. SETA: "Computer-assisted skull identification system using video superimposition", FORENSIC SCIENCE INTEMATIONAL, vol. 90, 1997, pages 231 - 244
MURPHY-CHUTORIAN, E.; MANUBHAI TRIVEDI, M.: "Head Pose Estimation in Computer Vision: a Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 31, no. 4, 2009, XP011266518, DOI: doi:10.1109/TPAMI.2008.106
N. HANSEN; A. OSTERMEIER: "Completely de-randomized self- adaptation in evolution strategies", EVOLUTIONARY COMPUTATION, vol. 9, no. 2, 2001, pages 159 - 195
P.P. BONISSONE: "Soft computing: The convergence of emerging reasoning technologies", SOFT COMPUTING, vol. 1, no. 1, 1997, pages 6 - 18
See also references of EP2461271A4

Also Published As

Publication number Publication date
US20120182294A1 (en) 2012-07-19
MX2012000942A (es) 2012-06-13
EP2461271A4 (en) 2014-04-09
EP2461271A2 (en) 2012-06-06
ES2353099A1 (es) 2011-02-25
WO2011012747A3 (es) 2011-07-14
ES2353099B1 (es) 2012-01-02

Similar Documents

Publication Publication Date Title
ES2353099B1 (es) Método y sistema de identificación forense por superposición craneofacial basado en soft computing.
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
US10980601B2 (en) System and methods for intraoperative guidance feedback
CN106796449B (zh) 视线追踪方法及装置
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
ES2797537T3 (es) Medición corporal
CN106340015B (zh) 一种关键点的定位方法和装置
WO2017042673A1 (en) Determination of a currently treated body portion of a user
US10410363B2 (en) Jaw surface based registration
WO2013019985A2 (en) 2d/3d registration of a digital mouse atlas with x-ray projection images and optical camera photos
Tulyakov et al. Robust real-time extreme head pose estimation
ES2769636T3 (es) Recostura automática de superficies en 3-D
Raudies et al. Modeling boundary vector cell firing given optic flow as a cue
CN107240128B (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
Korotkov et al. An improved skin lesion matching scheme in total body photography
WO2019028021A1 (en) SYSTEM AND METHOD OF LOCATION BASED ON ARTIFICIAL VISION AND HYBRID EQUIPMENT
EP2009613A1 (en) System for simultaing a manual interventional operation
Stephan et al. Scientific estimation of the subject-to-camera distance from facial photographs for craniofacial superimposition
US11922576B2 (en) System and method for mapping the skin
Lacher et al. Low-cost surface reconstruction for aesthetic results assessment and prediction in breast cancer surgery
Li et al. ImTooth: Neural Implicit Tooth for Dental Augmented Reality
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
Lin Visual SLAM and Surface Reconstruction for Abdominal Minimally Invasive Surgery
de Aguiar 3D reconstruction from multiple RGB-D images with different perspectives
Bermejo Nievas New Developments in Evolutionary Image Registration for Complex 3D Scenarios

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: MX/A/2012/000942

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010803938

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10803938

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13387321

Country of ref document: US