WO2014023870A1 - Método de transformación de imágenes en nubes de puntos de espacios multidimensionales, método de identificación de objetos e individuos, método de segmentación, método de localización de puntos de interés y usos - Google Patents
Método de transformación de imágenes en nubes de puntos de espacios multidimensionales, método de identificación de objetos e individuos, método de segmentación, método de localización de puntos de interés y usos Download PDFInfo
- Publication number
- WO2014023870A1 WO2014023870A1 PCT/ES2013/070585 ES2013070585W WO2014023870A1 WO 2014023870 A1 WO2014023870 A1 WO 2014023870A1 ES 2013070585 W ES2013070585 W ES 2013070585W WO 2014023870 A1 WO2014023870 A1 WO 2014023870A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- images
- individual
- study
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Definitions
- the present invention refers firstly to a method of transforming images into clouds of points of multidimensional spaces.
- a second object of the present invention is a method of identifying objects and individuals that makes use of the method of transforming images into clouds of points of multidimensional spaces. The identification of objects and individuals is made from their appearance, size and shape, by capturing images of each object or individual, which can be in motion and change its position and orientation.
- a third object of the present invention is an image segmentation method that makes use of the method of transforming images into clouds of multidimensional space points and a fourth object of the present invention is a method of locating points of interest that likewise mode makes use of the mentioned image transformation method.
- Various uses of these methods are also described as well as the device used to capture the images. Note that throughout this report, when talking about multidimensional spaces, it has also included one-dimensional spaces. Note also that throughout this report when referring to objects, individuals, human beings or scenes, all of them will be included.
- an individual In many applications, it is necessary to assign an individual to one of several classes. For example, in an industrial process it may be necessary to distinguish objects of different types (for example, distinguish cans bottles). Another example is the distinction of animals of different species. Another example is an artificial vision system, which must recognize a certain object (for example, cars) and distinguish it from any other object (pedestrians, signs, containers ). Another example is a satellite image analysis system that must distinguish different types of vehicles (cars, trucks, etc.). Another example is a diagnostic system based on a medical imaging technique, (for example a PET), which must distinguish between normal and pathological tissue. In this task, the object to be identified has not been previously accessible to the system, and must be compared with a database of similar objects.
- a medical imaging technique for example a PET
- This classification can sometimes be carried out according to the external appearance of the individual, so that it can be classified simply from one or several images of the same.
- Object recognition from local scale-invariant features using statistical descriptors of images (Prokop, Reeves 1992, A survey of moment-based techniques for unoccluded object representation and recognition), using image metrics as color histograms (Swain, Ballard 1991, Color Indexing) or color correlograms (Huang, Kumar, Mitra, Zhu, Zabih 1999, Spatial color indexing and applications), etc.
- image metrics as color histograms (Swain, Ballard 1991, Color Indexing) or color correlograms (Huang, Kumar, Mitra, Zhu, Zabih 1999, Spatial color indexing and applications), etc.
- the method of transforming images in clouds of points in multidimensional spaces described in this document is related to color correlograms, and is an improvement, compared to the state of the art mentioned above, which allows a better use of the information available in the image with the same or lower computational and memory cost.
- a similar application is the identification of individuals.
- the objective is to distinguish between several specific individuals. These individuals can be very similar to each other (for example, they can be animals of the same species), and the objective is not to classify them into one of several possible groups, but to identify them individually. For example, there are scientific experiments in which several individuals must be brought together for a time to allow them to interact, and can subsequently separate them and identify each of them.
- This identification can be done by previously marking the individuals, but this requires prior manipulation that in some cases can be very expensive. In addition, in the case of animal identification, it can be very difficult to make these marks, and they can alter the subsequent behavior of the animals.
- a particular case consists in the identification of human beings from images of their face, in which there are numerous techniques, such as "eigenfaces", which achieve a good identification among individuals. These techniques can be adapted to a greater or lesser extent to identify other types of objects and animals, but they usually have the disadvantage of needing a precise alignment between the images to be compared, and they are not very robust due to deformations of the same.
- the present invention first describes a method of transforming images into point clouds of multidimensional spaces. Said method is based on the capture of one or several images, which are selected, for example, from photographs or videos, satellite images or images captured by medical imaging devices, of objects or individuals that are subsequently processed on a computer, obtaining at least a cloud of points that can be invariant against rotation and translation of the object, and robust against deformations and small changes in perspective.
- This transformation consists in considering combinations of pixels of the image, and characterizing them by the distance between each pair of pixels and the intensity (or intensities) of each one of them.
- the image is transformed into a cloud of points in a multidimensional space.
- This space can be divided into several separate spaces, and its dimensionality can be significantly reduced by operations between its dimensions.
- This transformed image is compared with an image database, identifying the object or individual as one of the contents in the database (or as belonging to one of the groups contained therein).
- the objects can be in motion, so that in the case of animals it is not necessary to
- the transformation method comprises the following phases: i) select combinations of at least two pixels of the at least one image;
- ii) calculate, for each of the combinations of the at least two pixels selected in phase i), a distance between each pair of pixels and an intensity of each of the pixels; and iii) generate at least one cloud of points in at least one multidimensional space, by assigning, to each combination of at least two pixels, of a point in at least one of the multidimensional spaces whose coordinates correspond to values selected from among distances, intensities and a combination of them calculated in phase ii).
- the combinations of at least two pixels that are selected in phase i) of the method are selected from:
- the images are subjected to a preprocessing to improve their quality.
- an intensity is calculated for each wavelength of the pixel. It is also provided in another embodiment of the invention, that instead of calculating an intensity for each wavelength, a one-dimensional index is assigned to each possible combination of wavelengths of the same pixel.
- Said scale factor can be calculated in various ways, both from the original image and from the point cloud obtained.
- One way to calculate it from the transformation is to calculate the histogram of all distances between pairs of pixels for each image, and find the scale factor that maximizes the similarity of both histograms.
- the difference between the number of pixels of different images must be controlled. For example, in the case of comparing the histograms (multidimensional) of the point cloud, it is enough to normalize these histograms by dividing them by the total number of pairs of pixels, so that all their elements add one regardless of the number of pixels in the image original.
- all the distances between pixels calculated in phase ii) of the method are multiplied by a scale factor.
- Said scaling factor in another particular embodiment maximizes the similarity between the point cloud of at least one of the multidimensional spaces of the at least one image, and the corresponding point clouds of at least one other image.
- each image can be processed independently, obtaining an independent set of transformed images for each image.
- you can work with several multidimensional spaces from the same image (performing different operations on the dimensions of the space) you would work with several multidimensional spaces, from several different images.
- the generation of point clouds in multidimensional spaces is carried out by techniques selected from:
- the generation of point clouds is carried out by techniques selected from:
- conventional mathematical operations are carried out between the distances and / or intensities calculated in phase ii) of the transformation method.
- multidimensional spaces of equal or different dimensionality are generated with respect to the original multidimensional spaces.
- a histogram of each of the multidimensional spaces obtained is calculated.
- a second object of the present invention is a method of identifying objects and individuals that makes use of the method of transforming images into point clouds of multidimensional spaces described above. Said method comprises the following steps:
- a segmentation phase of the at least one reference image and the at least one is carried out.
- a study image identifying pixels that correspond to the object or individual.
- this segmentation of the image may correspond to a complete or partial image of the object or individual.
- the method comprises the following steps:
- This last stage of identification of the object or individual of the at least one study image is performed in a way selected from:
- reference pixels are those whose signature is more similar to those of the reference pixels of previously acquired images.
- the reference pixels are chosen by the following phases:
- the at least one reference image and the at least one studio image are extracted from the same video.
- the comparison phase of the at least one cloud of study points with the at least one cloud of reference points is carried out by techniques selected from:
- the identification phase of the study image is performed by a technique selected from:
- the identification phase is performed by a technique selected from:
- the described method comprises calculating a probability of each set of simultaneous identifications of several study individuals, so that the identification of each object or individual provides information about the identification of other objects or individuals.
- this probability is obtained either by calculating the probability of all possible identifications of objects or individuals between reference images and study images, taking into account the identification probabilities of each individual based on their images, and the logical relationships between problem individuals, or by calculating the probability of identification of each problem individual separately, but taking into account the logical relationships with other problem individuals, in addition to the probabilities of identification based on their images .
- identification is carried out by choosing the object or individual with the best probability of identification. Subsequently, the probabilities of the rest of the objects or individuals are updated taking into account that the object or individual identified is immovable. This process is repeated until all individuals have been identified.
- a third object of the present invention is an image segmentation method that makes use of the method of transforming images into point clouds of multidimensional spaces described above.
- Said segmentation method is characterized in that it comprises the following stages:
- a fourth object of the present invention is a method of locating points of interest in an image that makes use of the method of transforming images into clouds of multidimensional space points described above. Said method comprises the following steps:
- a fifth object of the present invention is the use of the method of identification of objects and individuals described above for the recognition, classification and tracking of objects and individuals.
- a sixth object of the present invention is the use of the method of identification of objects and individuals described above in combination with conventional tracking techniques.
- Figure 1. Shows a flow chart of an embodiment of the method of transforming images into point clouds of multidimensional spaces object of the present invention.
- Figure 2. Shows a flow chart of an embodiment of the identification method or the asification of an image that makes use of the method shown in Figure 1.
- Figure 3. Shows a flow chart of an embodiment of the method of identification or classification of an individual from several images, which makes use of the method shown in Figure 1.
- Figure 4.- Shows a flow chart of an embodiment of a method of identification of several individuals, which makes use of the method presented in Figure 3.
- Figure 5. Shows a flow chart of an embodiment of a method of monitoring several individuals in a group, which makes use of the methods presented in Figures 1, 2, 3 and 4.
- Figure 6. Shows a flow chart of an embodiment of a method of calculating pixel signatures of an image, which makes use of part of the method shown in Figure 1.
- Figure 7. Shows a flow chart of an example of realization of the method of searching for points of interest that makes use of the method shown in Figure 6.
- Figure 8.- Shows a flow chart of an embodiment of the method of identification or classification of images from pixel signatures, which makes use of the methods presented in Figures 6 and 7.
- Figure 9. Shows a flow chart of an embodiment example of the segmentation method, which makes use of the methods presented in Figures 1, 2 and 6.
- Figure 1 shows a flow chart of an embodiment of the transformation method (1) of images in clouds of multidimensional points described herein.
- Given an image (2) the image is transformed so that an invariant object is obtained against rotations and translations.
- the method proposed here is to transform the image so that each possible pair of pixels selected (3) corresponds to a point in a multidimensional space.
- the distance between them (d) the intensity of the first pixel (il) and the intensity of the second pixel are calculated (4)
- each pair of pixels corresponds to a point in a three-dimensional space, whose dimensions are
- each pixel has several intensities, one for each wavelength (for example, 3 in the case of color images with coding RGB)
- each pair of pixels in the image corresponds to a 7-dimensional space, which are ⁇ d, irl, ir2, igl, ig2, ibl, ib2), where "go" is the intensity of the red channel, "ig” the intensity of the green channel and "ib" the intensity of the blue channel.
- Another alternative is to index the colors, so that each combination of the three channels is assigned a one-dimensional index. In this way a color image is encoded in a three-dimensional space, but at the cost of losing information about the similarity between different colors.
- This dimensionality reduction can be done for example taking into account only part of the dimensions of the space. For example, only the distances between the pixels can be used, discarding information about their intensity. In the particular case of using only the intensity of the pixels (one of them, since the information would be redundant) and making a histogram of these intensities, the color histogram of the image would be obtained.
- Another alternative is to maintain all dimensions, but greatly reduce the dynamic range of one or more of them, so that it requires less memory (for example, considering only a very small set of distances between pixels). This method has the disadvantage that in some cases it discards valuable information from the image.
- a more efficient way to reduce dimensionality is to perform mathematical operations between distances and intensities (5) previously calculated. For example, in color images, the sum of all of them (instead of converting the color image into a grayscale image) can be taken into account instead of the intensity of each color channel separately. You can also consider, instead of the intensity of each pixel, the sum (or any other operation) of both intensities, or also operations between intensities and distance. Each operation that is considered modifies the information available differently, so it may be convenient to use several operations simultaneously. In addition, the choice of optimal operations may depend on the specific application of the method. This method allows make use of the information contained in all the dimensions of the space, greatly reducing the amount of calculation and memory needed.
- This method can be generalized to take into account, not only distances between pairs of pixels, but distances between triplets, quartets, etc.
- the image would be transformed into a cloud of points in a 6-dimensional space, which would be ⁇ dl2, d23, dl3, il, i2, i 3), where "d22, d23, dl3" are the distances between pixels 1 and 2, pixels 2 and 3 and pixels 1 and 3 of each trio, respectively.
- the transformation be invariant with respect to changes in image scale.
- the histograms (7) must be normalized, to control the different number of pixels occupied by the image when the magnification is different.
- distances must be rescaled, multiplying them by a scale factor that compensates for the magnification change.
- the scale factor (9) that minimizes the difference with said reference histograms is then sought.
- This difference can be calculated, for example, as the average of the absolute value of the differences in the elements of the histograms of the problem image and the reference histograms.
- Another alternative is to calculate, for example, the median of all the distances between pairs of pixels of the problem image, and compare it with the median of the distances between pairs of pixels of the reference image.
- the scale factor is calculated, sometimes the point clouds (6) can be directly rescaled (10) and / or scaled (11) the histograms (7). But other times the loss of information due to mathematical operations and / or the binarization of the data when making a histogram makes the scaling of the histogram not equivalent to the scaling of the distances. Therefore, it may be convenient to multiply by the scale factor the original distances (12), and repeat again the process of mathematical operations (5), generation of point clouds (6) and calculation of histograms (7).
- Figure 2 shows a flow chart of an example of the application of the method to the identification or classification of an image.
- the first step is to perform the transformation of the problem image as described above (1), so that it becomes two point clouds in two-dimensional spaces, one of the space (d, il + i2) and the other of the space (d,
- a database (14) consisting of images of each of the individuals to be identified (or of individuals of each of the classes in which the problem individual is to be classified), previously transformed in the same way than the problem image (1).
- the database may contain one or more images of each individual or class.
- the database may contain a high number of images of each individual or class, so that it contains sufficient information about the variability between the images. Then compare (15) each of the point clouds or Histograms of the problem image with the corresponding point cloud or histogram of each of the images in the database. The comparison is facilitated by the fact that these point clouds are invariant with respect to a rotation and / or a translation of the image, thus eliminating the problem of alignment.
- the comparison can be done in many different ways, and the optimal way will generally depend on the application. To compare point clouds directly, you can for example look for the distance between each point of one image and the closest point of the other.
- the sum of these distances will always be zero for two identical images, and will be on average larger the more different the images.
- the comparison can be made, for example, by subtracting the element-to-element histograms, and calculating the average of the absolute values of the differences. Sometimes it may be convenient to preprocess the histograms, for example by smoothing them through a filter (Gaussian or otherwise). You can also take into account more complex metrics that take into account the distance between the different elements of a histogram. These histograms typically have thousands of elements.
- Principal Component Analysis can be used to find combinations of said elements that contain the maximum possible information, thus reducing the amount of calculation needed to make comparisons, and sometimes also reducing variability.
- This comparison provides a metric (which can be multidimensional) in terms of the similarity of each image of the problem individual and each image of each of the references, so that the closer a reference to the problem image is, the more likely it is that the Problem individual matches that of the reference.
- This set of differences (16) between the images in the database and the problem image will allow identification or classification. All differences can be used, but usually it will be convenient to preprocess them, for example by calculating the average of the differences between the problem image and the images of each of the individuals or classes in the database.
- Another alternative is to choose only the smallest difference between the problem image and the images of each of the individuals or classes in the database.
- the procedure has the advantage of eliminating to some extent the variability due to changes in posture and perspective of the individual to be identified.
- the images of the references can be compared between them (17), so that a statistic of their differences is obtained (18).
- this statistic will be really representative of the errors that can be expected in the problem images, but if the images in the database have not been taken under the same conditions as the problem images and / or are not really independent of each other, they will only serve as a qualitative or semi-quantitative guide to assess the differences (16) observed between the problem image and the images in the database. From the differences (16) and the statistics of differences (18), the probability (20) of obtaining the problem image is calculated from each of the individuals or classes in the database. This probability can be calculated
- the probability can be approximated simply by calculating a histogram of the differences (18) between different images of the same individual or class, and taking the proportion corresponding to the bin in which the corresponding difference falls of the problem image (16).
- Figure 3 shows a flow chart of a specific application of the method for the identification of individuals (22).
- a certain number of images (23) of each of the individuals are acquired separately, which will serve to nourish the database that will be used as a reference for identification. They can be, for example and without limitation, individual photographs, or a video, or satellite images
- These images are then preprocessed (24) to improve their quality. For example, it may be necessary to normalize the intensity of the image to control lighting fluctuations, eliminate unwanted parts of the image, or use a filter to improve quality (Gaussian filters to reduce noise, etc.).
- the segmentation of the image (25) is performed, selecting only the pixels corresponding to the individual to be identified. This segmentation can be performed using any of the conventional methods (thresholding, background substraction, etc.), or by the method (figure 9) proposed in this patent. If the images are part of a video and individuals are in motion, this movement can be used to facilitate segmentation (using techniques such as "optical flow", etc.). Sometimes it is convenient to perform preprocessing (24) and segmentation (25) at the same time as image acquisition
- This aggregation (27) consists in calculating the probability (28) that the problem individual is each of the individuals in the database, taking into account the identifications of all available images.
- N be the total number of images of the individual problem
- p nr P ⁇ jmagen n ⁇ individual r
- Equation (b) calculates the probability (28) for each of the individuals in the reference, identifying (29) when one of the individuals has a much higher probability than the rest. If the identification cannot be done with sufficient certainty, more images (26) of the problem individual can be acquired to increase the certainty (28) and consequently favor the identification of the individual (29).
- Figure 4 shows a flow chart of an exemplary embodiment of a method of simultaneous identification of several individuals (30) that makes use of part of the method (22) described in Figure 3.
- the process is identical to the point where the identification probabilities of the individual images are obtained (20), only in this case the images come from several different problem individuals.
- additional information is available, since it cannot happen that two of the different problem individuals correspond to the same individual in the database.
- an assignment is sought, understanding by assignment the simultaneous identification of all individuals.
- An assignment can be expressed as a vector with as many elements as problem individuals.
- the qth element is a natural number, indicating which of the individuals in the references is identified with the qth individual problem.
- each assignment is a vector Q can have any value between 1 and R, with each value appearing at most once.
- RIR— Q possible assignments.
- the probability of each assignment (32) can be calculated using the following process (31). Be the set of all possible assignments, being The / th assignment. Let N be the number of images of the ⁇ th individual problem, be the probabilities that each of the individuals in the database generates each of the images of the qth individual. Assuming that the correct assignment is a, the probability of obtaining the set of images of the problem individuals, assuming that the images are independent of each other, is
- Equation (b) calculates the certainty of the identification of each individual separately (28), and asks the user to acquire more frames (26) of the individuals identified with less certainty, and / or of the individuals whose identifications are incompatible with each other (for example, if two problem individuals are associated with the same individual of the references).
- Figure 5 shows a flow chart of a particular example of the tracking method (34) based on the method of transformation (1) of images of Figure 1. First, a video of the individuals (35) is acquired. Next, each of the frames is preprocessed (36), for example by cutting out the region of interest that shows the enclosure in which the animals move, normalizing each frame to compensate for fluctuations in the lighting, and reducing the resolution of the images to reduce calculation time.
- Segmentation (37) can be performed with any conventional segmentation method, or with the method presented in this patent.
- each frame there are several individuals, who will leave the segmentation separately.
- the segmentation will not be able to separate them, so they will come out together and will have to be treated differently in a later step.
- one or more segmented images will appear from each frame.
- the transformation (1) of each segmented image is performed, obtaining the corresponding point clouds and / or histograms.
- segmented images that belong with high certainty to the same individual or group of overlapping individuals are associated (38).
- a segment of segmented images, belonging to consecutive frames, belonging to the same individual (or group of overlapping individuals) will be called “stretch”. This is possible for example when an individual moves without crossing anyone for a certain time.
- the criterion chosen is that two segmented images of two adjacent frames belong to the same section if and only if they overlap with each other, and do not overlap with any other stain.
- each two groups one of them (usually the one with the largest number of images) is used as if it were the database, and the other as if it were the set of problem images, calculating the probability of each assignment (32), and the most likely allocation (33).
- the assignments between groups are then compared (40), checking that they are consistent (that is, if for example, section 1 of group 1 is assigned with section 1 of group 2, and section 1 of group 2 is assigned with section 4 of group 3, also section 1 of group 1 is assigned with section 4 of group 3).
- the groups of sections are then chosen that can be assigned to each other with high certainty and in a consistent manner, and come together to form the database (14).
- each image can be classified (21) as not belonging to any of the individuals in the database (in which case it is classified as noise, or as an image that contains several overlapping individuals), or as belonging to One of the individuals in the database. In the latter case, a probability (20) is also obtained that this image comes from each of the individuals in the database.
- sections (38) are classified. Those who have mostly images classified as noise or multiple individuals are discarded for identification purposes. The rest of the sections, which correspond to a single individual (41), will be used for identification. Finally, we proceed to the assignment of each of the individual sections. For this assignment, a series of logical relationships between sections (42) are also taken into account. These relationships contain the possibility or impossibility of two sections belonging to the same individual or not. These relationships are stored in a binary matrix C of dimension Q x Q, where Q is the number of sections.
- the matrix indicates whether the two sections may or may not belong to the same individual, so that the element q, q 'is worth 1 if the logical relations prohibit that the sections q and q ⁇ belong to the same individual, and it is valid 0 if they don't forbid it. In this case, it is assumed that two sections cannot belong to the same individual if both appear simultaneously in at least one frame.
- the present invention has also provided that in the video, two images of the same individual corresponding to adjacent frames often contain virtually the same information. For this reason, the assumption of independence made above is not a good approximation.
- the following method can be used, which simply consists in modulating the probability of each image, so that the more independent images have more weight than the less independent ones.
- Each segmented image of a section is represented as a segment of ten units of length on a line.
- s is the proportion of pixels that overlap between the first and The second image.
- the weights k n are calculated as follows. For each image (for example image n), its segment is traveled unit by unit. For each unit, adds an amount 0.1 ak n / H, where H is the number of other images corresponding to overlapping with the same unit of the line segments. Thus, an image contributes in greater proportion to the effective number of images the less overlapping with adjacent images (and the less they overlap these with the following, etc.). An image that does not overlap with any other will have k - 1. Once the k is calculated, just use the equation (k) instead of equation (h) in the method described above.
- Figure 6 shows a flow chart of an embodiment of the image transformation method, oriented to the calculation of the signature of one or more pixels of the problem image (48).
- This method shares several steps with the one presented in Figure 1. From the image (2) one or several pixels (49) are selected, which will be called central pixels, whose signatures are to be calculated. For each central pixel, a series of pixel combinations of the image (50) is selected. These combinations can be, for example, all the pairs formed by the central pixel and each of the other pixels in the image. Alternatively, you can choose for example all the pairs formed by the central pixel and all other pixels that are less than a certain threshold distance from the central pixel.
- Figure 7 shows a flow chart of an embodiment of the method of locating points of interest (51). It starts from a set of reference images (52). These images may be preprocessed and segmented, but have not yet been transformed. Manually, the user selects the point of interest (53) in each of the reference images. The transformation (48) is performed on these images, taking as the central pixel (49) the point of interest (53) selected manually, so that the signature (54) of said pixel is calculated in each of the images of the base of data. The problem image (55) is then taken, and perform on it the transformation (48), this time using as central pixels all the pixels of the image, or a subset of them. In this way the signatures (56) of the pixels of the problem image are calculated.
- the signatures (56) of the pixels of the problem image are compared with the signatures (54) of the pixels selected in the reference images. This comparison is made with one of the methods described above (15). Finally, among all the pixels of the problem image, the one whose signature shows the least differences with respect to the reference signatures (57) is selected.
- Figure 8 shows a flow chart of an example of embodiment of a method (58) of identification and / or classification that, thanks to the method of locating points of interest (51) described in Figure 7, does not require a segmentation of the picture.
- This method starts from a set of images (59) that contains one or several images of each individual or class.
- the database can be formed by the images that give rise to the database
- the point of interest may be the center point of each fish's eyes, or any other point of the fish's anatomy. Then the rest of the images are taken
- the problem image (55) is taken and the procedure (51) is used again to find the pixel (61) most similar to the points of interest selected by the user.
- This image could be, for example, the image of a fish that could not be segmented correctly (for example by overlapping with another fish), but in which the head is visible. For example in the case of having a group of several overlapping fish, it is possible that in the image there is more than one point of interest, in which case the algorithm should perform several searches to find them all.
- the signature (63) of the selected pixel (62) is compared with the signatures (61) of the database.
- the comparison process (13) is identical to that described in Figure 2, giving as a final result the identification or classification (21) of the problem image.
- the manual selection of points of interest (53) can be replaced by an algorithm that calculates the signature of a pixel of a first image (59), and searches by method (51) for the most similar pixels in the rest of the images (59), calculating the differences between the signatures of these pixels. The process is repeated for each pixel of the first image. Finally, the pixels whose signatures have greater variability between individuals or classes, relative to the variability between images of the same individual or class, are used as points of interest.
- Figure 9 shows a flowchart of an example of embodiment of an image segmentation method (64) that makes use of the method of transforming images into point clouds of multidimensional spaces.
- a problem image (65) in which you want to perform the segmentation, and on the other a correctly segmented image (66).
- the transformation (48) of the problem image is performed, obtaining the signature of each pixel (67).
- the transformation (48) of the problem image is performed, obtaining the signature of each pixel (68). All signatures (67) of the pixels of the problem image are compared (15) with all or a subset of the signatures (68) of the segmented image.
- the pixel of the segmented image whose signature is more similar is searched, and the difference between both signatures is assigned to the corresponding pixel of the problem image.
- This generates a map of differences (69), which Indicates how similar each pixel of the problem image is to the pixels of the segmented image.
- a pre-process can be carried out on this map, such as passing a Gaussian filter to soften it.
- the region or regions (70) with minor differences are selected. The pixels corresponding to these regions are extracted, giving rise to a set of segmented images (71). Sometimes this process will result in a single segmented image (71), which will constitute a sufficiently good segmentation of the image.
- each of the segmented images is transformed (1), using the method shown in Figure 1.
- the segmented image (66) is also transformed (1).
- the point clouds or histograms of the segmented images (71) are then compared (15) with those from the segmented image (66).
- the segmented image (71) that has the smallest difference with the segmented image (66) is selected, and / or accepted when the difference is below a certain threshold, giving rise to the segmentation (72) of the problem image.
- the identification method described here requires that the resolution with which the image of each individual is taken is relatively high. This may limit the size of the space in which individuals can move. However, the method does not require individuals to be visible for the entire time, since they can retrieve identities at any time. Therefore, it is possible to track only part of the space in which individuals move. It is also possible to have a set of cameras that obtain low resolution images of a large area, and to perform a conventional tracking with these cameras. At the same time, another set of cameras obtain higher resolution images of a part of the space, so that each time an individual is identified each time he passes through that region. In this way, the identities of individuals are recovered from time to time, allowing the correction of errors made by conventional tracking.
- An experimental device used to capture images of fish, such as zebra fish ⁇ Dan ⁇ o rerio), Medaka ⁇ Oryz ⁇ as latipes) and spinosillo ⁇ Gasterosteus aculeatus
- fish such as zebra fish ⁇ Dan ⁇ o rerio
- Medaka ⁇ Oryz ⁇ as latipes Medaka ⁇ Oryz ⁇ as latipes
- the camera is a monochrome Basler A622f, with a maximum resolution of 1280x1024 pixels and connection to the computer via FireWire port (IEEE 1394).
- the camera has a 16mm focal Pentax lens.
- the methacrylate vessel containing the fish occupies an area of 950 x 950 pixels in the camera sensor.
- An exposure time of 4 ms and a gain of 100 were set. Under these conditions, and with a gray depth of 8 bits, the camera acquires 31 frames per second.
- the lighting is achieved by means of six 500 W halogen spotlights aimed at the white ceiling.
- a square cardboard plate of approximately 75 x 75 cm is placed around the camera lens.
- Another experimental device for the capture of images of small mammals, such as black, white and agouti mice, consists of a transparent methacrylate urn inside which the animals to be identified or followed are located.
- the floor of this urn can be covered with some material that increases the comfort of animals, such as sawdust or sand.
- the urn can be on a white or black surface, as appropriate to increase the contrast between the animals and the background.
- the camera and lighting system are the same as those used in the previous example.
- Another experimental device for the capture of images of insects, such as flies ⁇ Drosoph ⁇ la melanogaster) and ants consists of a small transparent methacrylate urn, whose walls and ceiling are covered with fluon. Most insects slide on the fluon, so the coating prevents them from climbing on the walls and ceiling.
- the same camera is used as in the previous examples, 3 but this time located under 1 device, and at a distance of about 20 cm from it. The entire device is surrounded by a white sheet, and the lighting is achieved with 5 500W halogen bulbs on the outside of the sheet.
- Another experimental device for the capture of fish larval images, such as zebrafish ⁇ Dan ⁇ o rerio
- the plate is supported by a sheet of transparent methacrylate, and the bottom (white or black as appropriate) is a few centimeters from the sheet, to avoid shadows.
- the chamber is the same as in the previous examples, but it is suspended on the methacrylate plate, and about 20 cm from it.
- the lighting is the same as in the previous example.
- Another experimental device for the capture of images of fly larvae, such as Drosophila melanogaster, consists of a transparent methacrylate sheet covered by a thin layer of agarose that facilitates larval mobility.
- the methacrylate sheet is supported on a white or black surface, as appropriate to increase the contrast between the larvae and the bottom.
- the chamber is the same as in the previous examples, but it is suspended on the methacrylate plate, and about 20 cm from it.
- the lighting is the same as in the previous example.
- Another experimental device for the capture of images of objects, consists of a sheet of methacrylate suspended at a certain distance from a white or black surface, as appropriate to increase the contrast between the objects and the background.
- the chamber is the same as in the previous examples, suspended on the methacrylate sheet and about 50 cm from it.
- the lighting is the same as in the previous example.
- Another experimental device for the capture of images of people, consists of the same camera used in the previous examples, located in horizontal and pointing to a wall of uniform color.
- the lighting is given by conventional fluorescent lamps on the ceiling of the room.
- Another experimental device for the capture of images of people, consists of the same camera used in the previous examples, located on top of a three-story building and pointing towards a courtyard where the people to recognize and / or follow.
- the lighting is natural.
- Another particular embodiment is the use of the method for character recognition.
- Each character is segmented by thresholding, re-scaled according to the distance histogram, and compared to the database, created from several different texts.
- Another example of a particular embodiment is the use of the method for recognition and tracking of objects in images obtained from satellite.
- the objects are segmented by an appropriate algorithm, and the method described here is used to recognize the same object (same building, same car, etc.) in two different images, or to recognize a certain type of object in an image.
- Another example of a particular embodiment is the use of the method for the individualized recognition of reptiles, from a photograph of their head.
- the reptile is manually immobilized, and a photograph of its head is taken from the top with a conventional camera.
- the distance between the animal's head and the camera may vary slightly between some photographs and others, so the distances between pixels are rescaled in the manner described in this patent. Once re-scaled, the method described here is used to identify the individual from previous photographs stored in the database.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
METODO DE TRANSFORMACION DE IMAGENES EN NUBES DE PUNTOS DE ESPACIOS
MULTIDIMENSIONALES, METODO DE IDENTIFICACION DE OBJETOS E INDIVIDUOS, MÉTODO DE SEGMENTACIÓN, MÉTODO DE LOCALIZACIÓN DE PUNTOS DE INTERÉS Y
USOS
OBJETO DE LA INVENCIÓN
La presente invención, tal y como se expresa en el enunciado de esta memoria descriptiva se refiere en primer lugar a un método de transformación de imágenes en nubes de puntos de espacios multidimensionales . Además un segundo objeto de la presente invención es un método de identificación de objetos e individuos que hace uso del método de transformación de imágenes en nubes de puntos de espacios multidimensionales. La identificación de los objetos e individuos se realiza a partir de su aspecto, tamaño y forma, mediante la captación de imágenes de cada objeto o individuo, que puede estar en movimiento y cambiar de postura y orientación. Un tercer objeto de la presente invención es un método de segmentación de imágenes que hace uso del método de transformación de imágenes en nubes de puntos de espacios multidimensionales y un cuarto objeto de la presente invención es un método de localización de puntos de interés que de igual modo hace uso del método de transformación de imágenes mencionado. También se describen diversos usos de estos métodos asi como el dispositivo empleado para la captura de las imágenes . Nótese que a lo largo de la presente memoria cuando se habla de espacios multidimensionales se ha englobado en ellos también los espacios unidimensionales . Nótese también que a lo largo de la presente memoria cuando se refiere indistintamente a objetos, individuos, seres humanos o escenas, se estarán englobando todos ellos .
ANTECEDENTES DE LA INVENCIÓN
La invención aquí presentada tiene aplicación principalmente, aunque no exclusivamente, en tres campos distintos:
• Clasificación de individuos.
En muchas aplicaciones, es necesario asignar un individuo a una de varias clases. Por ejemplo, en un proceso industrial puede ser necesario distinguir objetos de distintos tipos (por ejemplo,
distinguir botellas de latas) . Otro ejemplo es la distinción de animales de distintas especies. Otro ejemplo es un sistema de visión artificial, que deba reconocer un determinado objeto (por ejemplo, coches) y distinguirlo de cualquier otro objeto (peatones, señales, contenedores...). Otro ejemplo es un sistema de análisis de imágenes por satélite que deba distinguir distintos tipos de vehículos (coches, camiones, etc.). Otro ejemplo es un sistema de diagnóstico basado en una técnica de imagen médica, (por ejemplo un PET), que deba distinguir entre tejido normal y patológico. En esta tarea, el objeto a identificar no ha sido accesible previamente al sistema, y debe compararse con una base de datos de objetos parecidos.
Esta clasificación se puede realizar en ocasiones atendiendo al aspecto exterior del individuo, de modo que pueda clasificarse simplemente a partir de una o varias imágenes del mismo. Existe un gran número de métodos disponibles para este tipo de clasificación, adaptados a distintas condiciones y distintos tipos de objetos, por ejemplo alineando las imágenes y comparando la forma (Belongie, Malik, Puzicha 2002, Shape Matching and Object Recognition Using Shape Contexts), usando puntos clave (Lowe, 1999. Object recognition from local scale-invariant features), usando descriptores estadísticos de las imágenes (Prokop, Reeves 1992, A survey of moment-based techniques for unoccluded object representation and recognition) , utilizando métricas de las imágenes como histogramas de color (Swain, Ballard 1991, Color Indexing) o correlogramas de color (Huang, Kumar, Mitra, Zhu, Zabih 1999, Spatial color indexing and applications ) , etc. El método de transformación de imágenes en nubes de puntos en espacios multidimensionales descrito en el presente documento se relaciona con los correlogramas de color, y supone una mejora, frente al estado de la técnica anteriormente mencionado, que permite una mejor utilización de la información disponible en la imagen con el mismo o menor coste computacional y de memoria.
Existen otros métodos más específicos a la clasificación de un tipo de objeto desde una perspectiva concreta, como por ejemplo detectores de caras humanas (Turk, Pentland, 1991, Face recognition using eigenfaces). Estas técnicas son muy específicas para zonas o patrones del objeto o individuo lo que las hace menos versátiles que el método
descrito en la presente invención. En general, a mayor flexibilidad menor especificidad, es decir, los métodos son menos capaces de distinguir objetos muy parecidos.
• Identificación de individuos .
Una aplicación similar es la identificación de individuos. En este caso el objetivo es distinguir entre si varios individuos concretos. Dichos individuos pueden ser muy parecidos entre si (por ejemplo, pueden ser animales de una misma especie), y el objetivo no es clasificarlos dentro de uno de varios posibles grupos, sino identificarlos individualmente. Por ejemplo, hay experimentos científicos en el que varios individuos deben ser juntados durante un tiempo para permitir que interaccionen, pudiendo posteriormente separarlos e identificar cada uno de ellos .
Esta identificación se puede realizar marcando previamente a los individuos, pero esto requiere manipulación previa que en algunos casos puede resultar muy costosa. Además, en el caso de identificación de animales, puede resultar muy difícil realizar estas marcas, y pueden alterar el comportamiento posterior de los animales. Existen técnicas que permiten la identificación individual sin necesidad de marcado a base de observar diferencias morfológicas entre los individuos. En muchos casos estas técnicas están limitadas por la necesidad de obtener imágenes de una parte muy concreta del individuo, para lo que es necesario controlar con precisión la posición del mismo. De nuevo, esto es especialmente complicado en el caso de la identificación de animales. Aun así, existen varios métodos que permiten distinguir individualmente algunos animales, por ejemplo tomando imágenes de la vascularización de las orejas. Estos métodos tienen el inconveniente de requerir una manipulación directa del animal (normalmente exigiendo su inmovilización parcial), y ser válidos sólo para un pequeño conjunto de especies.
Es posible realizar la identificación individual mediante fotografías del individuo, utilizando técnicas similares a las utilizadas para la clasificación de individuos. Pero estas técnicas suelen necesitar diferencias relativamente marcadas entre los distintos individuos.
Por ejemplo, no hay disponible ninguna técnica capaz de distinguir entre ellos un grupo de peces cebra hermanos o de moscas Drosophila melanogaster hermanas. El método aquí presentado resuelve este problema .
Un caso particular consiste en la identificación de seres humanos a partir de imágenes de su cara, en el que existen numerosas técnicas, como por ejemplo "eigenfaces", que logran una buena identificación entre individuos. Estas técnicas pueden adaptarse en mayor o menor medida a identificar otro tipo de objetos y animales, pero suelen tener el inconveniente de necesitar un alineamiento preciso entre las imágenes a comparar, y ser poco robustas ante deformaciones del mismo .
• Seguimiento de individuos (tracking) .
En muchas aplicaciones científicas y técnicas, es necesario seguir la trayectoria de varios individuos que se mueven en una misma región. Una de las formas más extendidas para realizar este seguimiento consiste en hacerlo utilizando vídeo. Una de las mayores limitaciones de esta técnica de seguimiento es la dificultad de mantener las identidades de dos individuos después de que se crucen (ya que durante el cruce uno puede ocluir la imagen del otro, haciendo que se pierdan sus trayectorias).
La mayor parte de las técnicas de tracking disponibles se basan en el análisis temporal de las trayectorias de cada individuo, de modo que tras un cruce se pueda realizar la asignación más probable de acuerdo con dichas trayectorias (Kalman filtering, etc.). Otra alternativa consiste en la identificación de cada individuo, de modo que se pueda recuperar su identidad después de un cruce. En muchos casos, esta identificación requiere marcar previamente a cada individuo, por ejemplo con distintos colores, para su posterior identificación. Otra opción es usar las técnicas que permiten identificar objetos diferentes, mencionadas en los apartados anteriores. Sin embargo, normalmente estas técnicas sólo funcionan bien cuando las diferencias entre individuos son relativamente grandes. Por ejemplo, normalmente no son capaces de distinguir individuos de una misma especie. Además,
en el caso de animales el cambio de postura puede hacer que haya una gran variabilidad entre imágenes de un mismo individuo, y muchos de estos métodos son poco robustos respecto a esta variabilidad. En concreto, en la actualidad no existe ningún método que permita seguir automáticamente varios animales (como peces, moscas o ratones) en un video largo, sin cometer ningún error en los cruces (Delcourt, Denoél, Ylieff, Poncin 2012, Video multitracking of fish behavior: a synthesis and future perspectives ; Branson, Robie, Bender, Perona, Dickinson 2009. High-throughput ethomics in large groups of Drosophila) . El método aquí descrito resuelve este problema.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención describe en primer lugar un método de transformación de imágenes en nubes de puntos de espacios multidimensionales . Dicho método se basa en la captación de una o varias imágenes, que se seleccionan, por ejemplo, de entre fotografías o vídeos, imágenes por satélite o imágenes captadas por dispositivos de imagen médica, de objetos o individuos que se procesan posteriormente en un ordenador, obteniendo al menos una nube de puntos que puede ser invariante frente a rotación y traslación del objeto, y robusta frente a deformaciones y pequeños cambios de perspectiva. Esta transformación consiste en considerar combinaciones de pixeles de la imagen, y caracterizarlos por la distancia entre cada par de pixeles y la intensidad (o intensidades) de cada uno de ellos. Así la imagen queda transformada en una nube de puntos en un espacio multidimensional . Este espacio puede dividirse en varios espacios separados, y su dimensionalidad puede reducirse notablemente mediante operaciones entre sus dimensiones. Esta imagen transformada se compara con una base de datos de imágenes, identificando al objeto o individuo como uno de los contenidos en la base de datos (o como perteneciente a uno de los grupos que figuran en ella) . Los objetos pueden estar en movimiento, de modo que en el caso de animales no es necesario inmovilizarlos.
Así, partiendo de al menos una imagen a transformar capturada mediante al menos un dispositivo de captación de imágenes, el método de transformación comprende las siguientes fases :
i ) seleccionar combinaciones de al menos dos pixeles de la al menos una imagen;
ii) calcular, para cada una de las combinaciones de los al menos dos pixeles seleccionadas en la fase i), una distancia entre cada par de pixeles y una intensidad de cada uno de los pixeles; y iii) generar al menos una nube de puntos en al menos un espacio multidimensional, mediante una asignación, a cada combinación de al menos dos pixeles, de un punto en al menos uno de los espacios multidimensionales cuyas coordenadas corresponden con unos valores seleccionados entre las distancias, intensidades y una combinación de ellas calculadas en la fase ii) .
En ocasiones puede ser conveniente utilizar todos los pares de pixeles de la imagen o por el contrario sólo aquéllos que cumplan cierta propiedad. Por ejemplo, cuando un objeto se deforma (un animal al cambiar de postura), las relaciones entre pixeles lejanos tienden a cambiar mucho más que las relaciones entre pixeles cercanos . En una realización particular de la invención las combinaciones de al menos dos pixeles que se seleccionan en la fase i) del método, a su vez están seleccionadas entre:
• todas las combinaciones posibles entre los al menos dos pixeles de la imagen;
• todas las combinaciones posibles entre los al menos dos pixeles de la imagen que cumplan que las distancias entre los al menos dos pixeles sean inferiores a un umbral;
• un pixel central y todas las combinaciones posibles con al menos otro pixel que se encuentre a una distancia menor a un umbral, generándose una nube de puntos en cada espacio multidimensional para cada uno de los pixeles de la imagen, calculándose asi una signatura de cada pixel; y,
• todas las combinaciones posibles entre al menos dos pixeles de la imagen que cumplan que su distancia a un pixel central es menor que un cierto umbral, generándose una nube de puntos en cada espacio multidimensional para cada uno de los pixeles de la imagen, calculándose asi una signatura de cada pixel.
En otra realización particular de la invención, se somete a las imágenes a un pre-procesado para mejorar su calidad.
En otra realización particular de la invención, para imágenes cuyos pixeles contienen más de una longitud de onda, en la fase ii) del método se calcula una intensidad para cada longitud de onda del pixel. También se ha previsto en otra realización de la invención, que en lugar de calcular una intensidad para cada longitud de onda, se asigne un índice unidimensional a cada combinación posible de longitudes de onda de un mismo pixel.
La transformación de imágenes en nubes de puntos como tal no es invariante respecto a cambios de tamaño de la imagen o magnificación (producidos por ejemplo por cambios en la distancia entre el objeto y la cámara). Esta no-invariancia se manifiesta en dos aspectos: Las distancias entre pares de pixeles varían con la magnificación, y además el número de pixeles que ocupa la imagen (y por tanto el número de puntos en el espacio transformado) varía con la magnificación. En ocasiones esta no-invariancia será deseable, por facilitar la distinción entre objetos de distinto tamaño. Cuando sea mejor tener una transformación invariante a la magnificación, o por ejemplo se quiera encontrar similitud entre objetos de igual forma pero distinto tamaño, se puede conseguir aproximadamente mediante el siguiente procedimiento. En primer lugar, se deben multiplicar todas las distancias por un factor de escala. Dicho factor de escala se puede calcular de diversas maneras, tanto a partir de la imagen original como a partir de la nube de puntos obtenida. Una manera de calcularlo a partir de la transformación consiste en calcular el histograma de todas las distancias entre pares de pixeles para cada imagen, y encontrar el factor de escala que maximice la similitud de ambos histogramas. En segundo lugar, se debe controlar la diferencia entre el número de pixeles de distintas imágenes. Por ejemplo, en el caso de comparar los histogramas (multidimensionales ) de la nube de puntos, basta con normalizar estos histogramas dividiéndolos por el número total de parejas de pixeles, de modo que todos sus elementos sumen uno independientemente del número de pixeles de la imagen original. Así, en otra realización particular de la invención, para solucionar el problema de la no invariancia frente a cambios de tamaño de la imagen se multiplican todas las distancias entre pixeles calculadas en la fase ii) del método por un factor de escala. Así se
consigue que las distancias entre pixeles calculadas no dependan del tamaño de la al menos una imagen. Dicho factor de escala, en otra realización particular maximiza la similitud entre la nube de puntos de al menos uno de los espacios multidimensionales de la al menos una imagen, y las nubes de puntos correspondientes de al menos otra imagen .
En ocasiones se dispone de varias imágenes del mismo objeto o individuo, tomadas simultáneamente o no desde el mismo o diferentes ángulos. En este caso, se puede procesar cada imagen independientemente, obteniendo un conjunto de imágenes transformadas independiente para cada imagen. Pero también se pueden combinar los resultados de las imágenes de varias cámaras, de modo que se tengan en cuenta las correlaciones entre ellos (por ejemplo, si hay dos cámaras apuntando perpendicularmente, cuando la primera vea al individuo de frente la segunda lo verá de perfil, y viceversa, de modo que las imágenes tomadas por ambas cámaras no son independientes) . Asi, al igual que se puede trabajar con varios espacios multidimensionales provenientes de la misma imagen (realizando distintas operaciones sobre las dimensiones del espacio) , se trabajaría con varios espacios multidimensionales, provenientes de varias imágenes distintas. Así pues, en otra realización particular de la invención, cuando se dispone de más de una imagen a transformar, la generación de nubes de puntos en espacios multidimensionales se lleva a cabo mediante técnicas seleccionadas entre :
- generar nubes de puntos en espacios multidimensionales diferentes e independientes para cada imagen;
- generar nubes de puntos en un mismo espacio multidimensional para varias imágenes; y,
- una combinación de las técnicas anteriores .
A su vez, en otra realización particular de la invención, cuando se emplea un mismo espacio multidimensional para varias imágenes, la generación de nubes de puntos se lleva a cabo mediante técnicas seleccionadas entre:
- generar una nube de puntos formada por la unión de las nubes de puntos correspondientes a cada imagen;
- generar una nube de puntos formada por la unión de las nubes de puntos correspondientes a cada imagen donde se ha añadido una dimensión adicional al espacio multidimensional con identificadores de cada imagen para que las nubes de puntos procedentes de cada imagen no se superpongan;
- generar una nube de puntos formada por la unión de las nubes de puntos correspondientes a cada imagen, donde se ha hecho una transformación previa diferente a los puntos procedentes de cada imagen obteniendo una nube de puntos no invariante ante un intercambio de dos imágenes; y,
- una combinación de las técnicas anteriores .
En otra realización particular de la invención, se llevan a cabo operaciones matemáticas convencionales entre las distancias y/o intensidades calculadas en la fase ii) del método de transformación. Se generan asi espacios multidimensionales de igual o distinta dimensionalidad respecto a los espacios multidimensionales originales. Al reducirse la cantidad de dimensiones existentes se mejora la eficiencia del método ya que la carga computacional asociada se reduce.
En otra realización particular de la invención, se calcula un histograma de cada uno de los espacios multidimensionales obtenidos.
Un segundo objeto de la presente invención es un método de identificación de objetos e individuos que hace uso del método de transformación de imágenes en nubes de puntos de espacios multidimensionales descrito anteriormente. Dicho método comprende las siguientes etapas:
• capturar al menos una imagen de referencia de al menos un objeto o individuo mediante un dispositivo de captación de imágenes;
• tratar la al menos una imagen de referencia mediante el método de transformación de imágenes en nubes de puntos descrito anteriormente, obteniéndose al menos una nube de puntos de referencia;
• almacenar la al menos una nube de puntos de referencia en una base de datos asociándola al objeto o individuo del que proviene ;
• capturar al menos una imagen de estudio de al menos un objeto o individuo mediante un dispositivo de captación de imágenes;
• tratar la al menos una imagen de estudio mediante el método transformación de imágenes en nubes de puntos descrito anteriormente, obteniendo al menos una nube de puntos de estudio ;
• comparar la al menos una nube de puntos de estudio con la al menos una nube de puntos de referencia almacenada en la base de datos; y,
• identificar el objeto o individuo en base a la comparación de las nubes de puntos de estudio y referencia.
En una realización particular de la invención, tras las fases de captura de la al menos una imagen de referencia y la al menos una imagen de estudio se lleva a cabo una fase de segmentación de la al menos una imagen de referencia y de la al menos una imagen de estudio identificando unos pixeles que se corresponden al objeto o individuo. Además esta segmentación de la imagen puede corresponder a una imagen completa o parcial del objeto o individuo.
En otra realización particular de la invención, tras la captura de la al menos una imagen de referencia de al menos un objeto o individuo, el método comprende las siguientes etapas :
• calcular una signatura de referencia de al menos un pixel de la al menos una imagen de referencia;
• almacenar la al menos una signatura de referencia de cada uno de los pixeles en una base de datos asociándola al objeto o individuo del que proviene;
y tras la captura de la al menos una imagen de estudio de al menos un objeto o individuo, comprende las siguientes etapas:
• calcular una signatura de estudio de al menos un pixel de la al menos una imagen de estudio;
• comparar la signatura de estudio con las signaturas de referencia; y,
• identificar el objeto o individuo de la al menos una imagen de estudio en base a la comparación de las signaturas de estudio y referencia .
Esta última etapa de identificación del objeto o individuo de la al menos una imagen de estudio, en otra realización particular se realiza de un modo seleccionado entre:
- escogiendo un pixel de la al menos una imagen de referencia como pixel de referencia y buscando los pixeles de la al menos una imagen de estudio cuya signatura es más parecida a la de cada uno de los pixeles de referencia de la al menos una imagen de referencia; y,
- seleccionando un pixel de la al menos una imagen de estudio como pixel de referencia y buscando los pixeles de la al menos una imagen de referencia cuya signatura es más parecida a la de cada uno de los pixeles de referencia de la al menos una imagen de estudio.
En otra realización particular de la invención, para cada nueva imagen adquirida se escogen como pixeles de referencia aquellos cuya signatura sea más parecida a las de los pixeles de referencia de imágenes adquiridas previamente.
En otra realización particular de la invención, para automatizar la elección de los pixeles de referencia, y a la vez maximizar el potencial discriminador del método, los pixeles de referencia se escogen mediante las siguientes fases:
- adquirir varias imágenes de cada uno de los objetos o individuos que van a formar parte de la base de datos;
calcular la signatura de al menos uno de los pixeles de cada imagen;
- buscar un pixel de cada imagen cuya signatura se parezca más a la de un pixel inicial de una de las imágenes;
calcular una variabilidad de las signaturas de los pixeles escogidos entre imágenes del mismo objeto o individuo, y entre imágenes de distintos objetos o individuos;
repetir las dos fases anteriores para varios pixeles iniciales distintos; y,
- escoger como pixeles de referencia aquéllos cuyas signaturas tengan mayor variabilidad entre objetos o individuos, con respecto a la variabilidad dentro de cada objeto o individuo.
En otra realización particular de la invención, la al menos una imagen de referencia y la al menos una imagen de estudio se extraen de un mismo video .
En otra realización particular de la invención, la fase de comparación de la al menos una nube de puntos de estudio con la al menos una nube de puntos de referencia se lleva a cabo mediante técnicas seleccionadas entre:
- calcular una distancia entre un punto de la al menos una nube de puntos de referencia y el punto más cercano de la al menos una nube de puntos de estudio;
- calcular un primer histograma de la al menos una nube de puntos de referencia y un segundo histograma de la al menos una nube de puntos de estudio y comparar ambos histogramas;
- calcular un primer histograma de la al menos una nube de puntos de referencia y un segundo histograma de la al menos una nube de puntos de estudio y comparar ambos histogramas previamente normalizados; y,
- calcular un primer histograma de la al menos una nube de puntos de referencia y un segundo histograma de la al menos una nube de puntos de estudio y comparar ambos histogramas previamente suavizados mediante filtros.
En otra realización particular de la invención, cuando hay más de una imagen de referencia, para cada imagen de estudio la comparación con las imágenes de referencia se realiza mediante una técnica seleccionada entre:
- calcular las diferencias entre los espacios multidimensionales de cada imagen de referencia de cada objeto o individuo y los de la imagen de estudio, y calcular un promedio para cada objeto o individuo ;
calcular un espacio promedio de los espacios multidimensionales para todas las imágenes de referencia de cada objeto o individuo, y calcular la diferencia entre el espacio promedio y el espacio de la imagen de estudio; y,
- calcular la diferencia entre el espacio multidimensional de cada imagen de referencia de cada objeto o individuo y la imagen de
estudio y escoger, para cada objeto, al menos una de las menores diferencias con la imagen de estudio.
En otra realización particular de la invención, la fase de identificación de la imagen de estudio se realiza mediante una técnica seleccionada entre:
- escoger el objeto o individuo de la base de datos cuyas imágenes de referencia asociadas sean más parecidas a la imagen de estudio;
- escoger el objeto o individuo de la base de datos cuyas diferencias respecto a la imagen de estudio estén por debajo de un umbral; y,
- calcular la probabilidad de que la imagen de estudio se corresponda con cada uno de los objetos o individuos de la base de datos, en base a un conjunto de parámetros seleccionado entre las diferencias entre la imagen de estudio y las imágenes de referencias, las diferencias entre las imágenes de referencia, y las diferencias entre otras imágenes de objetos o individuos similares.
En otra realización particular de la invención, cuando se dispone de más de una imagen del objeto o individuo, la fase de identificación se realiza mediante una técnica seleccionada entre:
- escoger el objeto o individuo de la base de datos más parecido al objeto o individuo de estudio, en función de las diferencias entre las imágenes de estudio y las imágenes de referencia.
- calcular la probabilidad de que el objeto o individuo de estudio corresponda con cada uno de los almacenados en la base de datos, acumulando la evidencia suministrada por todas las imágenes de estudio. Esta probabilidad se calcula o bien suponiendo que las imágenes son independientes o bien teniendo en cuenta una redundancia de información entre imágenes similares .
En otra realización particular de la invención cuando se dispone de imágenes de estudio de varios objetos o individuos distintos, y una serie de relaciones lógicas entre ellos que describan la posibilidad o imposibilidad de que dos grupos de imágenes de estudio pertenezcan a un mismo o a distintos objetos o individuos, el método descrito comprende calcular una probabilidad de cada conjunto de identificaciones simultáneas de varios individuos de estudio, de forma que la identificación de cada objeto o individuo suministra
información acerca de la identificación de otros objetos o individuos. En otra realización particular de la invención esta probabilidad se obtiene o bien mediante el cálculo de la probabilidad de todas las posibles identificaciones de objetos o individuos entre imágenes de referencia e imágenes de estudio, teniendo en cuenta las probabilidades de identificación de cada individuo en base a sus imágenes, y las relaciones lógicas entre individuos problema, o bien mediante el cálculo de la probabilidad de identificación de cada individuo problema por separado, pero teniendo en cuenta las relaciones lógicas con otros individuos problema, además de las probabilidades de identificación en base a sus imágenes .
En otra realización particular de la invención, la identificación se realiza escogiendo el objeto o individuo con mejor probabilidad de identificación. Posteriormente se actualizan las probabilidades del resto de los objetos o individuos teniendo en cuenta que el objeto o individuo identificado es inamovible. Este proceso se repite hasta que todos los individuos se hayan identificado.
Un tercer objeto de la presente invención es un método de segmentación de imágenes que hace uso del método de transformación de imágenes en nubes de puntos de espacios multidimensionales descrito anteriormente. Dicho método de segmentación se caracteriza porque comprende las siguientes etapas:
• Calcular la signatura de cada pixel de la imagen según el método descrito en la reivindicación 2; y,
• Seleccionar los pixeles de la imagen de estudio cuya signatura sea más parecida a las de los pixeles de otras imágenes del objeto o individuo.
Un cuarto objeto de la presente invención es un método de localización de puntos de interés en una imagen que hace uso del método de transformación de imágenes en nubes de puntos de espacios multidimensionales descrito anteriormente. Dicho método comprende las siguientes etapas:
• calcular la signatura de cada pixel de la imagen tal y como se describe en la reivindicación 2; y,
• seleccionar el pixel de la imagen problema cuya signatura más se parezca a la signatura del pixel correspondiente al punto de interés de otras imágenes .
Un quinto objeto de la presente invención es el uso del método de identificación de objetos e individuos descrito anteriormente para el reconocimiento, clasificación y seguimiento de objetos e individuos.
Un sexto objeto de la presente invención es el uso del método de identificación de objetos e individuos descrito anteriormente combinándolo con técnicas de seguimiento convencional.
BREVE DESCRIPCION DE LAS FIGURAS
Figura 1.- Muestra un diagrama de flujo de un ejemplo de realización del método de transformación de imágenes en nubes de puntos de espacios multidimensionales objeto de la presente invención.
Figura 2.- Muestra un diagrama de flujo de un ejemplo de realización del método de identificación o el asificación de una imagen que hace uso del método mostrado en la figui a 1.
Figura 3.- Muestra un diagrama de flujo de un ejemplo de realización del método de identificación o clasificación de un individuo a partir de varias imágenes, que hace uso del método mostrado en la figura 1.
Figura 4.- Muestra un diagrama de flujo de un ejemplo de realización de un método de identificación de varios individuos, que hace uso del método presentado en la figura 3.
Figura 5.- Muestra un diagrama de flujo de un ejemplo de realización de un método de seguimiento de varios individuos en un grupo, que hace uso de los métodos presentados en las figuras 1, 2, 3 y 4.
Figura 6.- Muestra un diagrama de flujo de un ejemplo de realización de un método de cálculo de signaturas de pixeles de una imagen, que hace uso de parte del método mostrado en la figura 1.
Figura 7.- Muestra un diagrama de flujo de un ejemplo de realización del método de búsqueda de puntos de interés que hace uso del método mostrado en la figura 6.
Figura 8.- Muestra un diagrama de flujo de un ejemplo de realización del método de identificación o clasificación de imágenes a partir de signaturas de pixeles, que hace uso de los métodos presentados en las figuras 6 y 7.
Figura 9.- Muestra un diagrama de flujo de un ejemplo de realización del método de segmentación, que hace uso de los métodos presentados en las figuras 1, 2 y 6.
DESCRIPCIÓN DE VARIOS EJEMPLOS DE REALIZACIÓN DE LA INVENCIÓN
Seguidamente se realizan, con carácter ilustrativo y no limitativo, una descripción de varios ejemplos de realización de la invención, haciendo referencia a la numeración adoptada en las figuras .
La figura 1 muestra un diagrama de flujo de un ejemplo de realización del método de transformación (1) de imágenes en nubes de puntos multidimensionales aquí descrito. Dada una imagen (2), se transforma la imagen de modo que se obtenga un objeto invariante frente a rotaciones y traslaciones. El método aquí propuesto consiste en transformar la imagen de forma que cada posible par de pixeles seleccionado (3) se corresponde con un punto en un espacio multidimensional . Asi, para cada par de pixeles de una imagen en escala de grises se calcula (4) la distancia entre ellos (d) , la intensidad del primer pixel (il) y la intensidad del segundo pixel
(i2) . Por tanto, en este caso cada par de pixeles se corresponde con un punto en un espacio tridimensional, cuyas dimensiones son
{dfil ri2) . Cada imagen quedaría así transformada en una nube de puntos en este espacio tridimensional. Para calcular distancias entre pixeles (d) se puede usar la métrica euclídea (¾) o cualquier otra métrica (por ejemplo, L1 o L_) . En el caso de imágenes en color (o en general imágenes que contienen información de varias longitudes de onda), cada pixel tiene varias intensidades, una por cada longitud de onda (por ejemplo, 3 en el caso de imágenes en color con codificación
RGB) . Asi, para el caso de una imagen RGB, cada par de pixeles de la imagen se corresponde con un espacio de 7 dimensiones, que son {d, irl , ir2, igl , ig2, ibl , ib2) , donde "ir" es la intensidad del canal rojo, "ig" la intensidad del canal verde e "ib" la intensidad del canal azul. Otra alternativa es indexar los colores, de modo que a cada combinación de los tres canales se le asigna un índice unidimensional. De esta manera una imagen en color se codifica en un espacio tridimensional, pero a costa de perder información acerca de la similitud entre distintos colores.
A menudo será conveniente reducir la dimensionalidad del espacio en el que se transforma la imagen, para reducir la cantidad de cálculo necesario, o para hacer mejor uso de la información disponible. Esta reducción de dimensionalidad se puede realizar por ejemplo teniendo en cuenta sólo parte de las dimensiones del espacio. Por ejemplo, se pueden utilizar sólo las distancias entre los pixeles, descartando la información sobre su intensidad. En el caso particular de utilizar sólo la intensidad de los pixeles (una de ellas, ya que la información sería redundante) y hacer un histograma de dichas intensidades, se obtendría el histograma de color de la imagen. Otra alternativa es mantener todas las dimensiones, pero reducir mucho el rango dinámico de una o varias de ellas, de modo que exija menos memoria (por ejemplo, considerando únicamente un conjunto muy pequeño de distancias entre pixeles). Este método tiene el inconveniente de que en algunos casos descarta información valiosa de la imagen. Una forma más eficiente de reducir la dimensionalidad consiste en realizar operaciones matemáticas entre las distancias e intensidades (5) previamente calculadas. Por ejemplo, en imágenes en color se puede tener en cuenta, en vez de la intensidad de cada canal de color por separado, la suma de todos ellos (lo cual equivale a convertir la imagen en color en una imagen en escala de grises) . También se puede considerar, en vez de la intensidad de cada pixel, la suma (o cualquier otra operación) de ambas intensidades, o también operaciones entre las intensidades y la distancia. Cada operación que se considere modifica la información disponible de manera distinta, por lo que puede ser conveniente utilizar varias operaciones simultáneamente. Además, la elección de operaciones óptimas puede depender de la aplicación concreta del método. Este método permite
hacer uso de la información contenida en todas las dimensiones del espacio, reduciendo en gran medida la cantidad de cálculo y memoria necesaria .
En general es más fácil trabajar con varios espacios de baja dimensionalidad (por ejemplo 2 ó 3 dimensiones) que con uno de alta dimensionalidad . Por ello, puede ser conveniente considerar al mismo tiempo varias transformaciones de la imagen, que la envíen a varios espacios distintos de baja dimensionalidad. Por ejemplo, puede ser conveniente utilizar varias operaciones entre las intensidades, para tener varios espacios de 2 dimensiones en vez de uno de 3. Por ejemplo, si se considera la suma y el valor absoluto de la resta, la imagen quedaría transformada en dos nubes de puntos (6) en los espacios {d, Í1+Í2) y (d, \il-i2\ ) .
Este método puede generalizarse para tener en cuenta, no sólo distancias entre pares de pixels, sino distancias entre tríos, cuartetos, etc. Así, por ejemplo, si se consideran tríos en una imagen en escala de grises, la imagen quedaría transformada en una nube de puntos en un espacio de 6 dimensiones, que sería {dl2 ,d23 ,dl3 , il , i2 , i 3) , donde "d22, d23 , dl3" son las distancia entre los pixeles 1 y 2, los pixeles 2 y 3 y los pixeles 1 y 3 de cada trío, respectivamente.
Así, tras realizar las operaciones matemáticas (5) sobre las distancias e intensidades calculadas previamente se crean las correspondientes nubes de puntos (6). En ocasiones será más conveniente trabajar con histogramas de las nubes de puntos (7) en vez de con las nubes directamente. Estos histogramas pueden estar normalizados .
En algunas aplicaciones puede ser conveniente que la transformación sea invariante respecto a cambios de escala de la imagen. Para lograr dicha invariancia, se puede seguir el siguiente procedimiento. En primer lugar, los histogramas (7) deben estar normalizados, para controlar el distinto número de pixeles ocupado por la imagen cuando la magnificación es distinta. En segundo lugar, se deben re-escalar las distancias, multiplicándolas por un factor de escala que compense el cambio de magnificación. Para calcular este factor de escala, se
pueden comparar (8) uno o varios de los histogramas de la imagen con uno o varios histogramas de otras imágenes del mismo objeto tomadas con la magnificación que se quiere usar como referencia. Se busca entonces el factor de escala (9) que minimice la diferencia con dichos histogramas de referencia. Esta diferencia puede calcularse, por ejemplo, como el promedio del valor absoluto de las diferencias de los elementos de los histogramas de la imagen problema y los histogramas de referencia. Otra alternativa es calcular, por ejemplo, la mediana de todas las distancias entre pares de pixeles de la imagen problema, y compararlo con la mediana de las distancias entre pares de pixeles de la imagen de referencia. Una vez calculado el factor de escala, a veces se puede directamente re-escalar (10) las nubes de puntos (6) y/o re-escalar (11) los histogramas (7) . Pero otras veces la pérdida de información debida a las operaciones matemáticas y/o a la binarización de los datos al hacer un histograma hace que el re-escalado del histograma no sea equivalente al re- escalado de las distancias. Por ello, puede ser conveniente multiplicar por el factor de escala las distancias originales (12), y repetir de nuevo el proceso de operaciones mátemáticas (5), generación de las nubes de puntos (6) y cálculo de los histogramas (7) .
La figura 2 muestra un diagrama de flujo de un ejemplo de la aplicación del método a la identificación o clasificación de una imagen. El primer paso es realizar la transformación de la imagen problema tal y como se ha descrito anteriormente (1), de modo que se convierta en dos nubes de puntos en espacios bidimensionales , uno del espacio (d,il+i2) y el otro del espacio (d, | il-i2 | ) , o sus correspondientes histogramas . Se dispone además de una base de datos (14) que consiste en imágenes de cada uno de los individuos a identificar (o de individuos de cada una de las clases en las que se quiere clasificar al individuo problema) , previamente transformadas de la misma manera que la imagen problema (1) . La base de datos puede contener una o más imágenes de cada individuo o clase. Especialmente en el caso de animales, cuyo movimiento y cambio de postura puede ser considerable, puede ser necesario que la base de datos contenga un alto número de imágenes de cada individuo o clase, para que contenga suficiente información acerca de la variabilidad entre las imágenes . A continuación se compara (15) cada una de las nubes de puntos o
histogramas de la imagen problema con la correspondiente nube de puntos o histograma de cada una de las imágenes de la base de datos . La comparación se facilita por el hecho de que estas nubes de puntos son invariantes respecto a una rotación y/o una traslación de la imagen, eliminando asi el problema del alineamiento. La comparación puede realizarse de muchas maneras distintas, y la manera óptima dependerá en general de la aplicación. Para comparar directamente las nubes de puntos, se puede por ejemplo buscar la distancia entre cada punto de una imagen y el punto más cercano de la otra. La suma de estas distancias será siempre cero para dos imágenes idénticas, y será en promedio mayor cuanto más diferentes sean las imágenes . Si lo que se comparan son los histogramas de las nubes de puntos la comparación puede hacerse, por ejemplo, restando los histogramas elemento a elemento, y calculando el promedio de los valores absolutos de las diferencias. En ocasiones puede ser conveniente preprocesar los histogramas, por ejemplo suavizándolos mediante un filtro (gaussiano o de otro tipo) . También se pueden tener en cuenta métricas más complejas que tengan en cuenta la distancia entre los distintos elementos de un histograma. Estos histogramas tienen típicamente miles de elementos. Se pueden usar técnicas como "Análisis de Componentes Principales" para encontrar combinaciones de dichos elementos que contengan la máxima información posible, reduciendo así la cantidad de cálculo necesaria para realizar las comparaciones, y en ocasiones reduciendo también la variabilidad. Esta comparación proporciona una métrica (que puede ser multidimensional ) en cuanto a la similitud de cada imagen del individuo problema y cada imagen de cada una de las referencias, de modo que cuanto más cercana sea una referencia a la imagen problema más probable será que el individuo problema coincida con el de la referencia. Este conjunto de diferencias (16) entre las imágenes de la base de datos y la imagen problema permitirá realizar la identificación o clasificación. Se pueden emplear todas las diferencias, pero habitualmente será conveniente preprocesarlas , por ejemplo calculando el promedio de las diferencias entre la imagen problema y las imágenes de cada uno de los individuos o clases de la base de datos. Otra alternativa es elegir únicamente la menor de las diferencias entre la imagen problema y las imágenes de cada uno de los individuos o clases de la base de datos. Este último
procedimiento tiene la ventaja de eliminar en cierta medida la variabilidad debida a cambios de postura y perspectiva del individuo que se desea identificar. Para tener una referencia de las diferencias que cabe esperar entre imágenes del mismo individuo o clase y entre imágenes de distintos individuos o clases, se pueden comparar las imágenes de las referencias entre ellas (17), de modo que se obtenga una estadística de sus diferencias (18) . En ocasiones esta estadística será realmente representativa de los errores que cabe esperar en las imágenes problema, pero si las imágenes de la base de datos no se han tomado en idénticas condiciones que las imágenes problema y/o no son realmente independientes entre sí, sólo servirán como una guía cualitativa o semicuantitativa para valorar las diferencias (16) observadas entre la imagen problema y las imágenes de la base de datos. A partir de las diferencias (16) y la estadística de diferencias (18) se calcula (19) la probabilidad (20) de obtener la imagen problema a partir de cada uno de los individuos o clases de la base de datos. Esta probabilidad se puede calcular
(19) de muchas maneras. Si la estadística de diferencias (18) es realmente representativa, la probabilidad se puede aproximar simplemente calculando un histograma de las diferencias (18) entre imágenes distintas del mismo individuo o clase, y tomando la proporción correspondiente al bin en el que caiga la diferencia correspondiente de la imagen problema (16) . Alternativamente se pueden aproximar las diferencias entre imágenes de la base de datos
(18) mediante distribuciones de probabilidad analíticas, y calcular la probabilidad de que las distribuciones correspondientes a cada individuo o clase produzcan las diferencias (16) de la imagen problema. Alternativamente se puede hacer una estimación más grosera que no requiere que las diferencias (18) sean completamente representativas. En este caso la identificación se realiza escogiendo el individuo o clase de la base de datos cuyas diferencias con la imagen problema sean menores. A este individuo o clase se le asigna una cierta probabilidad de acierto b , y para todos los demás la probabilidad será (1— b)/(R— 1) , donde R es el número de individuos o clases incluidos en la base de datos, b puede ser un número fijo establecido previamente, o puede variarse comparando la magnitud de las diferencias (16) con la magnitud de las diferencias (18) . Cuanto más parecidas sean las diferencias (16) al rango inferior de las
diferencias (18), mayor será b . Además, cuando cada imagen se transforme en más de un espacio multidimensional, se dispondrá de al menos una diferencia por cada espacio. Se puede entonces realizar la identificación por separado con cada espacio. Cuanto mayor sea la coincidencia entre las identificaciones realizadas con cada espacio, mayor será b . Finalmente, se puede dar una identidad (21) a la imagen problema, escogiendo aquélla que tenga mayor probabilidad. En este proceso es posible incluir la posibilidad de que la imagen problema no se corresponda con ninguno de los individuos o clases de la base de datos. En aquéllos casos en los que las diferencias (16) entre la imagen problema y las de la base de datos sean mayores que las diferencias (18) entre imágenes de la base de datos, la imagen problema se clasificará como no perteneciente a ninguno de los individuos o clases de la base de datos .
La figura 3 muestra un diagrama de flujo de una aplicación concreta del método para la identificación de individuos (22) . En un primer paso, se adquiere un cierto número de imágenes (23) de cada uno de los individuos por separado, que servirán para nutrir la base de datos que se empleará como referencia para la identificación. Pueden ser, por ejemplo y sin limitarse, fotografías individuales, o un vídeo, o imágenes por satélite
. A continuación estas imágenes se pre-procesan (24) para mejorar su calidad. Por ejemplo, puede ser necesario normalizar la intensidad de la imagen para controlar fluctuaciones de la iluminación, eliminar partes de la imagen no deseadas, o utilizar un filtro para mejorar la calidad (filtros gaussianos para reducir ruido, etc.). A continuación se realiza la segmentación de la imagen (25), seleccionando sólo los pixels correspondientes al individuo que se quiere identificar. Esta segmentación se puede realizar utilizando cualquiera de los métodos convencionales (umbralización, background substraction, etc.), o mediante el método (figura 9) propuesto en esta patente. Si las imágenes forman parte de un vídeo y los individuos están en movimiento, este movimiento se puede utilizar para facilitar la segmentación (utilizando técnicas como "flujo óptico", etc.) . En ocasiones es conveniente realizar el preproceso (24) y la segmentación (25) al mismo tiempo que la adquisición de imágenes
(23) . De esta manera se puede, por ejemplo, regular la adquisición de
imágenes (23) de modo que no se adquiera una nueva imagen hasta que se observe un cambio significativo respecto a la anterior, de modo que cada imagen contenga información diferente a la anterior. A continuación se realiza la transformación de la imagen segmentada, tal y como se ha descrito anteriormente (1) . Finalmente, se almacenan las imágenes transformadas en una base de datos (14) . Una vez creada la base de datos, se adquieren de la misma manera imágenes (26) del individuo problema. Se preprocesan (24), segmentan (25) y transforman
(1) de manera idéntica a las imágenes de la base de datos. A continuación, se comparan (13) la imagen problema con las almacenadas en la base de datos de la manera detallada en la figura 2, obteniéndose las probabilidades de identificación de cada imagen
(20) .
A continuación, se agrega la información de las identificaciones de las imágenes individuales (20). Esta agregación (27) consiste en calcular la probabilidad (28) de que el individuo problema sea cada uno de los individuos de la base de datos, teniendo en cuenta las identificaciones de todas las imágenes disponibles. Para ello se puede utilizar, por ejemplo, el siguiente procedimiento. Sea N el número total de imágenes del individuo problema, sea pn r la probabilidad (20) de que el r -ésimo individuo o clase de la base de datos genere la ft-ésima imagen problema, pn r = PÍjmagen n\individuo r) . Se supone además que no hay información redundante entre las imágenes, y que por tanto la probabilidad de identificación de cada imagen es independiente de la del resto. Bajo estas hipótesis, la probabilidad de que el r -ésimo individuo o clase de la base de datos genere todas las imágenes problema es simplemente,
N
P(imágenes problema \ individuo r) = ]~[ pn r , ( a ) donde N es el número de imágenes problema.
Mediante el teorema de Bayes, y suponiendo que todos los individuos son igualmente probables a priori, a partir de la ecuación (a) se calcula la probabilidad de que el individuo problema sea cada uno de
los individuos de la base de datos. Asi, la probabilidad de que individuo problema sea el individuo r*-ésimo de la base de datos es
Mediante la ecuación (b) se calcula la probabilidad (28) para cada uno de los individuos de la referencia, efectuándose la identificación (29) cuando uno de los individuos tiene una probabilidad mucho más alta que el resto. Si la identificación no puede realizarse con suficiente certeza, se pueden adquirir más imágenes (26) del individuo problema para incrementar la certeza (28) y en consecuencia favorecer la identificación del individuo (29).
La figura 4 muestra un diagrama de flujo de un ejemplo de realización de un método de identificación simultánea de varios individuos (30) que hace uso de parte del método (22) descrito en la figura 3. El proceso es idéntico hasta el punto en que se obtienen las probabilidades de identificación de las imágenes individuales (20), solo que en este caso las imágenes proceden de varios individuos problema diferentes . Cuando se identifican varios individuos al mismo tiempo se dispone de información adicional, dado que no puede ocurrir que dos de los individuos problema distintos se correspondan con el mismo individuo de la base de datos. En este caso se busca una asignación, entendiendo por asignación la identificación simultánea de todos los individuos. Una asignación se puede expresar como un vector con tantos elementos como individuos problema. El elemento q - ésimo es un número natural, indicando cuál de los individuos de las referencias se identifica con el q -ésimo individuo problema. Por ejemplo, si hay 4 individuos en la base de datos y 3 individuos problema, una posible asignación seria (1,4,3) , indicando que el primer individuo problema es el primer individuo de la base de datos, el segundo individuo problema es el cuarto individuo de la base de datos, y el tercer individuo problema es el tercer individuo de la base de datos. En general, si hay Q individuos problema y R individuos en la base de datos, cada asignación es un vector
Q pueden tener cualquier valor entre 1 y R , apareciendo cada valor como máximo una vez. Existen RIR— Q) posibles asignaciones. La probabilidad de cada asignación (32) se puede calcular mediante el siguiente proceso (31). Sea
el conjunto de todas las posibles asignaciones, siendo a¡ la /-ésima asignación. Sea N el número de imágenes del ^-ésimo individuo problema, sean las probabilidades de que cada uno de los individuos de la base de datos genere cada una de las imágenes del q - ésimo individuo. Suponiendo que la asignación correcta es a , la probabilidad de obtener el conjunto de imágenes de los individuos problema, asumiendo que las imágenes son independientes entre si, es
Y mediante el teorema de Bayes, se tiene que la probabilidad de una asignación determinada, a , será, n→ , . , \ Pumágenes I a)
P[a I imágenes) = '—
^ P(imágenes \ a¡ )
1=1
Asi se calcula la probabilidad de todas las asignaciones posibles utilizando la ecuación (d) (32) . La asignación elegida es la que mayor probabilidad tiene (33), y la probabilidad de error es igual a la suma de las probabilidades de todas las demás asignaciones.
Cuando la probabilidad de error está por debajo de un cierto umbral, la asignación se considera correcta. En caso contrario, la asignación es dudosa y puede mejorarse adquiriendo más fotogramas de uno o varios individuos. Mediante la ecuación (b) se calcula la certeza de la identificación de cada individuo por separado (28), y pedirá al usuario que adquiera más fotogramas (26) de los individuos identificados con menor certeza, y/o de los individuos cuyas identificaciones sean incompatibles entre si (por ejemplo, si dos individuos problema son asociados con el mismo individuo de las referencias ) .
La figura 5 muestra un diagrama de flujo de un ejemplo particular del método de seguimiento (34) basado en el método de transformación (1) de imágenes de la figura 1. En primer lugar se adquiere un video de los individuos (35) . A continuación se pre-procesan (36) cada uno de los fotogramas, por ejemplo recortando la región de interés que muestra el recinto en el que se mueven los animales, normalizando cada fotograma para compensar fluctuaciones de la iluminación, y reduciendo la resolución de las imágenes para reducir el tiempo de cálculo .
La segmentación (37) se puede realizar con cualquier método convencional de segmentación, o con el método presentado en eta patente. En este caso, a diferencia de los ejemplos anteriores, en cada fotograma hay varios individuos, que saldrán por separado de la segmentación. En algunos casos habrá dos o más individuos que se superpongan en la imagen. En este caso la segmentación no podrá separarlos, con lo que saldrán juntos y tendrán que ser tratados de manera diferente en un paso posterior. En cualquier caso, de cada fotograma saldrán una o varias imágenes segmentadas . A continuación se realiza la transformación (1) de cada imagen segmentada, obteniéndose las nubes de puntos y/o histogramas correspondientes.
A continuación se asocian las imágenes segmentadas que pertenecen con alta certeza al mismo individuo o grupo de individuos solapantes (38) . De ahora en adelante se denominará "tramo" a un conjunto de imágenes segmentadas, pertenecientes a fotogramas consecutivos, que pertenecen al mismo individuo (o grupo de individuos solapantes) . Esto es posible por ejemplo cuando un individuo se mueve sin cruzarse con nadie durante cierto tiempo. El criterio elegido es que dos imágenes segmentadas de dos fotogramas contiguos pertenecen al mismo tramo si y sólo si solapan una con la otra, y no solapan con ninguna otra mancha.
A continuación se buscan grupos de tramos (39) que pertenezcan cada uno a un individuo distinto. Para ello, se buscan los fotogramas en los que hay el mismo número de imágenes segmentadas que individuos (el número real de individuos (R) es introducido por el usuario) . Asi, supondremos que un grupo de R tramos que conviven en un cierto número mínimo de fotogramas pertenecerán cada uno a uno de los R
individuos. De ahora en adelante, se denominará "grupo de tramos" a cada uno de estos grupos de R tramos. A partir de estos grupos de tramos se formará la base de datos (14) que se empleará para realizar las identificaciones. En principio uno sólo de estos grupos podría usarse como base de datos, pero habitualmente no contiene un número suficiente de imágenes de cada individuo. Así pues, es necesario juntar varios grupos de tramos para formar la base de datos. Para ello se empleará el método de asignación de varios individuos (30) de la siguiente manera. Para cada dos grupos, se utiliza uno de ellos (normalmente el que mayor número de imágenes contiene) como si fuera la base de datos, y el otro como si fuera el conjunto de imágenes problema, calculándose la probabilidad de cada asignación (32), y la asignación más probable (33). A continuación se comparan (40) las asignaciones entre grupos, comprobando que sean consistentes (es decir, que si por ejemplo el tramo 1 del grupo 1 se asigna con el tramo 1 del grupo 2, y el tramo 1 del grupo 2 se asigna con el tramo 4 del grupo 3, también el tramo 1 del grupo 1 se asigne con el tramo 4 del grupo 3) . Se escogen entonces los grupos de tramos que pueden asignarse entre sí con alta certeza y de manera consistente, y se juntan para formar la base de datos (14) .
A continuación se procede a identificar y clasificar todas las imágenes segmentadas de los tramos (38), utilizando el método (13) . Así pues, cada imagen puede ser clasificada (21) como no perteneciente a ninguno de los individuos de la base de datos (en cuyo caso se clasifica como ruido, o bien como una imagen que contiene a varios individuos solapantes), o como perteneciente a uno de los individuos de la base de datos. En este último caso, además se obtiene una probabilidad (20) de que esa imagen provenga de cada uno de los individuos de la base de datos .
Mediante la clasificación de imágenes segmentadas (21) se clasifican los tramos (38). Aquéllos que tienen mayoritariamente imágenes clasificadas como ruido o individuos múltiples se descartan de cara a la identificación. El resto de los tramos, que corresponden a un solo individuo (41), se utilizarán para la identificación.
Finalmente, se procede a la asignación de cada uno de los tramos individuales. Para dicha asignación se tienen también en cuenta una serie de relaciones lógicas entre tramos (42). Estas relaciones contienen la posibilidad o imposibilidad de que dos tramos pertenezcan o no al mismo individuo. Estas relaciones se almacenan en una matriz binaria C de dimensión Q x Q , donde Q es el número de tramos. Para cada par de tramos, la matriz indica si los dos tramos pueden o no pueden pertenecer al mismo individuo, de modo que el elemento q,q' vale 1 si las relaciones lógicas prohiben que los tramos q y q} pertenezcan al mismo individuo, y vale 0 si no lo prohiben. En este caso, se asume que dos tramos no pueden pertenecer al mismo individuo si ambos aparecen simultáneamente en al menos un fotograma .
El conjunto de todas las posibles asignaciones compatibles con las relaciones lógicas es en general demasiado grande como para poder tenerlas todas en cuenta. Por este motivo se emplea el siguiente método aproximado (43) para calcular las probabilidades de asignación (44) .
Sea / la w-ésima imagen segmentada del í/ -ésimo tramo individual. Y sea pq n r la probabilidad (20) de que el r -ésimo individuo de la base de datos dé lugar a dicha w-ésima imagen segmentada del q -ésimo tramo individual, / . Se busca una aproximación a la probabilidad de asignación del tramo q * . Suponiendo que el tramo q * pertenece al individuo r* de la base de datos, y dado que las imágenes de cada tramo son independientes de las imágenes de otros tramos, tenemos que
Para tener en cuenta las relaciones lógicas, se expande esta ecuación en función de las posibles asignaciones del resto de los tramos,
Una vez determinada la asignación del q -ésimo tramo, aq=r} la probabilidad de las imágenes de dicho tramo, {^ n }^ i queda determinada con independencia de otras asignaciones (en este caso, de la asignación aq* = r * ) . Asi pues, podemos escribir simplemente
Asumiendo independencia entre las distintas imágenes segmentadas, tenemos que
tramos. Por simplicidad, en este punto se tienen en cuenta únicamente las relaciones lógicas del tramo q* con todos los demás, y no las relaciones lógicas de los demás tramos entre ellos. Asumiendo que cada tramo tiene la misma probabilidad a priori de corresponder a cada individuo de las referencias, se tiene que,
p(a r>
Ahora, usando el teorema de Bayes, y asumiendo que todas las asignaciones son igualmente probables a priori, se llega a
Aplicando las ecuaciones (h) , (i) y (j) se calculan las probabilidades de asignación para cada tramo (44) . De todos los tramos, se toma aquél cuya asignación se pueda realizar con más certeza, y se le asigna el individuo más probable. Una vez hecha
dicha asignación, se recalculan de nuevo todas las probabilidades (46), teniendo en cuenta la asignación ya hecha. Se reitera el proceso, hasta que todos los tramos están asignados.
Una vez están asignados los tramos, se generan las trayectorias. Dado que la asignación de tramos se ha realizado respetando las relaciones lógicas entre ellos, en cada fotograma habrá como máximo una imagen segmentada asignada a cada uno de los individuos de las referencias. Por tanto, para generar la trayectoria de cada individuo basta tomar los centros de las imágenes segmentadas que le corresponden en cada fotograma. En aquéllos fotogramas en los que ninguna imagen segmentada haya sido asociada al individuo en cuestión (por ejemplo si el individuo forma parte de una imagen segmentada en la que hay varios individuos solapantes) pueden dejarse como huecos en las trayectorias, o rellenarse mediante interpolación o mediante cualquier otro método. En ocasiones estas imágenes múltiples pueden resegmentarse, por ejemplo empleando un método como el detallado en la figura 8, separando los individuos que forman parte de ella. En ocasiones, en vez de utilizar los centros de las imágenes segmentadas será conveniente utilizar otro punto, como por ejemplo una parte concreta de la anatomía de los individuos. Para este fin puede emplearse el método de localización de puntos de interés detallado en la figura 7 (51) . En este caso, también será posible localizar estos puntos de interés en imágenes formadas por varios individuos solapantes, ayudando en la tarea de rellenar los huecos de las trayectorias .
La presente invención también ha previsto que en el vídeo, dos imágenes del mismo individuo correspondientes a fotogramas contiguos a menudo contienen prácticamente la misma información. Por este motivo, la suposición de independencia hecha más arriba no es una buena aproximación. Para mejorar dicha aproximación se puede usar el siguiente método, que consiste simplemente en modular la probabilidad de cada imagen, de modo que las imágenes más independientes tengan más peso que las menos independientes. Así, la ecuación (h) se sustituiría por
donde los kn actúan de moduladores. Nótese que si por ejemplo kn = 2 la «-ésima imagen tiene el doble de peso en el cálculo de la probabilidad (es decir, es como si hubiera dos imágenes que apuntan al mismo individuo o clase de la referencia con iguales probabilidades). Para calcular los kn se puede proceder, por ejemplo, de la siguiente manera.
Cada imagen segmentada de un tramo se representa como un segmento de diez unidades de longitud sobre una recta. El segmento de la primera imagen comienza en x1 = 0. El segmento correspondiente cada nueva imagen comienza en Xn = Xn l + 10(1— s) redondeado hacia abajo, donde s es la proporción de pixeles que solapan entre la primera y la segunda imagen. Asi, si ambas imágenes solapan completamente (5= 1 ) , los dos segmentos también solaparán completamente. Cuanto menos solapen las imágenes, menos solaparán también sus segmentos correspondientes. Se sitúan de esta manera todos los segmentos sobre la recta. En algunos casos, en vez de utilizar el solapamiento entre imágenes para estimar la redundancia de información, se pueden utilizar las propias nubes de puntos de las imágenes. Para ello, se calcula la diferencia promedio entre nubes de puntos correspondientes a imágenes independientes del mismo individuo. Dado el error entre dos imágenes consecutivas, el segmento de la segunda imagen se desplaza una cantidad que depende de la diferencia entre las nubes de puntos de las dos imágenes, relativa a la diferencia promedio calculada anteriormente .
Una vez hecho esto, se calculan los pesos kn de la siguiente manera. Para cada imagen (sea por ejemplo la imagen n ) , se recorre su segmento unidad por unidad. Por cada unidad, se suma a kn una cantidad 0.1 / H , siendo H el número de segmentos correspondientes a otras imágenes que solapan con la misma unidad de la recta. Asi, una imagen contribuye en mayor proporción al número efectivo de imágenes cuanto menos solape con las imágenes adyacentes (y cuanto menos solapen estas con las siguientes, etc) . Una imagen que no solapa con ninguna otra tendrá k — 1. Una vez calculadas las k , basta usar la
ecuación (k) en vez de la ecuación (h) en el método descrito más arriba .
La figura 6 muestra un diagrama de flujo de un ejemplo de realización del método de transformación de imágenes, orientado al cálculo de la signatura de uno o varios pixeles de la imagen problema (48) . Este método comparte varios pasos con el presentado en la figura 1. De la imagen (2) se seleccionan uno o varios pixeles (49), que se denominarán pixeles centrales, cuyas signaturas se desean calcular. Para cada pixel central, se selecciona una serie de combinaciones de pixeles de la imagen (50) . Estas combinaciones pueden ser, por ejemplo, todas las parejas formadas por el pixel central y cada uno de los demás pixeles de la imagen. Alternativamente, se pueden escoger por ejemplo todas las parejas formadas por el pixel central y todos los demás pixeles que estén a menos de una cierta distancia umbral del pixel central. Alternativamente se pueden coger por ejemplo todas las parejas que se pueden formar con todos los pixeles que estén a menos de una cierta distancia umbral del pixel central. Una vez elegidas las combinaciones de pixeles (50), se continúa con el proceso calculando las distancias entre pixeles y sus intensidades (4) . A continuación se pueden realizar operaciones matemáticas entre las distancias e intensidades de los pixeles (5) . A continuación se generan las nubes de puntos en espacios multidimensionales (6), y se pueden realizar histogramas (7) de dichas nubes de puntos. Por cada pixel central (49) que se haya seleccionado habrá un conjunto de nubes de puntos (6) y/o histogramas (7), que constituyen la signatura de dicho pixel central.
La figura 7 muestra un diagrama de flujo de un ejemplo de realización del método de localización de puntos de interés (51) . Se parte de un conjunto de imágenes de referencia (52). Estas imágenes pueden estar preprocesadas y segmentadas, pero no han sido transformadas todavía. Manualmente el usuario selecciona el punto de interés (53) en cada una de las imágenes de referencia. Se realiza la transformación (48) sobre estas imágenes, tomando como pixel central (49) el punto de interés (53) seleccionado manualmente, de modo que se calcula la signatura (54) de dicho pixel en cada una de las imágenes de la base de datos. A continuación se toma la imagen problema (55), y se
realiza sobre ella la transformación (48), esta vez usando como pixeles centrales todos los pixeles de la imagen, o un subconjunto de ellos. De este modo se calculan las signaturas (56) de los pixeles de la imagen problema. A continuación se comparan las signaturas (56) de los pixeles de la imagen problema con las signaturas (54) de los pixeles seleccionados en las imágenes de referencia. Esta comparación se hace con uno de los métodos descritos anteriormente (15) . Finalmente, de entre todos los pixeles de la imagen problema se selecciona aquél cuya signatura presente menores diferencias respecto a las signaturas de referencia (57) .
La figura 8 muestra un diagrama de flujo de un ejemplo de realización de un método (58) de identificación y/o clasificación que, gracias al método de localización de puntos de interés (51) descrito en la figura 7, no requiere una segmentación de la imagen. Este método parte de un conjunto de imágenes (59) que contiene una o varias imágenes de cada individuo o clase. Por ejemplo, la base de datos puede estar formado por las imágenes que dan lugar a la base de datos
(14) resultante del algoritmo de seguimiento (34) en un video de peces. De este conjunto de imágenes (59) se selecciona un subconjunto de imágenes, que se usarán como imágenes de referencia (52) para la determinación de puntos de interés. Se aplica entonces el método
(51), empezando por la selección manual por parte del usuario de los puntos de interés (53) en las imágenes de referencia (52) . Por ejemplo, en el caso de estar utilizando la base de datos de un video de seguimiento de peces, el punto de interés puede ser el punto central de los ojos de cada pez, o cualquier otro punto de la anatomía del pez. A continuación se toman el resto de las imágenes
(59), y sobre cada una de ellas se aplica el método de localización de puntos de interés (51), de modo que se localiza el pixel (60) cuya signatura es más parecida a la de los pixeles seleccionados por el usuario en las imágenes de referencia, y se almacenan sus signaturas
(61) . Estas signaturas (61) harán la función de la base de datos (14) de cara a la identificación o clasificación de la imagen problema. Finalmente, se toma la imagen problema (55) y se emplea de nuevo el procedimiento (51) para encontrar el pixel (61) más parecido a los puntos de interés seleccionados por el usuario. Esta imagen podría ser, por ejemplo, la imagen de un pez que no ha podido ser segmentada
correctamente (por ejemplo por solapar con otro pez), pero en la que la cabeza es visible. Por ejemplo en el caso de tener un grupo de varios peces solapantes, es posible que en la imagen haya más de un punto de interés, en cuyo caso el algoritmo debería realizar varias búsquedas para encontrarlos todos. Seguidamente, se compara la signatura (63) del pixel seleccionado (62) con las signaturas (61) de la base de datos. Dado que la signatura de un pixel consiste en un conjunto de nubes de puntos en espacios multidimensionales (6) o en histogramas de dichas nubes de puntos (7), el proceso de comparación (13) es idéntico al descrito en la figura 2, dando como resultado final la identificación o clasificación (21) de la imagen problema.
En otra realización particular, la selección manual de puntos de interés (53) se puede sustituir por un algoritmo que calcule la signatura de un pixel de una primera imagen (59), y busque mediante el método (51) los pixeles más parecidos en el resto de las imágenes (59), calculando las diferencias entre las signaturas de estos pixeles. El proceso se repite para cada pixel de la primera imagen. Finalmente, se emplean como puntos de interés los pixeles cuyas signaturas tengan mayor variabilidad entre individuos o clases, relativa a la variabilidad entre imágenes del mismo individuo o clase .
La figura 9 muestra un diagrama de flujo de un ejemplo de realización de un método de segmentación de imágenes (64) que hace uso del método de transformación de imágenes en nubes de puntos de espacios multidimensionales. Por un lado se tiene una imagen problema (65) en la que se quiere realizar la segmentación, y por otro una imagen correctamente segmentada (66). Se realiza la transformación (48) de la imagen problema, obteniendo la signatura de cada pixel (67) . Paralelamente se realiza la transformación (48) de la imagen problema, obteniendo la signatura de cada pixel (68) . Se comparan (15) todas las signaturas (67) de los pixeles de la imagen problema con todas o un subconjunto de las signaturas (68) de la imagen segmentada. Para cada pixel de la imagen problema, se busca el pixel de la imagen segmentada cuya signatura sea más parecida, y se asigna al pixel correspondiente de la imagen problema la diferencia entre ambas signaturas. Así se genera un mapa de diferencias (69), que
indica lo parecidos que son cada uno de los pixeles de la imagen problema a los pixeles de la imagen segmentada. Sobre este mapa se puede realizar un pre-proceso, como por ejemplo pasar un filtro gaussiano para suavizarlo. A continuación se selecciona la región o regiones (70) con menores diferencias. Se extraen los pixeles correspondientes a dichas regiones, dando lugar a un conjunto de imágenes segmentadas (71) . En ocasiones este proceso dará lugar a una sola imagen segmentada (71), que constituirá una segmentación suficientemente buena de la imagen. Pero también es posible que surjan varias imágenes (71) distintas, de las que sólo una corresponda con el objeto que se quiere segmentar, o que surja una imagen pero pueda corresponder a un objeto distinto. En este caso, para seleccionar la imagen segmentada correcta se transforma (1) cada una de las imágenes segmentadas, usando el método mostrado en la figura 1. Se transforma (1) asimismo la imagen segmentada (66) . A continuación se comparan (15) las nubes de puntos o histogramas de las imágenes segmentadas (71) con las procedentes de la imagen segmentada (66) . Se selecciona la imagen segmentada (71) que menor diferencia tenga con la imagen segmentada (66), y/o se acepta cuando la diferencia esté por debajo de un cierto umbral, dando lugar a la segmentación (72) de la imagen problema.
El método de identificación aquí descrito requiere que la resolución con la que se toma la imagen de cada individuo sea relativamente alta. Esto puede limitar el tamaño del espacio en el que se pueden mover los individuos. Sin embargo, el método no requiere que los individuos sean visibles durante todo el tiempo, ya que puede recuperar las identidades en cualquier momento. Por tanto, es posible hacer seguimiento de sólo una parte del espacio en el que se mueven los individuos. También es posible tener un conjunto de cámaras que obtienen imágenes de baja resolución de un área grande, y realizar un tracking convencional con estas cámaras. Al mismo tiempo, otro conjunto de cámaras obtienen imágenes de mayor resolución de una parte del espacio, de modo que cada vez que un individuo es identificado cada vez que pasa por dicha región. De este modo, las identidades de los individuos se recuperan cada cierto tiempo, permitiendo corregir los errores que comete el tracking convencional.
Un dispositivo experimental, como ejemplo de realización particular, empleado para la captura de imágenes de peces, como por ejemplo, de peces cebra {Danío rerio) , Medaka {Oryzías latipes) y espinosillo {Gasterosteus aculeatus) , consiste en una urna de metacrilato transparente en cuyo interior están los peces a ser identificados y/o seguidos. Esta urna está completamente sumergida en el agua, en proximidad al fondo, que es de color blanco. La cámara es una Basler A622f monocroma, con resolución máxima 1280x1024 pixeles y conexión al ordenador mediante puerto FireWire (IEEE 1394) . La cámara tiene un objetivo Pentax de 16 mm de focal. Entre el extremo del objetivo y la superficie superior del recipiente de metacrilato hay 65 cm. De esta manera, el recipiente de metacrilato que contiene los peces ocupa una superficie de 950 x 950 pixeles en el sensor de la cámara. Se fijó un tiempo de exposición de 4 ms, y una ganancia de 100. En estas condiciones, y con una profundidad de gris de 8 bits, la cámara adquiere 31 fotogramas por segundo. La iluminación se consigue por medio de seis focos halógenos de 500 W dirigidos al techo de color blanco. Para proyectar una sombra uniforme sobre el recipiente de identificación, se coloca una placa cuadrada de cartón de aproximadamente 75 x 75 cm en torno al objetivo de la cámara.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de pequeños mamíferos, como por ejemplo de ratones negros, blancos y agouti, consiste en una urna de metacrilato transparente en cuyo interior están los animales a ser identificados o seguidos. El suelo de esta urna puede estar cubierto de algún material que aumente el comfort de los animales, como serrín o arena. La urna puede estar sobre una superficie blanca o negra, según convenga para aumentar el contraste entre los animales y el fondo. La cámara y sistema de iluminación son iguales a los utilizados en el ejemplo anterior.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de insectos, como por ejemplo de, moscas {Drosophíla melanogaster) y hormigas consiste en una pequeña urna de metacrilato transparente, cuyas paredes y techo están recubiertas de fluon. La mayoría de los insectos resbalan sobre el fluon, por lo que el recubrimiento evita que se suban a las paredes y al techo. Se utiliza la misma cámara que en los ejemplos anteriores,
3 pero en esta ocasión situada bajo 1 dispositivo, y a una distancia de unos 20 cm del mismo. Todo el dispositivo está rodeado por una sábana blanca, y la iluminación se consigue con 5 focos halógenos de 500W en el exterior de la sábana.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de larvas de peces, como por ejemplo de pez cebra {Danío rerio) , consiste en un pequeño plato de metacrilato transparente lleno de agua, en el que nadan las larvas. El plato está apoyado en una lámina de metacrilato transparente, y el fondo (blanco o negro según convenga) se encuentra a unos pocos centímetros de la lámina, para evitar sombras. La cámara es la misma que en los ejemplos anteriores, pero está suspendida sobre el plato de metacrilato, y a unos 20 cm del mismo. La iluminación es igual que en el ejemplo anterior.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de larvas de mosca, como por ejemplo de Drosophila melanogaster, consiste en una lámina de metacrilato transparente cubierta por una delgada capa de agarosa que facilita la movilidad de las larvas. La lámina de metacrilato está apoyada sobre una superficie blanca o negra, según convenga para aumentar el contraste entre las larvas y el fondo. La cámara es la misma que en los ejemplos anteriores, pero está suspendida sobre el plato de metacrilato, y a unos 20 cm del mismo. La iluminación es igual que en el ejemplo anterior.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de objetos, consiste en una lámina de metacrilato suspendida a cierta distancia de una superficie blanca o negra, según convenga para aumentar el contraste entre los objetos y el fondo. La cámara es la misma que en los ejemplos anteriores, suspendida sobre la lámina de metacrilato y a unos 50 cm de la misma. La iluminación es igual que en el ejemplo anterior.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de personas, consiste en la misma cámara utilizada en los ejemplos anteriores, situada en
horizontal y apuntando a una pared de color uniforme. La iluminación viene dada por lámparas fluorescentes convencionales en el techo de la habitación.
Otro dispositivo experimental, como ejemplo de realización particular, para la captura de imágenes de personas, consiste en la misma cámara utilizada en los ejemplos anteriores, situada en lo alto de un edificio de tres plantas y apuntando hacia un patio en el que se encuentran las personas a reconocer y/o seguir. La iluminación es natural .
Otro ejemplo de realización particular es la utilización del método para reconocimiento de caracteres. Cada carácter se segmenta por umbralización, se re-escala atendiendo al histograma de distancias, y se compara con la base de datos, creada a partir de varios textos diferentes .
Otro ejemplo de realización particular es la utilización del método para reconocimiento y seguimiento de objetos en imágenes que se obtienen de satélite. Los objetos son segmentados mediante un algoritmo apropiado, y se emplea el método aquí descrito para reconocer el mismo objeto (mismo edificio, mismo coche, etc.) en dos imágenes distintas, o para reconocer un tipo determinado de objeto en una imagen.
Otro ejemplo de realización particular es la utilización del método para el reconocimiento individualizado de reptiles, a partir de una fotografía de su cabeza. En este ejemplo de realización, el reptil es inmovilizado manualmente, y se realiza una fotografía de su cabeza desde la parte superior con una cámara de fotos convencional. La distancia entre la cabeza del animal y la cámara puede variar ligeramente entre unas fotografías y otras, por lo que las distancias entre pixeles se re-escalan de la manera descrita en esta patente. Una vez re-escaladas, se emplea el método aquí descrito para identificar al individuo a partir de fotografías anteriores guardadas en la base de datos .
Claims
1. - Método de transformación de imágenes en nubes de puntos de espacios multidimensionales , en el que se dispone de al menos una imagen a transformar capturada mediante al menos un dispositivo de captación de imágenes, caracterizado porque comprende las siguientes fases :
i) seleccionar combinaciones de al menos dos pixeles de la al menos una imagen;
ii) calcular, para cada una de las combinaciones de los al menos dos pixeles seleccionadas en la fase i), una distancia entre cada par de pixeles y una intensidad de cada uno de los pixeles;
iii) generar al menos una nube de puntos en al menos un espacio multidimensional, mediante una asignación, a cada combinación de al menos dos pixeles, de un punto en al menos uno de los espacios multidimensionales cuyas coordenadas corresponden con unos valores seleccionados entre las distancias, intensidades y una combinación de ellas calculadas en la fase ii) .
2. - Método, según la reivindicación 1, caracterizado porque las combinaciones de al menos dos pixeles de la fase i) están seleccionadas entre:
• todas las combinaciones posibles entre los al menos dos pixeles de la imagen;
• todas las combinaciones posibles entre los al menos dos pixeles de la imagen que cumplan que las distancias entre los al menos dos pixeles sean inferiores a un umbral;
• un pixel central y todas las combinaciones posibles con al menos otro pixel que se encuentre a una distancia menor a un umbral, generándose una nube de puntos en cada espacio multidimensional para cada uno de los pixeles de la imagen, calculándose asi una signatura de cada pixel; y,
• todas las combinaciones posibles entre al menos dos pixeles de la imagen que cumplan que su distancia a un pixel central es menor que un cierto umbral, generándose una nube de puntos en cada espacio multidimensional para cada uno de los pixeles de la imagen, calculándose asi una signatura de cada pixel.
3.- Método, según la reivindicación 1 o 2, caracterizado porque somete la al menos una imagen a un pre-procesado para mejorar la calidad de la imagen.
4.- Método, según una cualquiera de las reivindicaciones 1 a 3, caracterizado porque, para imágenes cuyos pixeles contienen más de una longitud de onda, la fase ii) comprende calcular una intensidad para cada longitud de onda del pixel .
5.- Método, según una cualquiera de las reivindicaciones 1 a 3, caracterizado porque, para imágenes cuyos pixeles contienen más de una longitud de onda, la fase ii) comprende asignar un índice unidimensional a cada combinación posible de longitudes de onda de un mismo pixel .
6.- Método, según una cualquiera de las reivindicaciones anteriores, caracterizado porque comprende multiplicar todas las distancias entre pixeles calculadas en la fase ii) por un factor de escala.
7.- Método, según la reivindicación 6, caracterizado porque el factor de escala maximiza la similitud entre la nube de puntos de al menos uno de los espacios multidimensionales de la al menos una imagen, y las nubes de puntos correspondientes de al menos otra imagen.
8.- Método, según una cualquiera de las reivindicaciones anteriores, caracterizado porque cuando se dispone de más de una imagen a transformar, la generación de nubes de puntos en espacios multidimensionales se lleva a cabo mediante técnicas seleccionadas entre :
- generar nubes de puntos en espacios multidimensionales diferentes e independientes para cada imagen;
- generar nubes de puntos en un mismo espacio multidimensional para varias imágenes; y,
- una combinación de las técnicas anteriores .
9.- Método, según la reivindicación 8, caracterizado porque cuando se generan nubes de puntos en un mismo espacio multidimensional para
varias imágenes, la generación de nubes de puntos se lleva a cabo mediante técnicas seleccionadas entre:
- generar una nube de puntos formada por la unión de las nubes de puntos correspondientes a cada imagen;
- generar una nube de puntos formada por la unión de las nubes de puntos correspondientes a cada imagen donde se ha añadido una dimensión adicional al espacio multidimensional con identificadores de cada imagen para que las nubes de puntos procedentes de cada imagen no se superpongan;
- generar una nube de puntos formada por la unión de las nubes de puntos correspondientes a cada imagen, donde se ha hecho una transformación previa diferente a los puntos procedentes de cada imagen obteniendo una nube de puntos no invariante ante un intercambio de dos imágenes; y,
- una combinación de las técnicas anteriores .
10.- Método, según una cualquiera de las reivindicaciones anteriores, caracterizado porque comprende realizar operaciones matemáticas convencionales entre las distancias y/o intensidades calculadas en la fase ii) , generándose a partir de cada uno de los espacios multidimensionales originales al menos un espacio de igual o distinta dimensionalidad que el espacio original.
11.- Método, según una cualquiera de las reivindicaciones anteriores, caracterizado porque comprende calcular un histograma de cada uno de los espacios multidimensionales .
12.- Método de identificación de objetos e individuos, caracterizado porque comprende las siguientes etapas:
• capturar al menos una imagen de referencia de al menos un objeto o individuo mediante un dispositivo de captación de imágenes;
• tratar la al menos una primera de referencia mediante el método descrito en una cualquiera de las reivindicaciones 1 a 11, obteniendo al menos una nube de puntos de referencia de la al menos una primera imagen;
• almacenar la al menos una nube de puntos de referencia en una base de datos asociándola al objeto o individuo del que proviene ;
capturar al menos una imagen de estudio de al menos un objeto o individuo mediante un dispositivo de captación de imágenes;
tratar la al menos una imagen de estudio mediante el método descrito en una cualquiera de las reivindicaciones 1 a 11, obteniendo al menos una nube de puntos de estudio de la al menos una segunda imagen;
comparar la al menos una nube de puntos de estudio con la al menos una nube de puntos de referencia almacenada en la base de datos; y,
identificar el objeto o individuo en base a la comparación de las nubes de puntos de estudio y referencia.
13. - Método, según la reivindicación 12, caracterizado porque tras las fases de captura de la al menos una imagen de referencia y la al menos una imagen de estudio se lleva acabo una fase de segmentación de la al menos una imagen de referencia y de la al menos una imagen de estudio identificando unos pixeles que se corresponden al objeto o individuo o parte de del mismo .
14. - Método, según la reivindicación 12, caracterizado porque tras la captura de la al menos una imagen de referencia de al menos un objeto o individuo, comprende las siguientes etapas:
• calcular una signatura de referencia de al menos un pixel de la al menos una imagen de referencia;
• almacenar la signatura de referencia en una base de datos asociándola al objeto o individuo del que proviene;
y tras la captura de la al menos una imagen de estudio de al menos un objeto o individuo, comprende las siguientes etapas:
• calcular una signatura de estudio de al menos un pixel de la al menos una imagen de estudio;
• comparar la signatura de estudio con las signaturas de referencia; y,
• identificar el objeto o individuo de la al menos una imagen de estudio en base a la comparación de las signaturas de estudio y referencia .
15.- Método, según la reivindicación 14, caracterizado porque la identificación del objeto o individuo de la al menos una imagen de estudio se realiza de un modo seleccionado entre:
- escogiendo un pixel de la al menos una imagen de referencia como pixel de referencia y buscando los pixeles de la al menos una imagen de estudio cuya signatura es más parecida a la de cada uno de los pixeles de referencia de la al menos una imagen de referencia; y,
- seleccionando un pixel de la al menos una imagen de estudio como pixel de referencia y buscando los pixeles de la al menos una imagen de referencia cuya signatura es más parecida a la de cada uno de los pixeles de referencia de la al menos una imagen de estudio.
16.- Método, según la reivindicación 15, caracterizado porque para cada nueva imagen adquirida se escogen como pixeles de referencia aquellos cuya signatura sea más parecida a las de los pixeles de referencia de imágenes adquiridas previamente .
17.- Método, según una cualquiera de las reivindicaciones 15 o 16, caracterizado porque los pixeles de referencia se escogen mediante las siguientes fases:
- adquirir varias imágenes de cada uno de los objetos o individuos que van a formar parte de la base de datos;
calcular la signatura de al menos uno de los pixeles de cada imagen;
- buscar un pixel de cada imagen cuya signatura se parezca más a la de un pixel inicial de una de las imágenes;
calcular una variabilidad de las signaturas de los pixeles escogidos entre imágenes del mismo objeto o individuo, y entre imágenes de distintos objetos o individuos;
repetir las dos fases anteriores para varios pixeles iniciales distintos; y,
- escoger como pixeles de referencia aquéllos cuyas signaturas tengan mayor variabilidad entre objetos o individuos, con respecto a la variabilidad dentro de cada objeto o individuo.
18.- Método, según una cualquiera de las reivindicaciones 12 a 17, caracterizado porque la al menos una imagen de referencia y la al menos una imagen de estudio se extraen de un mismo video.
19. - Método, según una cualquiera de las reivindicaciones 12 a 18, caracterizado porque la fase de comparación de la al menos una nube de puntos de estudio con la al menos una nube de puntos de referencia se lleva a cabo mediante técnicas seleccionadas entre:
- calcular una distancia entre un punto de la al menos una nube de puntos de referencia y el punto más cercano de la al menos una nube de puntos de estudio;
- calcular un primer histograma de la al menos una nube de puntos de referencia y un segundo histograma de la al menos una nube de puntos de estudio y comparar ambos histogramas;
- calcular un primer histograma de la al menos una nube de puntos de referencia y un segundo histograma de la al menos una nube de puntos de estudio y comparar ambos histogramas previamente normalizados; y,
- calcular un primer histograma de la al menos una nube de puntos de referencia y un segundo histograma de la al menos una nube de puntos de estudio y comparar ambos histogramas previamente suavizados mediante filtros.
20. - Método, según una cualquiera de las reivindicaciones 12 a 19, caracterizado porque cuando hay más de una imagen de referencia, para cada imagen de estudio la comparación con las imágenes de referencia se realiza mediante una técnica seleccionada entre:
- calcular las diferencias entre los espacios multidimensionales de cada imagen de referencia de cada objeto o individuo y los de la imagen de estudio, y calcular un promedio para cada objeto o individuo ;
calcular un espacio promedio de los espacios multidimensionales para todas las imágenes de referencia de cada objeto o individuo, y calcular la diferencia entre el espacio promedio y el espacio de la imagen de estudio; y,
- calcular la diferencia entre el espacio multidimensional de cada imagen de referencia de cada objeto o individuo y la imagen de estudio y escoger, para cada objeto, al menos una de las menores diferencias con la imagen de estudio.
21.- Método, según una cualquiera de las reivindicaciones 12 a 20, caracterizado porque la fase de identificación de la imagen de estudio se realiza mediante una técnica seleccionada entre:
- escoger el objeto o individuo de la base de datos cuyas imágenes de referencia asociadas sean más parecidas a la imagen de estudio;
- escoger el objeto o individuo de la base de datos cuyas diferencias respecto a la imagen de estudio estén por debajo de un umbral; y,
- calcular la probabilidad de que la imagen de estudio se corresponda con cada uno de los objetos o individuos de la base de datos, en base a un conjunto de parámetros seleccionado entre las diferencias entre la imagen de estudio y las imágenes de referencias, las diferencias entre las imágenes de referencia, y las diferencias entre otras imágenes de objetos o individuos similares.
22.- Método, según una cualquiera de las reivindicaciones 12 a 21, caracterizado porque cuando se dispone más de una imagen del objeto o individuo, la fase de identificación se realiza mediante una técnica seleccionada entre:
- escoger el objeto o individuo de la base de datos más parecido al individuo de estudio, en función de las diferencias entre las imágenes de estudio y las imágenes de referencia; y,
- calcular la probabilidad de que el objeto o individuo de estudio corresponda con cada uno de los almacenados en la base de datos, acumulando una evidencia suministrada por todas las imágenes de estudio .
23.- Método, según la reivindicación 22, en la que la probabilidad se calcula suponiendo que las imágenes son independientes .
24.- Método, según la reivindicación 22, en la que la probabilidad se calcula teniendo en cuenta una redundancia de información entre imágenes similares.
25.- Método, según una cualquiera de las reivindicaciones 12 a 24, caracterizado porque cuando se dispone de imágenes de estudio de varios objetos o individuos distintos, y una serie de relaciones lógicas entre ellos que describan la posibilidad o imposibilidad de que dos grupos de imágenes de estudio pertenezcan al mismo o a
distintos individuos, en vez de calcular la probabilidad de identificación de cada individuo de estudio, se calcula la probabilidad de cada conjunto de identificaciones simultáneas de varios individuos de estudio, de forma que la identificación de un objeto o individuo suministra información acerca de la identificación de otros individuos .
26.- Método, según la reivindicación 25, caracterizado porque se calcula la probabilidad de todas las posibles asignaciones entre elementos de la base de datos e individuos problema, teniendo en cuenta las probabilidades de identificación de cada individuo problema en base a sus imágenes, y las relaciones lógicas entre individuos problema.
27.- Método, según la reivindicación 25, caracterizado porque se calcula la probabilidad de asignación de cada individuo problema por separado, pero teniendo en cuenta las relaciones lógicas con otros individuos problema, además de las probabilidades de identificación en base a sus imágenes .
28.- Método, según la reivindicación 27, caracterizado porque la asignación se realiza escogiendo el individuo con mejor probabilidad de asignación, posteriormente actualizando las probabilidades del resto de los individuos teniendo en cuenta que el individuo asignado es inamovible, y repitiendo el proceso hasta que todos los individuos están asignados .
29.- Método de segmentación de imágenes caracterizado porque comprende las siguientes etapas:
• calcular la signatura de cada pixel de la imagen tal y como se describe en la reivindicación 2; y,
• seleccionar los pixeles de la imagen problema cuya signatura sea más parecida a las de otras imágenes del objeto.
30.- Método de localización de puntos de interés en una imagen, caracterizado porque comprende las siguientes etapas:
• calcular la signatura de cada pixel de la imagen tal y como se describe en la reivindicación 12; y,
• seleccionar el pixel de la imagen problema cuya signatura más se parezca a la signatura del pixel correspondiente al punto de interés de otras imágenes .
31.- Uso del método descrito en las reivindicaciones 12 a 30 para el reconocimiento, clasificación y seguimiento de objetos e individuos.
32.- Uso del método descrito en las reivindicaciones 12 a 30, combinado con técnicas de seguimiento convencional.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201231284A ES2447640B1 (es) | 2012-08-08 | 2012-08-08 | Metodo de transformacion de imagenes en nubes de puntos de espacios multidimensionales, metodo de identificacion de objetos e individuos, metodo de segmentacion, metodo de localizacion de puntos de interes y usos |
| ESP201231284 | 2012-08-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2014023870A1 true WO2014023870A1 (es) | 2014-02-13 |
Family
ID=50067454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/ES2013/070585 Ceased WO2014023870A1 (es) | 2012-08-08 | 2013-08-07 | Método de transformación de imágenes en nubes de puntos de espacios multidimensionales, método de identificación de objetos e individuos, método de segmentación, método de localización de puntos de interés y usos |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2447640B1 (es) |
| WO (1) | WO2014023870A1 (es) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2684690B1 (es) * | 2017-03-30 | 2019-07-10 | Biyectiva S L | Método para la captura de imágenes desde un dispositivo portable |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5475803A (en) * | 1992-07-10 | 1995-12-12 | Lsi Logic Corporation | Method for 2-D affine transformation of images |
| US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
| WO2003069558A1 (en) * | 2002-01-22 | 2003-08-21 | National University Of Singapore | Method for producing cloud free, and cloud-shadow free, images |
| JP2008304958A (ja) * | 2007-06-05 | 2008-12-18 | Nok Corp | 画像処理によるワーク欠陥検査方法 |
-
2012
- 2012-08-08 ES ES201231284A patent/ES2447640B1/es not_active Withdrawn - After Issue
-
2013
- 2013-08-07 WO PCT/ES2013/070585 patent/WO2014023870A1/es not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5475803A (en) * | 1992-07-10 | 1995-12-12 | Lsi Logic Corporation | Method for 2-D affine transformation of images |
| US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
| WO2003069558A1 (en) * | 2002-01-22 | 2003-08-21 | National University Of Singapore | Method for producing cloud free, and cloud-shadow free, images |
| JP2008304958A (ja) * | 2007-06-05 | 2008-12-18 | Nok Corp | 画像処理によるワーク欠陥検査方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2447640A1 (es) | 2014-03-12 |
| ES2447640B1 (es) | 2015-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Simonelli et al. | Disentangling monocular 3d object detection | |
| Zuffi et al. | Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images" In the Wild" | |
| Fisher et al. | Dictionary of computer vision and image processing | |
| Xiao et al. | Multiple view semantic segmentation for street view images | |
| Wang et al. | GeoAI in terrain analysis: Enabling multi-source deep learning and data fusion for natural feature detection | |
| US10353271B2 (en) | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF | |
| EP3499414B1 (en) | Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification | |
| WO2016054802A1 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
| Schilling et al. | Detection of vehicles in multisensor data via multibranch convolutional neural networks | |
| CN107301378A (zh) | 图像中多分类器集成的行人检测方法和系统 | |
| US9153203B2 (en) | Temporally consistent superpixels | |
| Hasinoff | Saturation (imaging) | |
| JP6501257B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US9087381B2 (en) | Method and apparatus for building surface representations of 3D objects from stereo images | |
| Zampieri et al. | Coarse to fine non-rigid registration: a chain of scale-specific neural networks for multimodal image alignment with application to remote sensing | |
| Schuegraf et al. | Building section instance segmentation with combined classical and deep learning methods | |
| Tu et al. | Automatic recognition of civil infrastructure objects in mobile mapping imagery using a markov random field model | |
| ES2447640A1 (es) | Método de transformación de imágenes en nubes de puntos de espacios multidimensionales, método de identificación de objetos e individuos, método de segmentación, método de localización de puntos de interés y usos | |
| KR101601564B1 (ko) | 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치 | |
| Zhong et al. | Improved U-net for zebra-crossing image segmentation | |
| Chatterjee et al. | Detection of dense built-up area in low-resolution satellite images using deep learning and DBSCAN approaches | |
| Shotton et al. | Semantic image segmentation: traditional approach | |
| Hein | Traffic Light Detection with Convolutional Neural Networks and 2D Camera Data | |
| Elanattil et al. | Synthetic data for non-rigid 3D reconstruction using a moving RGB-D camera | |
| Ibragimov et al. | Statistical shape representation with landmark clustering by solving the assignment problem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13827087 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13827087 Country of ref document: EP Kind code of ref document: A1 |






