WO2008065113A1 - Procede de designation d'un objet dans une image - Google Patents

Procede de designation d'un objet dans une image Download PDF

Info

Publication number
WO2008065113A1
WO2008065113A1 PCT/EP2007/062889 EP2007062889W WO2008065113A1 WO 2008065113 A1 WO2008065113 A1 WO 2008065113A1 EP 2007062889 W EP2007062889 W EP 2007062889W WO 2008065113 A1 WO2008065113 A1 WO 2008065113A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
regions
function
merging
Prior art date
Application number
PCT/EP2007/062889
Other languages
English (en)
Inventor
Anne-Marie Tousch
Christophe Leroux
Patrick Hede
Original Assignee
Commissariat A L'energie Atomique
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique filed Critical Commissariat A L'energie Atomique
Priority to EP07847414A priority Critical patent/EP2095327A1/fr
Priority to US12/516,778 priority patent/US20100066761A1/en
Priority to JP2009537659A priority patent/JP2010511215A/ja
Priority to CA002671037A priority patent/CA2671037A1/fr
Publication of WO2008065113A1 publication Critical patent/WO2008065113A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user

Definitions

  • the present invention relates to a method of naming an object in an image.
  • the invention applies in particular for image processing in order to effect the graphic designation of an object by a simple operation for a user.
  • An operator may, in particular, wish to have an automatic delimiting function of an object, previously designated by a simple input operation such as for example a single mouse click, on a video image without having to identify an entire image. pixel area belonging to the object, or to draw a contour line or a box enclosing the object.
  • a simple input operation such as for example a single mouse click
  • Such a feature is particularly interesting for people with disabilities who can only perform one click or an equivalent object designation and can not perform additional operations such as moving a mouse to frame an object to select.
  • This feature is also useful when an image has a large amount of objects to select.
  • the operator thus wishes to designate an object on a video image for example by a single click and automatically obtain the visualization of the designated object, for example by a bounding box or a color spot.
  • a technical problem is the development of an automatic processing for delimiting the image of an object in an image from the user's selection of a point in the image of the object.
  • a first category of image processing is based on the automatic detection of the contours of an object. However, this method induces errors due to significant brightness variations in the images, shadow effects or texture variations, erroneously interpreted by this method as object outlines.
  • An object of the invention is notably to allow the designation of an object, by a single interaction on an image, differentiating it from the rest of the image.
  • the subject of the invention is a method of designating an object in an image, the method comprising:
  • the melting step comprises for example the following steps:
  • the merging step further comprising the following iterative steps:
  • the calculation of the membership function of the region to the object is done for example by a fuzzy operation ⁇ 0 combining several attributes characterizing the dissimilarity of the connected region R j to the merged region Rj.
  • attributes can be used, including for example the following attributes: - the distance from the region R j to the designation point P 1 ;
  • the density of the region R j defined as the ratio of its area on the surface of its bounding box
  • the compactness of the region R j defined as the ratio of the square of its perimeter to its surface; the symmetry along an axis of the image, a region symmetrical to a region belonging to the object being capable of belonging to this object.
  • the method comprises for example a recognition step of the object, said method using a criterion for comparing the object to the elements of a dictionary.
  • the point Pi is for example designated by means of a mouse type input interface.
  • FIG. 2 an example of a desired segmentation result
  • FIG. 3 an illustration of the possible steps of a method according to the invention
  • FIGS. 4a and 4b an illustration of two possible segmentations of an image
  • FIG. 5 an illustration of a connectivity graph used in a method according to the invention.
  • FIG. 7 an illustration of the possible steps of an iterative process applied in a step of melting the regions of a method according to the invention.
  • FIGS. 1a, 1b, 1c illustrate, by way of example, the result of a global segmentation method of an image according to the prior art, FIG. 1a presenting the original image, FIG. 1 b a target segmentation and Figure 1 c the segmentation finally obtained.
  • Figure 1a illustrates an original image A.
  • the purpose of a conventional automatic global segmentation is to obtain an image H (A) illustrated in Figure 1b.
  • H (A) we seek to achieve segmentation in semantic regions 1 of the entire image, in which each foreground object 2 or the background 3 is individually isolated.
  • FIG. 1c illustrates the segmented figure S (A) finally obtained where over-segmentation is observed relative to the ideal image H (A), sub-segments 4 being created inside the objects.
  • the sub-segments 4, obtained by automatic segmentation, form elementary regions in opposition to the semantic regions of FIG. 1b obtained by human segmentation.
  • regions of very different colors, neighboring, forming part of the object and the bottom can be grouped in the same segment.
  • FIG. 2 is an illustration of an example of a desired result that can be obtained by a method according to the invention.
  • An object 21 located in a part of the image is indicated by an operator, for example by a simple mouse click, and the area of the image corresponding to the object thus designated is differentiated from all the rest of the image. .
  • a cross 22 is an example of a designation point made by an operator, for example by means of a mouse click.
  • the desired segmentation D (A) is a binary segmentation, the region corresponding to the designated object 21 being separated from the remainder of the image or background.
  • FIG. 3 illustrates possible steps for implementing the method according to the invention.
  • the method includes a preliminary step of naming a point in the object on the image.
  • an operator designates a point forming part of the object he wishes to designate, by means of an input interface, for example a mouse, a "trackball" or any other device adapted to the profile of the user.
  • the object 21 is designated by a point represented by a cross 22.
  • the image may for example undergo an additional step, optional low level filtering. In this step, the image is filtered to reduce its size, for example on a reduced number of colors.
  • the method realizes a segmentation of the image A into regions.
  • the image on which the designation is made is divided into regions by means of an image segmentation method, for example by the use of a watershed or anisotropic diffusion technique.
  • the method comprises a second step 32 of constructing a graph of connectivity of the regions.
  • a graph of connectivity of the regions is determined from this segmentation.
  • a third step 33 the method regroups the regions to better cover the designated object.
  • the position of the click on the image is for example used as a reference for aggregating regions supposed to belong to the object.
  • the regions to be fused are determined by structural criteria, dependent or not on the position of the click. These criteria may be inclusive or exclusive.
  • FIGS. 4a and 4b illustrate two examples of segmentation of the image executed during the first step 31 mentioned above.
  • This first step is the segmentation of the raw or initial image whose purpose is the cutting of image in homogeneous regions.
  • the goal of segmentation is to have regions that best match the objects in the image, and if possible have regular boundaries between them.
  • This segmentation provides a number of elements in smaller number than the number of pixels of the initial image. At this stage, it is not possible to know if different zones belong to the same object.
  • FIG. 4a illustrates a first segmentation method obtained by anisotropic diffusion
  • the segmented figure 41 is obtained by a method based on the contours.
  • the image 41 is also for example obtained by anisotropic diffusion. Anisotropic scattering changes the entire image to smooth homogeneous regions and increase contrast at the contours.
  • Figure 4b shows a segmented figure 42 obtained by the so-called watershed method.
  • the watershed is the characteristic model of image segmentation by the methods of mathematical morphology.
  • the basic principle is to describe the images as a topographic surface.
  • G. Matheron and J. Serra The birth of Mathematical Morphology", June 1998 describes this method.
  • several methods of segmentation in regions can be used. In particular, the following criteria can be used:
  • segmentation generates regions closer to objects, especially closer to their structure. Segmentation allows to have regions corresponding exactly, or almost, to the different parts of an object.
  • a region can be characterized by its medium color, center of gravity, bounding box and surface.
  • the segmentation of the image into homogeneous regions is a function of these parameters. Other parameters may possibly be taken into account. In the example of a green plastic mineral water bottle, the segmentation should, if possible, make it possible, in particular, to obtain regions corresponding to the stopper, the label and the green plastic, respectively.
  • FIG. 5 is an illustration of a connectivity graph obtained at the end of the second step 32 mentioned above.
  • a connectivity graph is a classic structure used in image segmentation for region merging. More particularly, FIG. 5 illustrates by way of example a connectivity graph 51 obtained from the segmented image 41 of FIG. 4a.
  • the input image is represented by all of its pixels ⁇ Pi ⁇ .
  • An edge is actually a link between region.
  • Each edge is characterized by a measure of dissimilarity ⁇ j, j which corresponds to a merge criterion between regions.
  • lines 52 indicate the existence of connectivity links between regions 53, 54 two by two.
  • each node 55 represents a region and each link 52 is weighted by a dissimilarity measure ⁇ j j .
  • FIG. 6 illustrates a connection link between two regions R 1, R i.
  • the link 52 is characterized by a measure of dissimilarity ⁇ -i , ⁇ .
  • a point P1, symbolized by the cross 22, is designated in the region R 1 inside an object 21 in the image.
  • the process looks for those that can be fused with it, using the connectivity graph, and more particularly using the dissimilarity measurements. characterizing the links between regions.
  • a region Rj is fused with the region R 1 as a function of the value of the dissimilarity measure ⁇ -i , ⁇ .
  • This measure of dissimilarity may notably be a function of several criteria or attributes, such as distance from the click point, background membership, compactness, symmetrical appearance, regularity of the envelope, texture, or even colors.
  • Figure 7 illustrates the steps implemented in step 33 of grouping, or merging, regions. In this step, one seeks to obtain an aggregate of regions to determine a window surrounding the object.
  • Figure 7 illustrates a region merging process based on a new dissimilarity measure. The merge starts from a region of origin R 1 designated by the click. It is assumed that the region R 1 belongs to the designated object. The process illustrated in FIG. 7 makes it possible to enlarge the region R 1 , by successive fusions with other regions, to the edges of the object in the image.
  • a region R 1 is for example designated by a click for example. Regions Rj are successively merged.
  • the iterative flow of steps 71, 72, 73 of the process makes it possible to merge a region at each iteration.
  • the process seeks to merge a neighboring region R j with a region Rj already merged with the aggregate initialized around the region R 1 .
  • the process identifies the neighboring region R j closest to the region R 1 among the neighboring regions.
  • a neighboring region is defined as a region having a connection 52 with the region Rj.
  • the closest neighbor region of the region Rj is the region R j whose link with the region Rj has the lowest dissimilarity measure ⁇ min .
  • the process looks for whether this neighboring region R j belongs to the object. For this purpose, the process executes for example a Fuzzy measure of belonging to the object based on the use of different criteria characterizing the measure of dissimilarity. These criteria are for example, as indicated above, the distance from the click point, the background membership, the compactness or density, the symmetrical appearance, the regularity of the envelope, the texture or the colors.
  • a third step 73 the region R j is merged with the region Rj if it belongs to the object, that is to say if the membership measure is less than a threshold.
  • the connectivity graph is updated accordingly, in particular the connectivity link between the regions R j and Rj is removed following the merger of these two regions. The process then resumes at its first step 71.
  • the membership of a region R j to an object 21 is determined using a function using fuzzy operations on the measurements of the various criteria among those mentioned above. For example, four criteria are described later. These criteria are combined by fuzzy logic operations to obtain an overall measurement that will be compared to the threshold of the second step 72 of the merge process.
  • a (Ri) the surface of a region
  • p (Rj) the perimeter of the region
  • BB (Ri) la surface of its bounding box which can be for example a rectangle.
  • the density measurement can then be defined by the function: ⁇ - ⁇ BB (R ⁇ 1 ) - and the measure of compactness can be defined by the function:
  • ⁇ o ( ⁇ B ) A ( ⁇ L 2 v ( ⁇ L A ⁇ D ) v ( ⁇ L A ⁇ s )) (1)
  • the criterion ⁇ 0 is a criterion of belonging to the object comprising the region R 1 of the initial click.
  • ⁇ o is a function of the region Rj which characterizes its link with the neighboring region R k considered.
  • ⁇ o (Ri) forms a measure of dissimilarity ⁇ min between the region Rj and the region R k . The more ⁇ o (Ri) is large, the lower the dissimilarity.
  • the comparison of the second step 72 then amounts to comparing ⁇ o (Ri) with a threshold, the merger occurring if ⁇ o (R ⁇ ) is greater than this threshold.
  • An additional criterion for belonging to the object may be the detection of symmetries in the region resulting from the merging of two elementary regions R 1, R j .
  • the process then assumes that the object or objects searched for have horizontal and vertical axes of symmetry.
  • the objects to be designated are mainly manufactured objects and in fact present for the most part a symmetry of vertical axis.
  • a method for extracting axes of symmetry, which is based on the gradient of the image, is described in the document by D. Reisfeld, H. Wolfson & Y. Yeshurun: "The Discreet Symmetry Transform in Computer Vision” Int. J. of Computer Vision, Special Issue on Qualitative Vision, 14: 1 19-130, 1995.
  • the process selects a pixel and searches on the same line, respectively the same column, a pixel that has a similarity in the image of the gradients i.e. the image resulting from the edge detection step during the segmentation phase.
  • the process looks for symmetries on a line and then on a column.
  • the points having a similarity are then stored in an accumulation table in order to determine the center of symmetry of the object, the center of symmetry being the equidistant point of all these accumulated points.
  • One method for detecting central points of symmetry is described in particular in G. Loy & A.
  • the method according to the invention comprises an additional step of recognition. It is then possible to complete the location and seizure of the object by its recognition.
  • the method according to the invention introduces a criterion making it possible to compare the object with the elements of a dictionary. This includes recognizing the object included in the final region. On the basis of images gathering as many objects of everyday life as possible, an index is defined and makes it possible to discriminate the different objects represented by the images of the base. After the fusion of regions, the method according to the invention makes it possible to obtain an image representing more or less an object. This image is presented to an indexer that calculates the distance to each of the objects in the database and returns the list of sorted objects in order of increasing distance, for example.
  • this recognition can make it possible in particular to enrich the final region corresponding to the object by merging new regions or question the merger to remove some regions or pixels of the recognized area. For example if the shape of a bottle has been recognized, some regions, forming outgrowth and which do not correspond to the shape of a bottle, can be removed. In the same way, certain regions can be added to complete the recognized form.
  • the recognized forms correspond to semantic regions that correspond to a more natural segmentation for the human being, allowing the discrimination of different prehensile objects.
  • the previous elementary regions Rj are obtained by automatic image segmentation techniques.
  • fuzzy measures used make it possible to measure the degree of belonging of an elementary region to a semantic region.
  • the use of fuzzy measures advantageously lends itself to this uncertainty about the belonging of a region to the object, the latter corresponding to a semantic region.
  • fuzzy region segmentation can be used where a pixel belongs to a region in a certain degree.
  • a pixel belongs to only one region at a time in a binary manner. These are the elementary regions that fuzzily belong to the semantic regions.
  • the method according to the invention is less sensitive to noise. Another advantage is that it gives the merger a clear formalism, to obtain a membership criterion that can be easily enriched by adding additional criteria.
  • the invention allows many applications.
  • it triggers the automatic entry of an object by means of a manipulator arm for, for example:
  • This step may possibly be chained to a subsequent step of recognizing or identifying the object, for example by indexing images in an image library.
  • the object designation method according to the invention can also advantageously be linked with an independent input method.
  • automatic object for example by means of a robot arm.
  • the object is captured by a camera, for example integrated in the robot.
  • the operator for example a handicapped person, designates the object on an image transmitted by the camera by means of a click or any other elementary means.
  • the robot arm subsequently manipulates the designated object according to predefined instructions for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

La présente invention concerne un procédé de désignation d'un objet dans une image. Le procédé comporte : - une étape de désignation d'un point P<SUB>1</SUB> à l'intérieur de l'objet dans l'image; - une étape (31) de segmentation de l'image en régions élémentaires; - une étape d'identification d'une région d'origine R<SUB>1</SUB> à laquelle appartient le point P<SUB>1</SUB>; - une étape (32) de construction d'un graphe de connexité entre les régions; - une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R<SUB>1</SUB>, en combinant différents critères d'appartenance; - une étape (33) de fusion de la région d'origine R<SUB>1</SUB> avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné; - les étapes de calcul de fonctions d'appartenance des régions connexes et de fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée. L'invention s'applique notamment pour le traitement d'image en vue d'effectuer la désignation graphique d'un objet par une opération simple pour un utilisateur.

Description

PROCEDE DE DESIGNATION D'UN OBJET DANS UNE IMAGE
La présente invention concerne un procédé de désignation d'un objet dans une image. L'invention s'applique notamment pour le traitement d'image en vue d'effectuer la désignation graphique d'un objet par une opération simple pour un utilisateur.
Un opérateur peut notamment souhaiter disposer d'une fonction automatique de délimitation d'un objet, désigné au préalable par une opération de saisie simple telle que par exemple un seul clic souris, sur une image vidéo sans avoir besoin de repérer lui-même toute une zone de pixels appartenant à l'objet, ni de dessiner une ligne de contour ou une boîte englobant l'objet. Une telle fonctionnalité est notamment intéressante pour des personnes handicapées qui ne peuvent effectuer qu'un seul clic ou une désignation d'objet équivalente et ne peuvent pas effectuer des opérations supplémentaires tel qu'un déplacement de souris pour encadrer un objet à sélectionner. Cette fonctionnalité est aussi intéressante lorsqu'une image présente une grande quantité d'objets à sélectionner. L'opérateur souhaite ainsi désigner un objet sur une image vidéo par exemple par un simple clic et obtenir automatiquement la visualisation de l'objet désigné, par une boîte englobante ou une tache de couleur par exemple.
Un problème technique est la mise au point d'un traitement automatique pour la délimitation de l'image d'un objet dans une image à partir de la sélection par l'utilisateur d'un point dans l'image de l'objet.
Différentes techniques de traitement d'image ont été développées, mais aucune ne présente de résultats suffisamment fiables et robustes face aux variations de luminosité, de forme ou de texture des objets. Il existe des algorithmes de traitement permettant de repérer des objets dans une image lorsque ces objets ont une forme géométrique de base, du type disque ou rectangle par exemple, ou encore une couleur uniforme spécifique ou des contours suffisamment nets. Ces algorithmes ne sont plus efficaces en général pour des images d'objets quelconques du fait de la complexité de leurs images, des similarités de couleurs entre objets et fonds, ou du manque de contraste notamment. Une première catégorie de traitement d'image est basée sur la détection automatique des contours d'un objet. Toutefois, ce procédé induit des erreurs dues aux variations de luminosité importantes dans les images, aux effets d'ombre ou aux variations de texture, interprétés de manière erronée par ce procédé comme des contours d'objets.
Il existe d'autres procédés de désignation d'objet, par exemple faisant intervenir les images des deux caméras, l'une des caméras étant par exemple fixe et l'autre mobile et guidant le mouvement d'un bras d'un robot. Il existe cependant un besoin pour une méthode ne requérant pas de caméra supplémentaire, ni de préparation des objets à saisir, notamment pas de marquage préalable des objets à l'aide de points cibles. Dans le traitement d'images en général pour l'identification d'objets, il existe de nombreuses recherches sur la segmentation globale d'images dans le but de rechercher tous les objets présents dans une image. L'objectif généralement souhaité en segmentation d'image est le découpage de l'ensemble de l'image en objets. Toutefois, la généralité de l'objectif amène à utiliser des attributs photométriques, la couleur notamment, qui à eux seuls ne permettent pas de reconstruire un objet. Par conséquent la sémantique associée aux objets reste éloignée de la sémantique qu'un être humain peut lui associer.
Un but de l'invention est notamment de permettre la désignation d'un objet, par une seule interaction sur une image, le différentiant du reste de l'image. A cet effet, l'invention a pour objet un procédé de désignation d'un objet dans une image, le procédé comportant :
- une étape de désignation d'un point Pi à l'intérieur de l'objet dans l'image ;
- une étape de segmentation de l'image en régions élémentaires ;
- une étape d'identification d'une région d'origine Ri à laquelle appartient le point Pi ;
- une étape de construction d'un graphe de connexité entre les régions ;
- une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R-i, en combinant différents attributs d'appartenance ; - une étape de fusion de la région d'origine Ri avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ; les étapes de calcul de fonctions d'appartenance des régions connexes et de fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée. L'étape de fusion comporte par exemple les étapes suivantes :
- une étape de calcul de la fonction d'appartenance à l'objet pour les régions connexes à la région d'origine Ri ; - une étape de fusion de la région d'origine Ri avec la région connexe la plus proche dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ;
- une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée ; l'étape de fusion comportant par la suite les étapes itératives suivantes :
- une étape (71 , 72) de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la nouvelle région fusionnée Rj ;
- une étape de fusion (73) de la région fusionnée Rj avec la région connexe la plus proche Rj dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ;
- une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée.
Avantageusement, le calcul de la fonction d'appartenance de la région à l'objet se fait par exemple par une opération floue μ0 combinant plusieurs attributs caractérisant la dissimilitude de la région connexe Rj à la région fusionnée Rj.
Plusieurs types d'attributs peuvent être utilisés, dont par exemple les attributs suivants : - l'éloignement de la région Rj au point de désignation P1 ;
- la distance du centre de gravité de la région Rj au bord de l'image ;
- la densité de la région Rj définie comme le rapport de sa surface sur la surface de sa boîte englobante ;
- la compacité de la région Rj définie comme le rapport du carré de son périmètre sur sa surface ; - la symétrie selon un axe de l'image, une région symétrique à une région appartenant à l'objet étant susceptible d'appartenir à cet objet.
Avantageusement, le procédé comporte par exemple une étape de reconnaissance de l'objet, ledit procédé utilisant un critère permettant de comparer l'objet aux éléments d'un dictionnaire.
Le point Pi est par exemple désigné au moyen d'une interface de saisie de type souris.
D'autres avantages et caractéristiques de l'invention apparaîtront à l'aide de la description qui suit faite en regard de dessins annexés qui représentent :
- les figures 1 a, 1 b et 1 c, un exemple de segmentation selon l'art antérieur à partir d'une image originale ;
- la figure 2, un exemple de résultat de segmentation souhaité ; - la figure 3, une illustration des étapes possibles d'un procédé selon l'invention ;
- les figures 4a et 4b, une illustration de deux segmentations possibles d'une image ;
- la figure 5, une illustration d'un graphe de connexité utilisé dans un procédé selon l'invention ;
- la figure 6, une illustration d'un lien de connexité ;
- la figure 7, une illustration des étapes possibles d'un processus itératif appliqué dans une étape de fusion des régions d'un procédé selon l'invention.
Les figures 1 a, 1 b, 1 c illustrent, à titre d'exemple, le résultat d'une méthode de segmentation globale d'une image selon l'art antérieur, la figure 1 a présentant l'image originale, la figure 1 b une segmentation cible et la figure 1 c la segmentation finalement obtenue. La figure 1 a illustre une image originale A. Le but d'une segmentation globale automatique classique est d'obtenir une image H(A) illustrée par la figure 1 b. Dans cette image H(A) on cherche à réaliser une segmentation en régions sémantiques 1 de toute l'image, dans laquelle chaque objet de premier plan 2 ou de l'arrière-plan 3 est isolé individuellement. La figure 1 c illustre la figure segmentée S(A) finalement obtenue où l'on observe une sur-segmentation par rapport à l'image idéale H(A), des sous-segments 4 étant créés à l'intérieur des objets.
Les sous-segments 4, obtenus par segmentation automatique, forment des régions élémentaires en opposition aux régions sémantiques de la figure 1 b obtenues par segmentation humaine.
Plus généralement, les principales limites d'une segmentation automatique classique sont les suivantes :
- des régions de couleurs similaires mais éloignées faisant partie du même objet ne sont pas toujours incluses dans un même segment ; - des régions de couleurs similaires et proches faisant partie respectivement de l'objet et du fond peuvent être incluses dans un même segment ;
- des régions de couleurs très différentes, voisines, faisant partie du même objet ne sont elles aussi pas toujours incluses dans un même segment ;
- enfin, des régions de couleurs très différentes, voisines, faisant partie de l'objet et du fond peuvent être regroupées dans un même segment.
Les seuls paramètres de distance entre régions et de couleur sont donc insuffisants pour déterminer l'appartenance d'une région à l'objet ou au fond. II est alors difficile de fusionner automatiquement des régions pour les regrouper en zones correspondant aux différents objets. Une segmentation globale classique ne permet donc pas de segmenter de manière fiable une image en objets sémantiques, puisqu'elle aboutit :
- soit à une sur-segmentation de l'image telle qu'illustrée par la figure 1 c, où chaque objet est découpé en zones difficiles à regrouper ;
- soit à une sous-segmentation de l'image, qui ne permet pas d'isoler les objets du fond.
La figure 2 est une illustration d'un exemple de résultat souhaité, pouvant être obtenu par un procédé selon l'invention. Un objet 21 situé dans une partie de l'image est indiquée par un opérateur, par un simple clic de souris par exemple, et la zone de l'image correspondant à l'objet ainsi désignée est différenciée de tout le reste de l'image.
Sur la figure 2, une croix 22 est un exemple de point de désignation effectuée par un opérateur, par exemple au moyen d'un clic de souris. La segmentation souhaitée D(A) est une segmentation binaire, la région correspondante à l'objet désigné 21 étant séparée du reste de l'image ou fond. Dans l'exemple de la figure 2, on peut notamment rendre flou tout ce qui correspond alors au fond de l'image. Ce fond contient plusieurs objets au sens d'une segmentation classique.
La figure 3 illustre des étapes possibles pour la mise en œuvre du procédé selon l'invention.
Le procédé comporte une étape préliminaire 30 de désignation d'un point dans l'objet sur l'image. Dans une image affichée sur une interface graphique un opérateur désigne un point faisant partie de l'objet qu'il souhaite désigner, au moyen d'une interface de saisie, par exemple une souris une « trackball » ou tout autre dispositif adapté au profil de l'utilisateur. Dans l'exemple de la figure 2 l'objet 21 est désigné par un point représenté par une croix 22. L'image peut par exemple subir une étape supplémentaire, optionnelle, de filtrage bas niveau. Dans cette étape, l'image est filtrée afin de réduire sa taille, par exemple sur un nombre réduit de couleurs. Dans une première étape 31 , le procédé réalise une segmentation de l'image A en régions. L'image sur laquelle se fait la désignation est découpée en régions par l'intermédiaire d'une méthode de segmentation d'image, par exemple par l'utilisation d'une technique de ligne de partage des eaux ou de diffusion anisotropique.
Le procédé comporte une deuxième étape 32 de construction d'un graphe de connexité des régions. Dans cette étape, un graphe de connexité des régions est déterminé à partir de cette segmentation.
Dans une troisième étape 33, le procédé effectue le regroupement des régions pour recouvrir au mieux l'objet désigné. La position du clic sur l'image est par exemple utilisée comme repère pour agréger des régions supposées appartenir à l'objet. Les régions à fusionner sont déterminées par des critères structurels, dépendants ou non de la position du clic. Ces critères peuvent être inclusifs ou exclusifs.
Les figures 4a et 4b illustrent deux exemples de segmentation de l'image exécutée lors de la première étape 31 précitée. Cette première étape est la segmentation de l'image brute ou initiale dont le but est le découpage de l'image en régions homogènes. L'objectif de la segmentation est d'avoir des régions qui correspondent au mieux aux objets présents dans l'image, et ayant si possible des frontières régulières entre elles. Cette segmentation fournit un nombre d'éléments en nombre plus réduit que le nombre de pixels de l'image initiale. A ce stade, il n'est pas possible de savoir si différentes zones appartiennent à un même objet.
Les figures 4a et 4b illustrent deux exemples de segmentations de l'image originale A de la figure 1 a, obtenues selon des méthodes, ou algorithmes, connues. La figure 4a illustre une première méthode de segmentation obtenue par diffusion anisotropique, la figure segmentée 41 est obtenue par une méthode basée sur les contours. Un document Ma, W. Y. and B. S. Manjunath : Edge Flow : A technic for boundary détection and segmentation. IEEE Transactions on Images Processing, pp 1375-1388, Aug 2000, décrit une méthode de segmentation basée sur les contours. L'image 41 est par ailleurs par exemple obtenue par une diffusion anisotropique. La diffusion anisotropique fait évoluer l'ensemble de l'image de manière à lisser les régions homogènes et à augmenter le contraste au niveau des contours. La figure 4b présente une figure segmentée 42 obtenue par la méthode dite de ligne de partage des eaux. La ligne de partage des eaux est le modèle caractéristique de la segmentation d'image par les méthodes de la morphologie mathématique. Le principe de base consiste à décrire les images comme une surface topographique. Un ouvrage de G. Matheron et J. Serra « The Birth of Mathematical Morphology », June 1998 décrit cette méthode. De manière générale, plusieurs méthodes de segmentation en régions peuvent être utilisées. En particulier, les critères suivants peuvent être utilisés :
- par les contours, comme l'illustre la figure 4a ;
- par les ensembles de pixels connexes homogènes, comme l'illustre la figure 4b.
Le découpage obtenu n'est lié à aucune information sur les distances. Un résultat important est notamment que la segmentation génère des régions au plus proche des objets, en particulier au plus proche de leur structure. La segmentation permet d'avoir des régions correspondant exactement, ou presque, aux différentes parties d'un objet. Une région peut notamment être caractérisée par sa couleur moyenne, son centre de gravité, sa boîte englobante et sa surface. La segmentation de l'image en régions homogènes est fonction de ces paramètres. D'autres paramètres peuvent éventuellement être pris en compte. Dans l'exemple d'une bouteille d'eau minérale de couleur verte en matière plastique la segmentation devrait permettre si possible d'obtenir notamment des régions correspondant respectivement au bouchon, à l'étiquette et au plastique vert.
La figure 5 est une illustration d'un graphe de connexité obtenu à l'issue de la deuxième étape 32 précitée. Un graphe de connexité est une structure classique utilisée en segmentation d'image pour la fusion de régions. Plus particulièrement, la figure 5 illustre à titre d'exemple un graphe de connexité 51 obtenu à partir de l'image segmentée 41 de la figure 4a. L'image d'entrée est représentée par l'ensemble de ses pixels { Pi }. Pa = { Rk } 1 < k < M est l'ensemble des régions formant la partition de l'image en M régions obtenue par segmentation, par exemple par la méthode de partage des eaux ou par la méthode des potentiels-contours. Cette partition se représente par un graphe d'adjacence des régions, ou graphe de connexité, G = (N, a), où : - N = { 1 , 2, .... M } est l'ensemble des nœuds ;
- a = { (i, j, δj, j) tels que Rj et Rj soient adjacents } est l'ensemble des arêtes.
Une arête représente en fait un lien entre région. Chaque arête est caractérisée par une mesure de dissimilitude δj, j qui correspond à un critère de fusion entre régions.
C'est notamment de ce critère que dépend la qualité de la segmentation finale, comme le montre en particulier un document de Brox, Thomas, Dirk Farin, & Peter H. N. de With : « Multi-Stage Région Merging for Image Segmentation » In 22nd Symposium on Information Theory in the Bénélux, pages 189-196, Enschede, NL, May 2001.
Sur la figure 5, des traits 52 indiquent l'existence de liens de connexité entre régions 53, 54 deux à deux. Dans le graphe G = (N, a), chaque nœud 55 représente une région et chaque lien 52 est pondéré par une mesure de dissimilitude δjj. La figure 6 illustre un lien de connexité entre deux régions R-i, Rj. Le lien 52 est caractérisé par une mesure de dissimilitude δ-i, \. Un point P1 , symbolisé par la croix 22, est désigné dans la région R1 à l'intérieur d'un objet 21 dans l'image. Parmi les régions voisines Rj de la région R1 à laquelle appartient le point P1 , le procédé cherche celles qui peuvent être fusionnées avec celle-ci, à l'aide du graphe de connexité, et plus particulièrement à l'aide des mesures de dissimilitude caractérisant les liens entre régions. Plus particulièrement, une région Rj est fusionnée avec la région R1 en fonction de la valeur de la mesure de dissimilitude δ-i, \. Cette mesure de dissimilitude peut notamment être fonction de plusieurs critères ou attributs, comme par exemple l'éloignement du point de clic, l'appartenance au fond, la compacité, l'aspect symétrique, la régularité de l'enveloppe, la texture ou encore les couleurs.
La figure 7 illustre les étapes mises en œuvre dans l'étape 33 de regroupement, ou fusion, des régions. Dans cette étape, on cherche à obtenir un agrégat de régions pour déterminer une fenêtre entourant l'objet. La figure 7 illustre un processus de fusion des régions s'appuyant sur une nouvelle mesure de dissimilitude. La fusion part d'une région d'origine R1 désignée par le clic. On prend comme hypothèse que la région R1 appartient à l'objet désigné. Le processus illustré par la figure 7 permet d'élargir la région R1, par fusions successives avec d'autres régions, jusqu'aux bords de l'objet sur l'image.
Dans une étape préliminaire 70 au processus, une région R1 est par exemple désignée, par un clic par exemple. Des régions Rj sont successivement fusionnées. Le déroulement itératif des étapes 71 , 72, 73 du processus permet de fusionner une région à chaque itération. Lors d'une itération donnée, le processus cherche à fusionner une région voisine Rj avec une région Rj déjà fusionnée à l'agrégat initialisé autour de la région R1. Dans une première étape 71 , le processus identifie la région voisine Rj la plus proche de la région R1 parmi les régions voisines. Une région voisine est définie comme une région ayant un lien de connexité 52 avec la région Rj. La région voisine la plus proche de la région Rj est la région Rj dont le lien avec la région Rj présente la mesure de dissimilitude la plus faible δmin. Dans une deuxième étape 72, le processus cherche si cette région voisine Rj appartient à l'objet. A cet effet, le processus exécute par exemple une mesure floue d'appartenance à l'objet basée sur l'utilisation des différents critères caractérisant la mesure de dissimilitude. Ces critères sont par exemple, comme indiqué précédemment, l'éloignement du point de clic, l'appartenance au fond, la compacité ou densité, l'aspect symétrique, la régularité de l'enveloppe, la texture ou encore les couleurs.
Dans une troisième étape 73, la région Rj est fusionnée avec la région Rj si elle appartient à l'objet, c'est-à-dire si la mesure d'appartenance est inférieure à un seuil. Le graphe de connexité est mis à jour en conséquence, en particulier le lien de connexité entre les régions Rj et Rj est supprimé suite à la fusion de ces deux régions. Le processus reprend alors au niveau de sa première étape 71 .
Lorsqu'aucune fusion n'a plus lieu, ou si aucune région voisine n'est élue, le processus s'arrête dans une étape 74.
Selon l'invention l'appartenance d'une région Rj à un objet 21 est déterminée à l'aide d'une fonction utilisant des opérations floues sur les mesures des différents critères parmi ceux précités. A titre d'exemple, quatre critères sont décrits par la suite. Ces critères sont combinés par des opérations de logique floue de façon à obtenir une mesure globale qui sera comparée au seuil de la deuxième étape 72 du processus de fusion.
Il est ainsi possible de représenter la localisation d'une région Rj par rapport au point de désignation 22, ou du clic, par une fonction μL dépendant à la fois :
- des déviations verticale et horizontale du centre de la région voisine Rj considérée par rapport au centre de la région R1 ;
- de la déviation du centre de gravité de la région correspondant à la fusion de la région R1 du point de désignation 22 avec la région voisine Rj considérée, toujours par rapport à ce point de désignation 22. II est aussi possible de définir pour chaque région un critère d'appartenance au fond en fonction de sa distance au bord de l'image. On note alors μB la distance du centre de gravité au bord de l'image.
Il est encore possible d'utiliser des mesures de densité ou de compacité. On note A(Ri) la surface d'une région, p(Rj) le périmètre de la région et BB(Ri) la surface de sa boîte englobante, qui peut être par exemple un rectangle. La mesure de densité peut alors être définie par la fonction : μ -^ BB(R±1 )- et la mesure de compacité peut être définie par la fonction :
A(R)
La combinaison des différents critères se fait par des opérations de logique floue. Les quatre fonctions précédentes peuvent par exemple être combinées pour obtenir un critère d'appartenance μ0 définie selon la relation suivante :
μo = (μB ) A (μL 2 v (μL A μD ) v (μL A μs )) (1 )
Les symboles Λ et v représentent les fonctions logiques « et » et « ou », cela signifie notamment que dans la relation (1 ) lorsque deux critères sont reliés par Λ , les deux critères sont pris en compte. Lorsque deux critères sont reliés par v , l'un ou l'autre des critères est pris en compte, ou les deux à la fois.
Pour une région donnée Rj, le critère μ0 est un critère d'appartenance à l'objet comportant la région R1 du clic initial. Comme les autres fonctions μB, μι_, μσ, μs, μo est une fonction de la région Rj qui caractérise son lien avec la région voisine Rk considérée. μo(Ri) forme une mesure de dissimilitude δmin entre la région Rj et la région Rk. Plus μo(Ri) est grand, plus la dissimilitude est faible. La comparaison de la deuxième étape 72 revient alors à comparer μo(Ri) à un seuil, la fusion ayant lieu si μo(Rι) est supérieure à ce seuil.
Un critère supplémentaire d'appartenance à l'objet peut être la détection des symétries dans la région résultant de la fusion de deux régions élémentaires Ri, Rj. Le processus fait alors l'hypothèse que le ou les objets recherchés présentent des axes de symétrie horizontaux et verticaux. Dans de nombreuses applications, les objets à désigner sont principalement des objets manufacturés et présentent en effet pour la plupart une symétrie d'axe vertical. Une méthode pour extraire les axes de symétrie, qui s'appuie sur le gradient de l'image, est décrite dans le document de D. Reisfeld, H. Wolfson & Y. Yeshurun : « The discrète Symmetry Transform in Computer Vision » Int. J. of Computer Vision, Spécial Issue on Qualitative Vision, 14 : 1 19-130, 1995. Le processus sélectionne un pixel et cherche sur une même ligne, respectivement une même colonne, un pixel qui présente une similitude dans l'image des gradients, c'est-à-dire l'image résultant de l'étape de détection des contours lors de la phase de segmentation. Le processus cherche ensuite les symétries sur une ligne, puis sur une colonne. Les points présentant une similitude sont ensuite stockés dans une table d'accumulation afin de déterminer le centre de symétrie de l'objet, le centre de symétrie étant le point équidistant de tous ces points accumulés. Une méthode, permettant de détecter les point de symétrie centrale, est notamment décrite dans le document de G. Loy & A. Zelinsky : « Fast Radial Symmetry for Detecting Points of Interest », IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(8) : 959-973, 2003, ISSN 0162-8828. Un critère de symétrie peut alors être utilisé pour la fusion, en effet une région symétrique à une région appartenant à l'objet pourra aussi appartenir à ce même objet.
Dans une variante de mise en œuvre, le procédé selon l'invention comporte une étape supplémentaire de reconnaissance. Il est alors possible de compléter la localisation et saisie de l'objet par sa reconnaissance. Dans ce cas, le procédé selon l'invention introduit un critère permettant de comparer l'objet aux éléments d'un dictionnaire. Il s'agit notamment de reconnaître l'objet compris dans la région finale. Sur une base d'images rassemblant le plus possible d'objets de la vie courante, un index est défini et permet de discriminer les différents objets représentés par les images de la base. A l'issue de la fusion de régions, le procédé selon l'invention permet d'obtenir une image représentant plus ou moins un objet. Cette image est présentée à un indexeur qui calcule la distance à chacun des objets de la base et renvoie la liste des objets triés par ordre de distance croissante par exemple. Il est alors possible d'en déduire l'objet le plus probablement désigné. Outre les applications possibles pour améliorer la saisie d'un objet, ou pour anticiper son utilisation, cette reconnaissance peut permettre notamment d'enrichir la région finale correspondant à l'objet en y fusionnant de nouvelles régions ou de remettre en cause la fusion pour supprimer certaines régions ou pixels de la zone reconnue. Par exemple si la forme d'une bouteille a été reconnue, certaines régions, formant excroissance et qui ne correspondent pas à la forme d'une bouteille, peuvent être supprimées. De la même façon, certaines régions peuvent être ajoutées pour compléter la forme reconnue. Les formes reconnues correspondent à des régions sémantiques qui correspondent à une segmentation plus naturelle pour l'être humain, permettant la discrimination des différents objets préhensibles. Les régions élémentaires précédentes Rj sont obtenues par des techniques de segmentation automatique d'image. Les mesures floues utilisées permettent de mesurer le degré d'appartenance d'une région élémentaire à une région sémantique. L'utilisation de mesures floues se prête avantageusement bien à cette incertitude sur l'appartenance d'une région à l'objet, ce dernier correspondant à une région sémantique. Dans des méthodes classiques, on peut utiliser la segmentation en régions floues où un pixel appartient à une région selon un certain degré. Dans le procédé selon l'invention, à la différence de méthodes classiques dans lesquelles un pixel appartient de manière floue à une ou plusieurs régions, un pixel appartient à une seule région à la fois de manière binaire. Ce sont les régions élémentaires qui appartiennent de manière floue aux régions sémantiques. Avantageusement, le procédé selon l'invention est moins sensible au bruit. Un autre avantage est notamment qu'il donne à la fusion un formalisme clair, permettant d'obtenir un critère d'appartenance pouvant être enrichi facilement par adjonction de critères complémentaires.
Avantageusement, l'invention permet de nombreuses applications. En particulier, elle permet de déclencher la saisie automatique d'un objet au moyen d'un bras manipulateur pour, par exemple :
- la désignation de l'objet en un clic par l'utilisateur sur l'image vidéo ;
- la validation du choix par l'utilisateur ; - l'activation d'un bras de robot pour la saisie.
Cette étape peut éventuellement être enchaînée à une étape ultérieure de reconnaissance ou d'identification de l'objet, par exemple via une indexation d'images dans une bibliothèque d'images.
Le procédé de désignation d'objet selon l'invention peut aussi avantageusement être enchaîné avec un procédé indépendant de saisie automatique de l'objet, par exemple au moyen d'un bras de robot. Dans ce cas, l'objet est capté par une caméra, par exemple intégrée au robot. L'opérateur, par exemple une personne handicapée, désigne l'objet sur une image transmise par la caméra au moyen d'un clic ou de tout autre moyen élémentaire. Le bras robot manipule par la suite l'objet désigné selon des instructions prédéfinies par exemple.

Claims

REVENDICATIONS
1. Procédé de désignation d'un objet dans une image caractérisé en ce qu'il comporte :
- une étape (30) de désignation d'un point Pi (22) à l'intérieur de l'objet (21 ) dans l'image ; - une étape (31 ) de segmentation de l'image (A) en régions élémentaires (4, Rj) ;
- une étape d'identification d'une région d'origine Ri à laquelle appartient le point Pi ;
- une étape (32) de construction d'un graphe de connexité (51 ) entre les régions ;
- une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R-i, en combinant différents attributs d'appartenance ;
- une étape (33) de fusion de la région d'origine Ri avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ; les étapes de calcul de fonctions d'appartenance des régions connexes et de fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée.
2. Procédé selon la revendication 1 , caractérisé en ce que l'étape (33) de fusion comporte :
- une étape (71 , 72) de calcul de la fonction d'appartenance à l'objet pour les régions connexes à la région d'origine Ri ; - une étape (73) de fusion de la région d'origine Ri avec la région connexe la plus proche dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ;
- une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée ; la dite étape de fusion (33) comportant par la suite les étapes itératives suivantes (71 , 72, 73) :
- une étape (71 , 72) de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la nouvelle région fusionnée Rj ; - une étape de fusion (73) de la région fusionnée Rj avec la région connexe la plus proche Rj dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ;
- une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée.
3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le calcul de la fonction d'appartenance de la région à l'objet (21 ) se fait par une opération floue (μ0) combinant plusieurs attributs caractérisant la dissimilitude de la région connexe Rj à la région fusionnée Rj.
4. Procédé selon la revendication 3, caractérisé en ce qu'un attribut de l'opération floue est l'éloignement de la région Rj au point de désignation Pi (22).
5. Procédé selon l'une quelconque des revendications 3 ou 4, caractérisé en ce qu'un attribut de l'opération floue est la distance du centre de gravité de la région Rj au bord de l'image.
6. Procédé selon l'une quelconque des revendications 3 à 5, caractérisé en ce qu'un attribut de l'opération floue est la densité de la région Rj définie comme le rapport de sa surface (A(Rj)) sur la surface de sa boîte englobante (BB(Rj)).
7. Procédé selon l'une quelconque des revendications 3 à 6, caractérisé en ce qu'un attribut de l'opération floue est la compacité de la région Rj définie comme le rapport du carré de son périmètre (p(Rj)) sur sa surface (A(Rj)).
8. Procédé selon l'une quelconque des revendications 3 à 7, caractérisé en ce qu'un attribut de l'opération floue est la symétrie selon un axe de l'image, une région symétrique à une région appartenant à l'objet (21 ) étant susceptible d'appartenir à cet objet.
9. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte une étape de reconnaissance de l'objet (21 ), ledit procédé utilisant un critère permettant de comparer l'objet aux éléments d'un dictionnaire.
10. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le point Pi (22) est désigné au moyen d'une interface de saisie de type souris.
PCT/EP2007/062889 2006-11-28 2007-11-27 Procede de designation d'un objet dans une image WO2008065113A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP07847414A EP2095327A1 (fr) 2006-11-28 2007-11-27 Procede de designation d'un objet dans une image
US12/516,778 US20100066761A1 (en) 2006-11-28 2007-11-27 Method of designating an object in an image
JP2009537659A JP2010511215A (ja) 2006-11-28 2007-11-27 画像内のオブジェクトを指示する方法
CA002671037A CA2671037A1 (fr) 2006-11-28 2007-11-27 Procede de designation d'un objet dans une image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR06/10403 2006-11-28
FR0610403A FR2909205B1 (fr) 2006-11-28 2006-11-28 Procede de designation d'un objet dans une image.

Publications (1)

Publication Number Publication Date
WO2008065113A1 true WO2008065113A1 (fr) 2008-06-05

Family

ID=38066458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/062889 WO2008065113A1 (fr) 2006-11-28 2007-11-27 Procede de designation d'un objet dans une image

Country Status (6)

Country Link
US (1) US20100066761A1 (fr)
EP (1) EP2095327A1 (fr)
JP (1) JP2010511215A (fr)
CA (1) CA2671037A1 (fr)
FR (1) FR2909205B1 (fr)
WO (1) WO2008065113A1 (fr)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385632B2 (en) * 2010-06-01 2013-02-26 Mitsubishi Electric Research Laboratories, Inc. System and method for adapting generic classifiers for object detection in particular scenes using incremental training
FR2965921B1 (fr) 2010-10-11 2012-12-14 Commissariat Energie Atomique Procede de mesure de l'orientation et de la deformation elastique de grains dans des materiaux multicristallins
US9558575B2 (en) * 2012-02-28 2017-01-31 Blackberry Limited Methods and devices for selecting objects in images
FI20125278L (fi) 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä ja järjestely ja tietokoneohjelmatuote videoitujen kohteiden tunnistamiseksi
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US9639747B2 (en) * 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
JP5849206B2 (ja) 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5834253B2 (ja) * 2013-03-27 2015-12-16 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5899475B2 (ja) 2013-04-05 2016-04-06 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
GB2519130A (en) * 2013-10-11 2015-04-15 Nokia Corp A method and apparatus for image segmentation
CN103577829B (zh) * 2013-11-08 2016-04-20 中安消技术有限公司 一种车标定位方法和装置
US9235903B2 (en) 2014-04-03 2016-01-12 Sony Corporation Image processing system with automatic segmentation and method of operation thereof
CN106097353B (zh) * 2016-06-15 2018-06-22 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020176625A1 (en) * 2001-04-04 2002-11-28 Mitsubishi Electric Research Laboratories, Inc. Method for segmenting multi-resolution video objects

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803920B2 (en) * 2000-08-04 2004-10-12 Pts Corporation Method and apparatus for digital image segmentation using an iterative method
US6763137B1 (en) * 2000-09-14 2004-07-13 Canon Kabushiki Kaisha Recognition and clustering of connected components in bi-level images
FR2825817B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de traitement d'images pour l'extraction automatique d'elements semantiques
WO2004077358A1 (fr) * 2003-02-28 2004-09-10 Cedara Software Corporation Systeme et procede de segmentation de zones d'image
US7388990B2 (en) * 2003-09-22 2008-06-17 Matrox Electronics Systems, Ltd. Local mass distribution partitioning for object recognition
US8233712B2 (en) * 2006-07-28 2012-07-31 University Of New Brunswick Methods of segmenting a digital image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020176625A1 (en) * 2001-04-04 2002-11-28 Mitsubishi Electric Research Laboratories, Inc. Method for segmenting multi-resolution video objects

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ADAMS R ET AL: "Seeded region growing", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 16, no. 6, June 1994 (1994-06-01), pages 641 - 647, XP002215479, ISSN: 0162-8828 *
BEVERIDGE J R ET AL: "SEGMENTING IMAGES USING LOCALIZED HISTOGRAMS AND REGION MERGING", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, NORWELL, US, vol. 2, no. 3, January 1989 (1989-01-01), pages 311 - 347, XP008038606, ISSN: 0920-5691 *
GRECU H ET AL: "Simplification of a color image segmentation using a fuzzy attributed graph", IMAGE PROCESSING, 2000. PROCEEDINGS. 2000 INTERNATIONAL CONFERENCE ON SEPTEMBER 10-13, 2000, PISCATAWAY, NJ, USA,IEEE, vol. 1, 10 September 2000 (2000-09-10), pages 525 - 528, XP010530667, ISBN: 0-7803-6297-7 *
NIELSEN F ET AL: "ClickRemoval: interactive pinpoint image object removal", 13TH ANNUAL ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA ACM NEW YORK, NY, USA, 2005, pages 315 - 318, XP002436021, ISBN: 1-59593-044-2 *
STEUDEL A ET AL: "Fuzzy segmented image coding using orthonormal bases and derivative chain coding", PATTERN RECOGNITION, ELSEVIER, KIDLINGTON, GB, vol. 32, no. 11, November 1999 (1999-11-01), pages 1827 - 1841, XP004173546, ISSN: 0031-3203 *

Also Published As

Publication number Publication date
FR2909205B1 (fr) 2009-01-23
FR2909205A1 (fr) 2008-05-30
EP2095327A1 (fr) 2009-09-02
JP2010511215A (ja) 2010-04-08
CA2671037A1 (fr) 2008-06-05
US20100066761A1 (en) 2010-03-18

Similar Documents

Publication Publication Date Title
WO2008065113A1 (fr) Procede de designation d&#39;un objet dans une image
EP2695108B1 (fr) Procédé d&#39;extraction automatisée d&#39;un planogramme à partir d&#39;images de linéaire
Türetken et al. Automated reconstruction of tree structures using path classifiers and mixed integer programming
Lu et al. Salient object detection using concavity context
WO2018145470A1 (fr) Procédé et dispositif de détection d&#39;image
CN110413825B (zh) 面向时尚电商的街拍推荐系统
Daniel et al. Automatic road distress detection and analysis
Feild et al. Scene text recognition with bilateral regression
Wu et al. Text detection using delaunay triangulation in video sequence
WO2015132531A1 (fr) Procede d&#39;analyse d&#39;echantillons sedimentaires avec reconnaissance automatique de nannofossiles
Carlinet et al. Morphological object picking based on the color tree of shapes
EP0993650B1 (fr) Procede de segmentation et de reconnaissance d&#39;un document, notamment d&#39;un plan technique
Ismail et al. Detection and recognition via adaptive binarization and fuzzy clustering
WO2004013802A2 (fr) Procede et systeme de localisation automatique de zones de texte dans une image
WO1999040539A1 (fr) Procede de segmentation spatiale d&#39;une image en objets visuels et application
EP0530088A1 (fr) Procédé de détection et de suivi d&#39;objets en mouvement par analyse de séquences d&#39;images
Newson On video completion: line scratch detection in films and video inpainting of complex scenes
Leena et al. Generating Graph from 2D Flowchart using Region-Based Segmentation
Dechesne Semantic segmentation of forest stand by join analysis of very high resolution multispectral image and 3D airborne Lidar data
Biksham et al. Image Segmentation Using Machine Learning Domain: Machine Learning
Premaratne et al. What Constitute an Effective Edge Detection Algorithm?
Ouyang et al. A robust border detection algorithm with application to medieval music manuscripts
Ma et al. Strict rule-based automatic training data extraction using Mobile laser scanning in urban area
Kataria et al. Review on text detection and recognition in images
Sudarsan et al. An Overview of Character Recognition from Palm Leaf Manuscripts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07847414

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007847414

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2009537659

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2671037

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12516778

Country of ref document: US