WO2006008350A1 - Recherche automatique de similarite entre images incluant une intervention humaine - Google Patents

Recherche automatique de similarite entre images incluant une intervention humaine Download PDF

Info

Publication number
WO2006008350A1
WO2006008350A1 PCT/FR2004/001563 FR2004001563W WO2006008350A1 WO 2006008350 A1 WO2006008350 A1 WO 2006008350A1 FR 2004001563 W FR2004001563 W FR 2004001563W WO 2006008350 A1 WO2006008350 A1 WO 2006008350A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
relevance
user
influence
Prior art date
Application number
PCT/FR2004/001563
Other languages
English (en)
Inventor
Christophe Laurent
Thierry Dorval
Original Assignee
France Telelcom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telelcom filed Critical France Telelcom
Priority to EP04767419A priority Critical patent/EP1766538A1/fr
Priority to PCT/FR2004/001563 priority patent/WO2006008350A1/fr
Priority to US11/630,716 priority patent/US20070244870A1/en
Publication of WO2006008350A1 publication Critical patent/WO2006008350A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Definitions

  • the object of the present invention relates to an image search for finding a visual similarity between images contained in an image database and at least one request image.
  • This similarity search is usually carried out by a search engine or indexing engine running on a processor, the images being typically stored in a digital memory, and a terminal makes it possible to present the result to a user of the search method, the latter can also intervene in the process via interfaces (keyboard, mouse, etc.).
  • An object of the invention is to try to take into account, in an automatic image search, the subjectivity of the user vis-à-vis the notion of visual perception when it seeks a similarity between images and a request image.
  • the main difficulty lies in the fact that the image search algorithms (or others) being deterministic, they always converge towards the same set of results from the same query, whereas a user who uses his subjectivity for comparing images gives a result that can be different from another user.
  • a tumor search engine in a medical imaging application will be able to execute a search in a fully automatic way since the subjectivity has only very little space, whereas the classification of images of holidays can make to intervene more subjectivity if the request is generalist.
  • any attempt to calculate deterministic visual similarity is therefore doomed to failure more or less depending on the relevance of image comparison processes.
  • Di Di, ti (Ii, I 2 ) #D lrt 2 (Ii, I 2 ), where Di ; t i corresponds to the similarity perceived by the user Ui at a time ti, to take into account the fact that the same user can modify his notion of visual similarity over time.
  • This example shows the complexity of precisely simulating this notion.
  • the user has no idea of the statistical distribution of the signatures in the image database and can not therefore take it into account when setting the parameters;
  • a conventional image search with relevance looping includes:
  • a first method is that the user selects, among the response images, the images that seem to him to best correspond to his request (see, for example, Y. chen et al., "One-Class SVM for Learning in Image Retrieval", in IEEE International Conference on Image Processing, Thessaloniki, Greece 2001).
  • a second method it will be able to contrario specify those which it considers irrelevant (see for example Y. Rui et al., "Relevance Feddback: A Power Tool for Interactive Content-Based Image Retrieval", in Storage and Retrieval for Image. Video Databases (SPIE) pages 25-36, 1998).
  • a third step 3 of closure of relevance Since the ways of directing the query are very intuitive to the user, they allow the application to more precisely direct the search during the next relevancy loop.
  • the goal of a relevance looping algorithm is to make the best use of the user's feedback to, in a sense, model its subjectivity.
  • the relevance loop must therefore allow the application to get closer to the ideal image that is supposed to represent what the user wants.
  • Qo the initial request image and Q 0 its signature (or its visual characteristics defined by a set of determined descriptors) in the descriptor space.
  • a space descriptors is defined by axes each giving the importance of one of the descriptors determined in an image, the images being generally positioned in this space.
  • I p 'and / 1 respectively relevant and irrelevant images specified by the user will be noted.
  • a first type of closure of known relevance is that implemented by the Rocchio algorithm (J. Rocchio "Relevance Feedback in Retrieval Information, pages 313-323", in The Smart Retrieval System-Experiments in Automatic Document Processing. , prentice-hall edition, 1971).
  • a second type of looping of known relevance is based on a reweighting algorithm, also called the standard deviation method. For example, reference may be made to "Image Retrieval by Examples” by R. Brunelli and O. Mich (IEEE Transactions on Multimedia, 2 (3): 164-171, 2000).
  • a third type of closure of known relevance is based on probabilistic models.
  • the probability calculation includes the calculation of the following function:
  • a second probabilistic model is the Bayesian decision model (see, for example, "Relevance Feedback and Category Search in Image Databases" by C. Meilhac et al in IEEE International Conference on Multimedia Computing and Systems, Florence, Italy, June 1999). categorizes the whole database into two classes: relevant or irrelevant.
  • a third probabilistic model is based on Support Vectors Machines (SVM). It is a question here of carrying out the closure of relevance by a classification type approach. We try to separate the base into two groups: relevant images and irrelevant images.
  • SVM Support Vectors Machines
  • SVM Support Vector Machines
  • the algorithm is therefore used as a classifier.
  • the user by choosing relevant images (see “One-Class SVM for Learning in Image Retrieval" from
  • the Rocchio and re-weighting techniques make a strong assumption: similar images for the user are relatively close in the descriptor space. However, to make this hypothesis requires to have in its possession descriptors perfectly reflecting the human perception, which is never the case. On the other hand, the reweighting is generally done by favoring a direction in the space of the descriptors, that is to say a particular descriptor.
  • Bayesian methods and SVM-based methods classify images in the descriptor space. As such, they are heavy learning methods in computational complexity.
  • a first objective of the present invention is to achieve a loop of relevance in the context of a similarity search between images and at least one request image, which is not very complex to implement.
  • a second objective of the invention is to achieve a relevance looping by means of a non-parametric method, which has no influence on the space of the descriptors or the distances between images.
  • a third objective of the invention is the taking into account, during the closure of relevance, negative feedback from the user (i.e. irrelevant returns of images presented to him).
  • a fourth objective of the invention is a measurement taken into account, by the algorithm, of the user returns of previous iterations. In particular, the algorithm will take into account to a certain extent possible changes in the user's choice during the search phase.
  • a fifth objective of the invention is to have an intelligent presentation of the images retained to the user, so as to have a presentation more relevant than a simple presentation of a list of images.
  • the invention achieves these objectives by proposing, according to a first aspect, an image search method for finding a visual similarity between images contained in the image database and at least one request image, the images having a determined signature ( or a set of determined descriptors), elements of the images and at least one element of the request image being positioned in a descriptor space defined by axes each giving the importance of one of the descriptors determined in an element image, characterized in that it comprises the iterative implementation of the following steps: (a) user evaluation of a visual relevance or a visual irrelevance of at least one of a plurality of images. images presented to it, compared to the image request;
  • said elements of the images are objects of the images, each image being composed of a plurality of determined objects, and the step (b) further comprises a last operation consisting of a summation of the values of relevance. (previously calculated) of the different objects making up the image considered, thus affecting each image the value of relevance sought for the current iteration;
  • the influence field calculated during step (b) has a positive value; In the case where an image is evaluated during step (a) as being relevant, the influence field calculated during step (b) has a negative value.
  • Step (b) furthermore comprises the summation, for each pixel, of the relevance values of the current iteration with values of relevance of previous iterations;
  • Step (b) further includes, prior to the summation operation of the relevance values of the current iteration with relevance values of previous iterations, a weighting operation, for each pixel, of values of relevance so as to attenuate all their influence on the result of this summation that they come from old iterations;
  • the weighting of the relevance values assigned to each element of the request image is different from the weighting of the relevance values assigned to each element of the other images, in that their respective influence on the result of the summation operation is less attenuated according to their seniority;
  • Step (b) further comprises a weighting step which assigns a different weight to the influence fields according to whether the associated image has been evaluated in step (a) as relevant or irrelevant;
  • step (a) the user furthermore gives a level of relevance or non-relevance to each image that he evaluates, and in that each field of influence calculated during step (b) ) is all the more extensive as this level of relevance or irrelevance is, in absolute value, high;
  • step (c) The different images selected during step (c) are presented to the user in an order taking into account the relevance values assigned to them in step (b);
  • the method further comprises, prior to the iteration steps, an automatic evaluation of a visual similarity of different images with the request image; and a selection of a determined number of evaluated images as being the most similar with the request image, these evaluated images then being the images presented in step (a).
  • the invention proposes a device implementing said method with or without the characteristics previously listed. Also, the invention proposes a computer program comprising coding means for implementing the proposed method.
  • FIG. 1 very broadly shows the various steps of an image search method including relevance looping.
  • FIG. 2 represents the evolution over time (or during iterations) of the image search region in the descriptor space chosen as a framework for the implementation of the method according to the invention.
  • Figures 3 and 4 show an example of implementation of an image search method according to the invention, in the case where the return of the user is positive.
  • Figure 3 is a graphical representation of images in a space of 2-dimensional descriptors.
  • FIG. 5 represents an exemplary implementation of an image search method according to the invention, in the case where the user's feedback is negative, in a graphic representation of images in a space of the descriptors in 2 dimensions.
  • FIG. 6 represents the synthesis of experimental results showing the influence of the nature of the returns (negative and / or positive) of the user on the relevance obtained by the method according to the invention.
  • FIG. 7 represents the synthesis of experimental results showing the influence of the change of objective of the user on the relevance obtained by the method according to the invention.
  • the images are stored in an image database.
  • This image database can be divided into image sub-bases each defining a group of images for a given terrain truth.
  • the images or image objects (also generically referred to as "image elements") according to the invention have a specific signature, that is to say that in other words they are described by a set of specific descriptors. .
  • image elements are positioned in a space descriptors defined by axes each giving the importance of one of the descriptors determined in a pixel.
  • the image elements are thus represented by points in the space of the descriptors, each thus having a position characterizing the signature of the image element considered in the space of the descriptors used (see, for example, FIG. 2).
  • the method according to the invention advantageously comprises the following steps, implemented iteratively, until a satisfactory or presumed satisfactory result is obtained: (a) a user's evaluation of a visual relevance or a visual non-relevance at least one of a plurality of images presented to it, with respect to at least one request image;
  • step (a) the user is therefore presented, for example on a screen-type display terminal, a number of images to which he must assign a value corresponding to his judgment as to the relevance of answers presented to him.
  • a step (a) (consisting of a user intervention in the search loop) will be chosen during which the user will have the choice between declaring a relevant image or a non-image. relevant.
  • the user will assign a positive value in case of relevance and negative in the case of irrelevance.
  • the invention provides a refinement of the type of choice given to the user, it may also give a level of relevance or non-relevance to each image that it evaluates.
  • the relevance step (b) will take into account the relevance assessment of some of the images that are presented to the user to influence the relevance of all the images in the database or sub-base of images considered.
  • step (b) directly involves an action by the user who expects an instantaneous return.
  • this point is far from being trivial and can quickly lead to practical impossibilities.
  • the relevance looping step (b) comprises a calculation of a relevance value assigned to each image, comprising: a calculation of an influence field extending around each element of each image evaluated by the in step (a), so that the absolute value of this influence field decreases as we move away, in the descriptor space, from the evaluated image element considered ; For each image element, a summation of the values of the different fields of influence felt by the image element under consideration, thus affecting each image element a value of relevance for the current iteration.
  • relevance looping should be seen as a complementary process to traditional image retrieval. For this, it can act as an independent part in a larger process.
  • the invention can thus cause a split of the originally unique search space (centered around the request image) into several (non-related) search spaces, if two elements at one stage of the search are designated as relevant but are distant in the space of the descriptors, thus causing a multi-modal partitioning of the descriptor space.
  • N per t be the total number of images designated as relevant by the user and N- rt the total number of negative returns (ie irrelevant images) designated by this same user.
  • V, (t ⁇ 0) ⁇ Q .e " ⁇ a > where X Q is a weighting assigned to the query image Q.
  • V (i) represents the simple similarity value of the index image i with respect to the request image Q. From this moment, the user has the possibility of designating within the together E pre s. images that he considers relevant or not, before relaunching the search.
  • V t (t) ie E tol.
  • V t (t) ⁇ ⁇ .e o "-i TM fi.a + V ⁇ , ⁇ - h .e o - * ⁇ i ( ⁇ " ⁇ ) > - ⁇ W e ⁇ > (1)
  • ⁇ ⁇ and ⁇ Nk are the respective weights of the images which have respectively been evaluated by the user as relevant and irrelevant.
  • a level of relevance for example VA, 3 A , and - 4/4 for three images submitted to it as part of a 4-point relevance rating
  • new weighting factors can be introduced for each level of relevance so that the most high in absolute value are the most influential in the final result.
  • the images or objects proposed to the user will be the most distant images of the zones created by the irrelevant objects.
  • the algorithm in this case does not predict a relevant image, but rather the set of "least irrelevant" images.
  • Each picture inserted in E tot . creates a zone or field of influence around its position in the descriptor space. This influence is either positive in the case of a relevant image, or negative in the case of an irrelevant image.
  • the calculation of the N pres . new images presented to the user will depend on the topology of the zone of influence created by the summation of the zones associated with the set of images found in E.
  • the calculation of the relevance value associated with the index image i then depends on the set of images of E per t. assigned a positive coefficient and images of the set E- ( assigned a negative coefficient reflecting the irrelevance of this group.
  • the lifetime associated with an image of E decreases by one unit. When it reaches zero, it is removed from the list.
  • the image query continues to play the role of a relevant return.
  • the lifetime ⁇ Q (t) can then be different from that of each of the other images of the base or the sub-base.
  • the lifetime ⁇ ç (t) of the request image may be greater than the lifetime ⁇ of each of the other images of the database or sub-base, by the specific character of the request image.
  • immediate-term memory is defined as opposed to: - a short-term memory, taking into account only the last loop of relevance, as is regularly the case in search engines;
  • an image will play a role only temporarily and thus allow the user to change his choice during the image search phase. Indeed, this relevance duration assigned to the images thus affects a learning inertia to the indexing engine that takes into account this possible change of direction of the user. Indeed, in our case, an image designated as relevant at time t may not be at time t + ⁇ , or even in the extreme case become undesirable.
  • step (a) the user, during step (a), evaluated the image I p i as being relevant.
  • the consequence of the relevance loop is a stretch of the area of influence to the position of I p i in the descriptor space.
  • step (a) the user, during step (a), evaluated the images I p2 and I p3 as relevant.
  • the consequence of the relevance loop is a stretch of the area of influence to the positions of I p2 and I p3 in the descriptor space.
  • step (a) confirms its assessment of the 3rd iteration (relevance of images I and I p2 p3). Finally, we obtain a zone of influence centered on the images I p2 and I p3 , representative of the similarity of images with respect to the request image Q in the meaning understood by the user.
  • step (c) of the method according to the invention consists of a selection, by the indexing engine, of the images presenting the values of
  • the presentation of the images thus selected is not made randomly, but is presented in a specific order.
  • this way of operating can have advantages such as: direct the user more quickly to satisfactory images; - decrease the influence of the neighboring images presented to the user on his choice.
  • the notion of similarity is indeed also relative to its environment. The user can indeed designate a first image as being relevant when it is surrounded by certain images, and may be designated as irrelevant by the same user in another context.
  • a variant of the invention consists in positioning the images in the space of the descriptors, but the objects of which these images are composed. This relationship is particularly interesting in the context of a process of relevance looping, the notion of similarity between two images being intimately linked to the similarity of the different objects that compose it.
  • the relevance looping is therefore the ideal step to link objects and global images. For this purpose, each time the user selects a relevant image P ⁇ in the image space, all the objects composing this image will be considered as relevant and will then be treated as such. The user then has access to all the k objects whose relevance value V (i) is the most important.
  • the processing then comprises the two operations mentioned above during the implementation of step (b), said "image elements” then being “image objects”, with in addition a final operation consisting of a summation of the values, of relevance (previously calculated) of the different objects composing the image considered, thus affecting each image the value of relevance sought for the current iteration.
  • the algorithm will highlight all the objects common to all the images selected by the user (the summation increasing the area of influence surrounding them).
  • a color descriptor based on the colorimetric average of the image, calculated in the HSV color space
  • the Applicant has renewed relevance looping experiments for different categories of images.
  • Figure 6 shows the evolution of the relevance P (t) as a function of the use of the positive (i.e. relevant) and / or negative (i.e. irrelevant) returns.
  • Curve 10 gives the relevance result when the user is allowed (in step (a)) to provide positive and negative responses.
  • Curve 20 gives the result of relevance when authorizing the user
  • step (in step (a)) to provide only negative responses.
  • Curve 30 gives the relevance result when the user is allowed (in step (a)) to provide only positive responses.
  • the present invention is not limited to the exemplary image search method as described above, but to any application corresponding to the inventive concept emerging from the present text and the various figures.
  • the present invention extends to the image search device capable of implementing the method according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

La présente invention propose un procédé et un dispositif permettant d'améliorer la pertinence des images présentées à un utilisateur lors d'une phase de recherche d'images au sein d'un moteur d'indexation. Le procédé inclue en premier lieu une étape d'évaluation, par un utilisateur du procédé ou du dipositif, de la pertinence ou de la non-pertinence, suivie d'une étape d'association à chacune des images déclarées pertinentes (ou non pertinentes) d'une valeur de pertinence, celle-ci créant une zone d'influence (ou champ d'influence) autour de l'image considérée, tous ces champs étant ensuite cumulés. Les images présentées finalement à l'utilisateur sont celles possédant les valeurs de pertinence les plus élevées.

Description

RECHERCHE AUTOMATIQUE DE SIMILARITE ENTRE IMAGES INCLUANT UNE INTERVENTION HUMAINE
Domaine technique L'objet de la présente invention concerne une recherche d'images pour trouver une similarité visuelle entre des images contenues dans une base d'images et au moins une image requête.
Cette recherche de similarité est habituellement réalisée par un moteur de recherche ou moteur d'indexation tournant sur un processeur, les images étant typiquement stockées dans une mémoire numérique, et un terminal permet de présenter le résultat à un utilisateur du procédé de recherche, ce dernier pouvant aussi intervenir dans le procédé par l'intermédiaire d'interfaces (clavier, souris, etc.).
Un objectif de l'invention est de tenter de prendre en compte, dans une recherche d'images automatique, la subjectivité de l'utilisateur face à la notion de perception visuelle lorsque celui-ci cherche une similarité entre des images et une image requête.
La difficulté principale réside dans le fait que les algorithmes de recherche d'images (ou autres) étant déterministes, ils convergent toujours vers un même ensemble de résultats à partir d'une même requête, alors qu'un utilisateur qui fait intervenir sa subjectivité pour comparer des images donne un résultat pouvant être différent d'un autre utilisateur. Pour illustration, un moteur de recherche de tumeurs dans une application d'imagerie médicale pourra exécuter une recherche de façon entièrement automatique étant donné que la subjectivité n'y a que très peu de place, alors que le classement d'images de vacances peut faire intervenir plus de subjectivité si tant est que la requête est généraliste. A un niveau lié à une part de subjectivité importante, toute tentative de calcul de similarité visuelle déterministe est donc vouée à l'échec de façon plus ou moins importante selon la pertinence des processus de comparaison d'images. Pour palier ce problème, l'intervention humaine (i.e. l'utilisateur du système de recherche) reste obligatoire afin de réduire le biais de la recherche. Le système va alors effectuer un apprentissage de la notion de similarité propre à un utilisateur particulier en réglant les paramètres intrinsèques au moteur de calcul de similarité grâce à l'action de l'utilisateur qui va approuver ou non les résultats présentés au cours de la phase de recherche. Cette phase d'apprentissage s'appelle aussi un bouclage de pertinence.
Ces réglages des paramètres intrinsèques au moteur sont de faibles amplitudes car ils ne font que modifier l'importance relative accordée aux différents descripteurs. Ainsi, un bouclage de pertinence ne peut que raffiner une recherche mais en aucun cas palier un mauvais choix des descripteurs. Pour illustrer la notion de phase d'apprentissage, on introduit Z), qui est la fonction de similarité visuelle associée à un utilisateur Uj, et I\ et /2 deux images de la base. Sans bouclage de pertinence (c'est-à-dire sans pouvoir distinguer CZ1 de Ui), on a Di(Zi, Z2) = Z)2(Zi, II) = Z), (Zi, Z2/ Prendre cette égalité comme postulat consiste donc à dénier la subjectivité de l'être. Il faudra donc considérer les résultats donnés par Uj et CT? pour distinguer
Figure imgf000004_0001
Ij). Et, en poussant la réflexion encore plus loin, on peut aussi considérer que Di,ti(Ii, I2) #Dlrt2(Ii, I2), où Di;ti correspond à la similarité perçue par l'utilisateur Ui à un instant ti, pour prendre ainsi en compte le fait qu'un même utilisateur peut modifier sa notion de similarité visuelle au cours du temps. Cet exemple montre la complexité de simuler précisément cette notion.
La seule façon de tenir compte de la subjectivité de l'utilisateur semble donc bien être d'utiliser ce dernier pour paramétrer la boucle de traitement.
On considère généralement que la similarité entre deux images n'est qu'une somme pondérée de différences entre les descripteurs. Considérons trois grandes familles de descripteurs : la couleur (C), la texture (T) et la forme (F).
Lors du processus du calcul de similarité, on pondère l'importance relative des descripteurs. Ainsi, la fonction de similarité D(Ii, I2), peut se noter :
D(I1, 12) = α C(I1, I2) + β T(I1, 12) + γF(I,, I2)
La problématique se posant dès lors est celle de l'affectation de valeurs aux coefficients de pondération. C'est à ce niveau qu'intervient la subjectivité humaine. Etat de la technique
Certains systèmes se sont axés sur le développement d'une interface homme- machine permettant de régler les poids que l'on souhaite accorder à chaque descripteur lors de la phase de recherche. Mais cette approche a de nombreux inconvénients :
— le processus de recherche devient très lourd pour l'utilisateur, car plus l'on désire de précision, plus l'utilisateur va devoir spécifier de paramètres ;
— une bonne compréhension de l'utilisation faite des coefficients par le moteur d'indexation est nécessaire. Or, ceci est très rarement le cas, particulièrement pour une application grand public ;
— l'utilisateur n'a aucune idée de la distribution statistique des signatures dans la base d'images et ne peut donc en tenir compte lors du réglage des paramètres ;
— modéliser sa propre appréciation visuelle par une série de chiffres est quelque chose d'excessivement difficile.
C'est pour remédier à ces problèmes que les méthodes actuelles de bouclage de pertinence ont été développées.
En référence à la figure 1 , une recherche d'images classique avec bouclage de pertinence comprend :
— une première étape préliminaire 1 de recherche d'images similaires ;
— une deuxième étape 2 durant laquelle l'utilisateur se voit présenter N réponses que le système juge pertinentes selon des critères automatiques implémentés par les auteurs de l'application. Une première méthode consiste en ce que l'utilisateur sélectionne, parmi les images réponses, les images qui lui semblent correspondre au mieux à sa requête (voir par exemple Y. chen et Coll. « One-Class SVM for Learning in Image Retrieval », dans IEEE International Conférence on Image Processing, Thessaloniki, Grèce 2001). Dans une deuxième méthode, il pourra a contrario préciser celles qu'il juge non pertinentes (voir par exemple Y. Rui et Coll. « Relevance Feddback : A Power Tool for Interactive Content-Based Image Retrieval », dans Storage and Retrieval for Image and Video Databases (SPIE) pages 25-36, 1998). Dans une troisième méthode, telle que celle décrite par Y Rui et Coll. « A relevance Feedback Architecture in Content-Based Multimedia Information » (IEEE Workshop on Content-Based Access of Image and Video Libraries, pages 82-89, Puerto Rico, Juin 1997), on demande à l'utilisateur de classer toutes les images retournées par le système. À l'inverse, dans « Incrémental Relevance Feedback » de LJ. Aalbersberg (Proceedings of the Fifteenth Annual International ACM SIGIR Conférence on Research and Development in Information Retrieval, pages 11-22, Copenhague, 1992), le moteur ne présente qu'un seul document à l'utilisateur et lui demande immédiatement de confirmer ou non la pertinence de ce dernier. Dans « Interactive Evaluation of the Ostensive Model Using a New Test Collection of Images with Multiple Relevance Assessments » de I. Campbell (Information Retrieval , 2(1) : 89-114, 2000), est présenté une interface sous forme d'arbre. A chaque nœud correspond une image, et si l'utilisateur juge cette image pertinente, alors il déplie la branche correspondante et navigue de cette manière au sein de la base d'image.
— une troisième étape 3 de bouclage de pertinence. Les manières d'orienter la requête étant très intuitives pour l'utilisateur, elles permettent à l'application de diriger plus précisément la recherche au cours de la prochaine étape de bouclage de pertinence. Le but d'un algorithme de bouclage de pertinence est donc d'exploiter au mieux le retour de l'utilisateur pour, en quelque sorte, modéliser sa subjectivité.
Le bouclage de pertinence doit donc permettre à l'application de se rapprocher de l'image idéale censée représenter ce que souhaite l'utilisateur. Nous noterons Qo l'image requête initiale et Q0 sa signature (ou encore ses caractéristiques visuelles définies par un ensemble de descripteurs déterminés) dans l'espace des descripteurs.
Il est à noter qu'un espace des descripteurs est défini par des axes donnant chacun l'importance d'un des descripteurs déterminés dans une image, les images étant en général positionnées dans cet espace. De la même manière, on notera Ip' et /1 les images respectivement pertinentes et non pertinentes spécifiées par l'utilisateur.
Un premier type de bouclage de pertinence connu est celui mis en œuvre par l'algorithme de Rocchio (J. Rocchio « Relevance Feedback in Information Retrieval, pages 313-323 », dans The Smart Retrieval System-Experiments in Automatic Document Processing. Gérard Slaton, prentice-hall édition, 1971).
II s'agit ici de déplacer le point modélisant l'image requête dans l'espace des descripteurs vers une seconde image requête "idéale", cette dernière n'existant pas obligatoirement dans la base. Un deuxième type de bouclage de pertinence connu est basé sur un algorithme de re-pondération, encore appelé méthode de l' écart-type. On pourra par exemple se référer à « Image Retrieval by Examples » de R. Brunelli et O. Mich (IEEE Transactions on Multimedia, 2(3) : 164-171, 2000).
Il s'agit ici de prendre en compte la forme de la distribution statistique des images retournées par l'utilisateur. Si, par exemple, l'écart-type de la distribution des réponses qu'il juge pertinentes est importante pour le descripteur i, cela signifie certainement que ce dernier ne joue par un rôle discriminant important. Il va donc falloir affecter à ce dernier une faible pondération. Ainsi, la pondération de ce descripteur i est inversement proportionnelle à son écart type. Si l'on considère que la fonction de similarité entre deux signatures est basée sur une forme sphérique en utilisant la norme Euclidienne, cette re-pondération revient alors à dilater ou à contracter les axes principaux de l'espace des descripteurs, notamment en considérant la définition matricielle de la distance entre deux vecteurs 7 et Q : D (1,Q) = (I - Qf A(I - Q) où A est la matrice de similarité symétrique de dimension égale au nombre de descripteurs définissant l'espace, et peut s'écrire A = [αy] avec ay ≥0 et aυ = aβ. L'isosurface de cette distance est alors une ellipse.
Pour le bouclage de pertinence, Y. Shikawa et coll. dans « Mindreader : Query databases through multiple examples (International Conférence on Image Processing, Rochester, New- York, USA, Septembre 2002) et Y. Rui et coll. dans « A Novel Relevance Feedback Architecture in Image Retrieval » (ACM Multimedia (2), pages 67-70, 1999), proposent aussi de modifier les coefficients de corrélation entre les différents descripteurs afin d'affiner la modélisation de l'espace de perception de la similarité visuelle.
De façon évidente, il est tout à fait envisageable de combiner ces approches avec celle de Rocchio.
D'une façon générale, toutes ces approches (Rocchio et Re-pondération) consistent à effectuer des déformations géométriques de l'espace des descripteurs afin de se rapprocher le plus pertinemment possible de l'espace percepruel subjectif de l'utilisateur. Ces déformations se caractérisent par une modification de la métrique associée. Ces méthodes géométriques sont en outre unimodales, ce qui est une limitation du modèle perceptuel (voir par exemple « Indexation d'images par le contenu et recherche interactive dans les bases généralistes » de J. Fournier et Coll., PhD thesis, Université de Cergy-Pontoise, octobre 2002).
Un troisième type de bouclage de pertinence connu est basé sur des modèles probabilistes.
Un premier modèle probabiliste est connu sous le nom de modèle (ou système) de PicHunter, dans lequel on affecte à chaque image de la base une valeur de probabilité qui sera réévaluée à chaque itération du bouclage de pertinence. Cette valeur représente la probabilité a priori P(Ii = Iq) que l'image I1 de la base soit l'image requête Iq par l'utilisateur.
Dans ce modèle, on prend en compte l'historique des actions At de l'utilisateur face à l'ensemble des images D1 qui lui ont été présentées à l'itération t du bouclage de pertinence, pour avoir une probabilité que l'image /, soit l'image Iq. II s'agit alors de calculer la probabilité du choix de l'utilisateur face aux images qui lui sont proposées, en utilisant un modèle dit utilisateur qui part du principe que ce choix est indépendant de l'utilisateur. On utilise à cet effet les résultats des expériences psychophysiques menées par les auteurs.
Le calcul de probabilité inclue notamment le calcul de la fonction suivante :
Jg )
Figure imgf000008_0001
où d(I,Jq) est la distance entre les signatures associées respectivement à /, et Iq, et σ un paramètre empirique. On peut alors déterminer la probabilité a priori pour chacune des images de la base d'être Iq, et présenter alors celles présentant les scores les plus importants. Un deuxième modèle probabiϋste est le modèle par décision Bayesienne (voir par exemple « Relevance Feedback and Category Search in Image Databases » de C. Meilhac et Coll. dans IEEE International Conférence on Multimedia Computing and Systems, Florence, Italie, Juin 1999), qui catégorise l'ensemble de la base en deux classes : pertinent ou non pertinent. Encore une fois, il va s'agir de déterminer les probabilités d'appartenance a posteriori à la classe CR (pertinent) ou CN (non pertinent) de chacune des images /, de la base. Cette méthode ne cherche à faire aucune hypothèse sur la forme de la distribution statistique des descripteurs des images. Il s'agit donc d'une méthode non paramétrique. La détermination des densités de probabilité se fait par l'utilisation d'un noyau de Parzen Gaussien.
Le choix de l'utilisation des noyaux de Parzen pour déterminer la densité de probabilité permet de ne faire aucune hypothèse sur la forme de la distribution, mais elle nécessite un nombre élevé d'exemples. Ce nombre requis croit de façon exponentielle avec le nombre de dimensions de l'espace des descripteurs. De plus les calculs utilisés ne sont applicables que dans l'hypothèse où tous les descripteurs sont indépendants, ce qui représente une grande limitation de ce modèle.
Un troisième modèle probabiliste est à base de Machines à Vecteurs de Support (ou SVM, pour « Support Vectors Machines » en anglais). II s'agit ici d'effectuer le bouclage de pertinence par une approche de type classification. On cherche à séparer la base en deux groupes : les images pertinentes et les images non pertinentes.
L'utilisation d'un réseau de neurones de type perceptron permettait d'effectuer cette classification en évaluant la position des points par rapport à l'hyperplan séparateur dans l'espace des descripteurs. L'inconvénient de ce type de méthode est qu'il renvoie un résultat binaire : pertinent CR OU non pertinent
CN.
L'utilisation des Machines à Vecteurs de Support (SVM) permet de palier cet inconvénient en proposant de fournir en outre la distance à l'hyperplan en supplément d'information. Cette méthode cherche à construire un hyperplan optimal, c'est à dire maximisant la distance entre celui-ci et les points d'apprentissage.
Cependant, les calculs mis en œuvre dans cette méthode sont complexes à mettre en œuvre, même s'ils ont été simplifiés par le biais d'une utilisation d'une fonction dite noyau de type gaussien véhiculant la notion de distance entre deux vecteurs (et donc de similarité) dans l'espace des descripteurs ainsi qu'un paramètre empirique.
Dans le cas de l'application des SVM au bouclage de pertinence, on utilise donc l'algorithme comme un classificateur. L'utilisateur, en choisissant des images pertinentes (voir « One-Class SVM for Learning in Image Retrieval » de
Y. Chen et Coll., dans IEEE International Conférence on Image Processing,
Thessaloniki, Grèce, 2001) ou non-pertinentes (voir « Support Vector Machine for Learning Image Retrieval » de L. Zhang et Coll., dans IEEE International
Conférence on Image Processing, Thelassoniki, Grèce, 2001), initialise alors la base d'apprentissage servant de support à la classification.
De toutes ces techniques présentées précédemment, des limitations subsistent.
Les techniques de Rocchio et de re-pondération font une hypothèse forte: les images similaires pour l'utilisateur sont relativement proches dans l'espace des descripteurs. Or, faire cette hypothèse requiert d'avoir en sa possession des descripteurs reflétant parfaitement la perception humaine, ce qui n'est jamais le cas. D'autre part, la re-pondération s'effectue généralement en privilégiant une direction dans l'espace des descripteurs, c'est-à-dire un descripteur particulier.
En conséquence, ces techniques devront itérer un grand nombre de fois avant d'atteindre le désir de l'utilisateur. Les méthodes bayesiennes et les méthodes à base de SVM font une classification des images dans l'espace des descripteurs. A ce titre, ce sont des méthodes d'apprentissage lourdes en complexité calculatoire.
Il est aussi important de souligner les manques de la plupart de ces méthodes: • L'historique. Très peu de ces méthodes prennent en compte les choix passés de l'utilisateur en termes d'images pertinentes ou non pertinentes.
• Le changement d'objectif de l'utilisateur. Les méthodes existantes ne prennent pas en compte ce critère interdisant donc à l'utilisateur de naviguer au sein de la base. « La multimodalité. Comme déjà mentionné, des images proches au sens de la similarité visuelle ne le sont pas forcément au sens des descripteurs. Il convient donc d'avoir plusieurs sources de pertinence ou de non pertinence dans l'espace des descripteurs.
• La non pertinence. Toutes les méthodes existantes ne prennent pas en compte la non pertinence des images.
Un premier objectif de la présente invention est de réaliser un bouclage de pertinence dans le cadre d'une recherche de similarité entre des images et au moins une image requête, qui est peu complexe à mettre en œuvre.
Un deuxième objectif de l'invention est de réaliser un bouclage de pertinence au moyen d'une méthode non-paramétrique, n'influençant aucunement l'espace des descripteurs ou les distances entre images.
Un troisième objectif de l'invention est la prise en compte, lors du bouclage de pertinence, des retours négatifs de l'utilisateur (i.e. retours de non-pertinence d'images qui lui sont présentées). Un quatrième objectif de l'invention est une prise en compte mesurée, par l'algorithme, des retours utilisateur d'itérations précédentes. En particulier, l'algorithme tiendra compte dans une certaine mesure des possibles changements de choix de l'utilisateur au cours de la phase de recherche.
Un cinquième objectif de l'invention est d'avoir une présentation intelligente des images retenues à l'utilisateur, de sorte à avoir une présentation plus pertinente qu'une simple présentation d'une liste d'images. L'invention atteint notamment ces objectifs en proposant, selon un premier aspect un procédé de recherche d'images pour trouver une similarité visuelle entre des images contenues dans la base d'images et au moins une image requête, les images ayant une signature déterminée (ou encore un ensemble de descripteurs déterminés), des éléments des images ainsi qu'au moins un élément de l'image requête étant positionnés dans un espace des descripteurs défini par des axes donnant chacun l'importance d'un des descripteurs déterminés dans un élément d'image, caractérisé en ce qu'il comprend la mise en œuvre itérative des étapes suivantes : (a) évaluation par un utilisateur d'une pertinence visuelle ou d'une non-pertinence visuelle d'au moins une image parmi une pluralité d'images qui lui sont présentées, par rapport à l'image requête ;
(b) calcul d'une valeur de pertinence affectée à chaque image, comprenant :
— un calcul d'un champ d'influence s'étendant autour de chaque élément de chaque image évaluée lors de l'étape (a), de sorte que la valeur absolue de ce champ d'influence diminue d'autant que l'on s'éloigne, dans l'espace des descripteurs, de l'élément d'image évaluée considéré;
— pour chaque élément d'image, une sommation des valeurs des différents champs d'influence ressentis par l'élément d'image considéré, affectant ainsi à chaque élément d'image une valeur de pertinence pour l'itération courante ;
(c) sélection, par le moteur d'indexation, des images présentant les valeurs de pertinence les plus grandes, pour les représenter de nouveau à l'utilisateur lors de la prochaine itération.
Des caractéristiques particulières de ce procédé de recherche d'images sont : — dans une première configuration, lesdits éléments des images sont les images elles-mêmes prises dans leur ensemble ;
— dans une deuxième configuration, lesdits éléments des images sont des objets des images, chaque image étant composée d'une pluralité d'objets déterminés, et l'étape (b) comprend en outre une dernière opération consistant en une sommation des valeurs de pertinence (précédemment calculées) des différents objets composant l'image considérée, affectant ainsi à chaque image la valeur de pertinence recherchée pour l'itération courante ;
— dans le cas où une image est évaluée lors de l'étape (a) comme étant pertinente, le champ d'influence calculé lors de l'étape (b) a une valeur positive ; — dans le cas où une image est évaluée lors de l'étape (a) comme étant pertinente, le champ d'influence calculé lors de l'étape (b) a une valeur négative.
— l'étape (b) comprend en outre la sommation, pour chaque élément d'image, des valeurs de pertinence de l'itération courante avec des valeurs de pertinence d'itérations précédentes ; — l'étape (b) inclut en outre, avant l'opération de sommation des valeurs de pertinence de l'itération courante avec des valeurs de pertinence d'itérations précédentes, une opération de pondération, pour chaque élément d'image, des valeurs de pertinence de sorte à atténuer d'autant leur influence sur le résultat de cette sommation qu'elles sont issues d'itérations anciennes ; — la pondération des valeurs de pertinence affectées à chaque élément de l'image requête est différente de la pondération des valeurs de pertinence affectées à chaque élément des autres images, en ce sens que leur influence respectives sur le résultat de l'opération de sommation est moins atténuée selon leur ancienneté ;
— l'étape (b) comprend en outre une étape de pondération qui attribue un poids différent aux champs d'influence selon que l'image associée a été évaluée lors de l'étape (a) comme étant pertinente ou non-pertinente ;
— lors de l'étape (a), l'utilisateur donne en outre un niveau de pertinence ou de non-pertinence à chaque image qu'il évalue, et en ce que chaque champ d'influence calculé lors de l'étape (b) est d'autant plus étendu que ce niveau de pertinence ou de non-pertinence est, en valeur absolue, élevé ;
— les différentes images sélectionnées lors de l'étape (c) sont présentées à l'utilisateur dans un ordre tenant compte des valeurs de pertinence qui leur ont été affectées lors de l'étape (b) ;
— le procédé comprend en outre, préalablement aux étapes d'itération, une évaluation automatique d'une similarité visuelle de différentes images avec l'image requête ; et une sélection d'un nombre déterminé d'images évaluées comme étant les plus similaires avec l'image requête, ces images évaluées étant alors les images présentées à l'étape (a).
Selon un deuxième aspect, l'invention propose un dispositif mettant en œuvre ledit procédé avec ou sans les caractéristiques précédemment listées. Egalement, l'invention propose un programme d'ordinateur comportant des moyens de codage pour la mise en œuvre du procédé proposé.
D'autres aspects, buts et avantages de la présente invention apparaîtront mieux à la lecture de la description détaillée suivante de mise en œuvre de procédés et dispositifs préférés de celle-ci, donnés à titre d'exemple non limitatif et en référence aux dessins annexés sur lesquels :
La figure 1 représente de façon très générale les différentes étapes d'un procédé de recherche d'images incluant un bouclage de pertinence.
La figure 2 représente l'évolution dans le temps (ou au cours d'itérations) de la région de recherche d'images dans l'espace des descripteurs choisi comme cadre de la mise en œuvre du procédé selon l'invention.
Les figures 3 et 4 représentent un exemple de mise en œuvre d'un procédé de recherche d'images selon l'invention, dans le cas où le retour de l'utilisateur est positif. La figure 3 est une représentation graphique d'images dans un espace des descripteurs à 2 dimensions. La figure 5 représente un exemple de mise en œuvre d'un procédé de recherche d'images selon l'invention, dans le cas où le retour de l'utilisateur est négatif, dans une représentation graphique d'images dans un espace des descripteurs à 2 dimensions.
La figure 6 représente la synthèse de résultats expérimentaux montrant l'influence de la nature des retours (négatifs et/ou positifs) de l'utilisateur sur la pertinence obtenue par le procédé selon l'invention.
La figure 7 représente la synthèse de résultats expérimentaux montrant l'influence du changement d'objectif de l'utilisateur sur la pertinence obtenue par le procédé selon l'invention. Selon l'invention, les images sont stockées dans une base d'images. Cette base d'images peut être divisée en sous-bases d'images définissant chacun un groupe d'images pour une vérité terrain déterminée.
Les images ou objets d'images (encore appelés de façon générique « éléments d'images ») selon l'invention ont une signature déterminée, c'est à dire qu'en d'autres termes ils sont décrits par un ensemble de descripteurs déterminés.
Ces éléments d'images sont positionnés dans un espace des descripteurs défini par des axes donnant chacun l'importance d'un des descripteurs déterminés dans un élément d'image. Les éléments d'image sont ainsi représentés par des points dans l'espace des descripteurs, chacun ayant ainsi une position caractérisant la signature de l'élément d'image considéré dans l'espace des descripteurs utilisé (voir par exemple la figure 2).
Le procédé selon l'invention comprend avantageusement les étapes suivantes, mises en œuvre itérativement, jusqu'à obtenir un résultat satisfaisant, ou présumé satisfaisant : (a) une évaluation par un utilisateur d'une pertinence visuelle ou d'une non- pertinence visuelle d'au moins une image parmi une pluralité d'images qui lui sont présentées, par rapport à au moins une image requête ;
(b) un bouclage de pertinence ;
(c) une sélection des images présentant les pertinences les plus grandes, pour les représenter de nouveau à l'utilisateur lors de la prochaine itération.
Lors de l'étape (a), l'utilisateur se voit donc présenter, par exemple sur un terminal d'affichage de type écran, un certain nombre d'images auxquelles il doit affecter une valeur correspondant à son jugement quant à la pertinence des réponses qui lui sont présentées. Dans le cadre de l'invention, on choisira une étape (a) (consistant en une intervention de l'utilisateur dans la boucle de recherche) au cours de laquelle l'utilisateur aura le choix entre déclarer une image pertinente ou une image non- pertinente. Typiquement, l'utilisateur attribuera une valeur positive en cas de pertinence et négative dans le cas d'une non-pertinence. Bien entendu, l'invention prévoit un raffinement du type de choix donné à l'utilisateur, celui-ci pouvant donner en outre un niveau de pertinence ou de non- pertinence à chaque image qu'il évalue.
En tous les cas, l'étape (b) de bouclage de pertinence prendra en compte l'évaluation de pertinence de quelques unes des images qui sont présentées à l'utilisateur pour influer sur la pertinence de toutes les images de la base ou de la sous-base d'images considérée.
Le bouclage de pertinence selon l'étape (b) fait directement appel à une action de l'utilisateur qui en attend un retour instantané. Cela situe le processus à un point critique et nécessite une faible complexité de mise en œuvre du procédé selon l'invention, afin de fonctionner en temps réel. Compte tenu de l'importance des dimensions de l'espace des descripteurs dans lequel on peut travailler, ainsi que le nombre important d'images que peut contenir une base ou une sous-base, ce point est loin d'être trivial et peut rapidement mener à des impossibilités pratiques. Pour cela, il est souhaitable d'évaluer, à chaque étape critique de la mise en place de l' algorithme, l'évolution de la complexité associée, afin de ne pas dépasser un taux de complexité critique.
L'étape (b) de bouclage de pertinence comprend un calcul d'une valeur de pertinence affectée à chaque image, comprenant : — un calcul d'un champ d'influence s'étendant autour de chaque élément de chaque image évaluée par l'utilisateur lors de l'étape (a), de sorte que la valeur absolue de ce champ d'influence diminue d'autant que l'on s'éloigne, dans l'espace des descripteurs, de l'élément d'image évaluée considéré; — pour chaque élément d'image, une sommation des valeurs des différents champs d'influence ressentis par l'élément d'image considéré, affectant ainsi à chaque élément d'image une valeur de pertinence pour l'itération courante.
Pour des raisons de simplicité d'utilisation et de portabilité, le bouclage de pertinence doit être vu comme un processus complémentaire de celui de recherche d'images traditionnel. Pour cela, il peut agir comme une partie indépendante dans un procédé plus étendu.
FEUILLE RECTIFIEE (REGLE 91) ISA/EP Ces champs d'influence définissent alors un espace de recherche (pour les images se trouvant dans le champ d'influence d'une image évaluée comme pertinente lors de l'étape (a)), un espace de non-recherche (pour les images se trouvant dans le champ d'influence d'une image évaluée comme non-pertinente lors de l'étape (a)), ou un espace de recouvrement lorsqu'un espace de non recherche recouvre un espace de recherche.
L'invention peut ainsi entraîner une scission de l'espace de recherche originellement unique (centré autour de l'image requête) en plusieurs espaces de recherche (non connexes), si deux éléments à une étape de la recherche sont désignés comme pertinents mais sont éloignés dans l'espace des descripteurs, provoquant ainsi un partitionnement multi-modal de l'espace des descripteurs.
Soit Npert le nombre total d'images désignées comme pertinentes par l'utilisateur et N—rt le nombre total de retours négatifs (i.e. images non- pertinentes) désignés par ce même utilisateur. La somme de ces deux types d'images est notée Nbouci- Une recherche simple correspond alors au cas où Npe,t = /V p-erl = 0.
Si on désigne maintenant par E l'ensemble des objets ou images entrant dans le bouclage de pertinence. Cet ensemble est composé des ensembles Eper/ , E— et Q désignant respectivement les images pertinentes, non pertinentes et l'image requête initiale. Nous avons donc E = Εper, u E— t u
Q. On note Etot l'ensemble des images de la base ou de la sous-base.
Dans le cas initial (i.e. à l'itération 0, où au temps t - 0, t étant incrémenté de 1 à chaque itération), on a :
V,(t ≈ 0) = τQ.e «ι a> où XQ est une pondération attribuée à l'image requête Q.
Les images retenues comme étant similaires à Q sont alors les k images ayant les valeurs de pertinence les plus importantes. L'ensemble de ces images
FEUILLE RECTIFIEE (REGLE 91) ISA/EP est noté Epres. {Npres) où Nprβs. représente le nombre d'images présentées à l'utilisateur. Pour simplifier la notation, cet ensemble sera désigné par Epres..
Ainsi dans le cas initial, V(i) représente la valeur de similarité simple de l'image d'index i par rapport à l'image requête Q. Dès cet instant, l'utilisateur a la possibilité de désigner au sein de l'ensemble Epres. les images qu'il juge pertinentes ou non, avant de relancer la recherche. Le calcul de Vt(t), i e Etol., s'écrit alors :
"pcrt.
Vt(t) = τβ.e o«-i™fi.a + Vχ , τ-h .e o-*<i(<»Λ )> - ∑ We ^> (1)
où τ^ et τNk sont les poids respectifs des images qui ont été respectivement évaluées par l'utilisateur comme étant pertinentes et non-pertinentes. Dans le cas particulier où l'utilisateur a, en outre de donner un choix quant à la pertinence ou à la non-pertinence d'images qui lui sont présentées, la possibilité d'attribuer un niveau de pertinence (par exemple VA, 3A, et - 4/4 pour trois images qui lui sont présentées dans le cadre d'une notation de niveau de pertinence sur 4), on pourra par exemple introduire de nouveaux coefficients de pondération par niveau de pertinence de sorte que les niveaux évaluées les plus élevés en valeur absolue soient les plus influents dans le résultat final. On pourra aussi jouer sur l'expression même du potentiel (e"d(M)).
La détermination des valeurs de Vtft) e W ne nécessite aucune normalisation. L'ensemble de ces valeurs seront simplement triées par ordre croissant, pour n'en retenir que les k plus importantes.
Ainsi, le cas particulier où il n'y aurait que des images non pertinentes dans la boucle garde un sens. En effet, dans ce cas, les images ou objets proposés à l'utilisateur seront les images les plus éloignées des zones créées par les objets non pertinents. L'algorithme dans ce cas ne prédit pas une image pertinente, mais plutôt l'ensemble des images les "moins non-pertinentes".
Dans le cadre de l'invention, on privilégiera plutôt le fait de ne pas considérer les retours évalués (lors de l'étape (a)) comme étant pertinents de la même manière que ceux évalués comme étant non-pertinents. En effet, de récentes études (voir par exemple Y. chen et Coll. « One-Class SVM for Learning
FEUILLE RECTIFIEE (REGLE 91 ) ISA/EP in Image Retrieval », dans IEEE International Conférence on Image Processing, Thessaloniki, Grèce 2001) ont montré qu'il serait sans doute incorrect de considérer de la même manière les retours positifs (i.e. pertinents) et les retours négatifs (i.e. non-pertinents), de par le fait que les retours positifs sont sémantiquement liés (partant du principe que l'utilisateur ne change pas d'avis au cours du processus) tandis que les retours négatifs n'ont a priori aucune raison de l'être. Ainsi, il est préférable que l'algorithme de bouclage de pertinence tienne compte du fait que les retours utilisateurs positifs ou négatifs ne véhiculent pas le même type d'information. Ces retours seront donc plutôt traités de façon asymétrique. Cette opération pourra alors se réaliser dans la formule (1) en différenciant par exemple les poids τm de r/>*.
Chaque image insérée dans Etot. crée donc une zone ou champ d'influence autour de sa position dans l'espace des descripteurs. Cette influence est soit positive dans le cas d'une image pertinente, soit négative dans le cas d'une image non pertinente. Ainsi, le calcul des Npres. nouvelles images présentées à l'utilisateur dépendra de la topologie de la zone d'influence créée par la sommation des zones associées à l'ensemble des images se trouvant dans E.
Le calcul de la valeur de pertinence associée à l'image d'index i dépend alors de l'ensemble des images de Epert. affectées d'un coefficient positif et des images de l'ensemble E— ( affectées d'un coefficient négatif reflétant le caractère non pertinent de ce groupe.
Optionnellement, on introduit dans les différentes pondérations notées r, 0
= Q, Pk , ou N/J dans la formule (1) une variable d'évanescence dans le temps
(ou plus exactement selon l'ancienneté des itérations) qui limitera la portée temporelle d'un événement, affectant ainsi à une valeur de pertinence d'une image une durée de vie dans la boucle de pertinence. On notera donc τt(t) cette pondération donnant notamment la durée de vie de l'image i à l'itération t, t étant incrémenté à chaque recherche.
Dans ce cas, on associe à chaque image i e Etot. une valeur de pertinence V,(t) évaluée en fonction de sa durée de vie à l'instant / et des positions relatives des images de l'ensemble E. On obtient alors :
FEUILLE RECTIFIEE (REGLE 91 ) 1SA/EP Vit) = F(/, 0 où F est une fonction monotone décroissante. Dans le cas initial où t = 0, on a :
V,(t = O) = τQ(t = O).e-d<i Q> Les images retenues comme étant similaires à Q sont alors les k images ayant les valeurs de pertinence les plus importantes. L'ensemble de ces images est noté Epres, (t, Npres) où Npres, représente le nombre d'images présenté à l'utilisateur. Pour simplifier la notation, nous désignerons cet ensemble à l'instant t par Epres, (t). Le calcul de Vi (t), i e EloL s'écrit alors :
V1(I) (2)
Figure imgf000020_0001
Dans un mode de mise en œuvre particulier, à chaque itération, la durée de vie associée à une image de E décroît d'une unité. Lorsque cette dernière atteint la valeur nulle, elle est retirée de la liste. L'image requête continue, quant à elle, à jouer le rôle d'un retour pertinent.
Sa durée de vie τQ(t) peut alors être différente de celle de chacune des autres images de la base ou de la sous-base. Ainsi, la durée de vie τç(t) de l'image requête peut être supérieure à la durée de vie τ de chacune des autres images de la base ou de la sous-base, de par le caractère spécifique de l'image requête. L'utilisation d'une durée de vie pour l'ensemble des images de la boucle de pertinence permet de prendre en compte l'aspect mémoire à moyen terme de l'apprentissage.
Ce qu'on entend ici par « mémoire à moyen terme » est défini par opposition à : - une mémoire à court terme, ne prenant en compte que le dernier bouclage de pertinence, comme cela est régulièrement le cas dans les moteurs de recherche ;
- un apprentissage à long terme cherchant à modéliser la notion de similarité d'un utilisateur, en gardant la mémoire des actions effectuées non seulement au cours de là requête actuelle, mais également au cours de toutes les requêtes passées. Bien que séduisante, cette méthode se base encore une fois sur le principe que l'utilisateur ne changera pas d'avis au court de la recherche.
Ainsi, une image ne jouera un rôle que temporairement et permettra ainsi à l'utilisateur de modifier son choix au cours de la phase de recherche d'images. En effet, cette durée de vie de pertinence affectée aux images affecte ainsi une inertie d'apprentissage au moteur d'indexation qui permet de prendre en compte ce possible changement de direction de l'utilisateur. En effet, dans notre cas, une image désignée comme pertinente à l'instant t, peut ne plus l'être à l'instant t + τ, voir même dans le cas extrême devenir indésirable.
Enfin, les variables temporelles seront remises à zéro au début de chaque nouveau processus complet de recherche (c'est-à-dire à la désignation d'une nouvelle image requête).
La figure 2 représente l'évolution de la zone de recherche (à l'intérieur des lignes pointillées) des images possédant une valeur de pertinence supérieure à un seuil leur permettant d'apparaître alors dans Epres.(0- A t=l, une zone d'influence (i.e. zone claire sur la figure 2) est initialement définie autour de l'image requête dans cet espace de descripteurs à 2 dimensions, typiquement le champ d'influence associé a une symétrie sphérique autour du point représentant l'image requête Q.
A t=2, l'utilisateur, lors de l'étape (a), a évalué l'image Ipi comme étant pertinente. La conséquence du bouclage de pertinence est un étirement de la zone d'influence vers la position de Ipi dans l'espace des descripteurs.
A t=3, l'utilisateur, lors de l'étape (a), a évalué les images Ip2 et Ip3 comme étant pertinentes. La conséquence du bouclage de pertinence est un étirement de la zone d'influence vers les positions de Ip2 et de Ip3 dans l'espace des descripteurs. A t=3 à 6, l'utilisateur, lors de l'étape (a), confirme son évaluation de la 3eme itération (pertinence des images Ip2 et Ip3). Au final on obtient donc une zone d'influence centrée sur les images Ip2 et Ip3, représentative de la similarité d'images vis à vis de l'image requête Q au sens où l'entend l'utilisateur.
Au final, ladite étape (c) du procédé selon l'invention consiste en une sélection, par le moteur d'indexation, des images présentant les valeurs de
FEUILLE FtECTiFIEE (REGLE 91) JSA/EP pertinence les plus grandes, pour les représenter de nouveau à l'utilisateur lors de la prochaine itération.
Optionnellement, la présentation des images ainsi sélectionnées n'est pas faite de façon aléatoire, mais est présentée dans un ordre déterminé. On pourra par exemple présenter les images de la plus pertinente à la moins pertinente. Ainsi, cette façon d'opérer peut présenter des avantages tels que : diriger plus rapidement l'utilisateur vers des images le satisfaisant; - diminuer l'influence des images voisines présentées à l'utilisateur sur son choix. La notion de similarité est en effet aussi relative à son environnement. L'utilisateur peut en effet désigner une première image comme étant pertinente lorsqu'elle est entourée de certaines images, et peut être désignée comme étant non pertinente par ce même utilisateur dans un autre contexte.
Une variante de l'invention consiste à positionner non plus les images dans l'espace des descripteurs, mais des objets dont sont composés ces images. Cette relation est particulièrement intéressante dans le cadre d'un processus de bouclage de pertinence, la notion de similarité entre deux images étant intimement liée à la similarité des différents objets qui la composent. Le bouclage de pertinence se trouve donc être l'étape idéale pour effectuer la liaison entre les objets et les images globales. Pour cela, à chaque fois que l'utilisateur sélectionne une image pertinente P^ dans l'espace des images, l'ensemble des objets composant cette image seront considérés comme pertinents et seront alors traités comme tels. L'utilisateur a alors accès à l'ensemble des k objets dont la valeur de pertinence V(i) est la plus importante. Le traitement comprend ensuite les deux opérations sus-mentionnées lors de la mise en œuvre de l'étape (b), lesdits « éléments d'images » étant alors ici des « objets d'images », avec en outre une opération finale consistant en une sommation des valeurs, de pertinence (précédemment calculées) des différents objets composant l'image considérée, affectant ainsi à chaque image la valeur de pertinence recherchée pour l'itération courante. Ainsi, de cette manière, l'algorithme va mettre en avant l'ensemble des objets communs à toutes les images sélectionnées par l'utilisateur (la sommation augmentant la surface de la zone d'influence les entourant).
Si l'utilisateur décide d'effectuer une action de bouclage de pertinence lors d'une requête objet, ces derniers seront traités de façon traditionnelle et viendront alors conforter les régions à forte valeur de pertinence.
Mode particulier de réalisation de l'invention dans un cas simple :
Ci-après est présenté l'évolution d'une recherche dans un cas simple. Pour cela, on se place dans un espace de deux descripteurs chromatiques, à savoir la moyenne de la composante Rouge et Verte (r,g). Sont placés artificiellement deux groupes d'objets se positionnant aux extrémités de cet espace : un groupe d'images uniformément jaunes Gi et uniformément gris/noir G^- Nous avons ensuite choisi comme requête initiale une image Q d'un gris moyen, se situant donc à mi- chemin entre les deux groupes (voir Figure 3(a)). Un moteur classique de recherche d'images proposera comme réponse à cette requête un ensemble d'images tirées provenant de G; et de G2 (voir Figure 4, première colonne). C'est à ce niveau que l'utilisateur va pouvoir orienter son choix à l'aide du bouclage de pertinence. Pour cela, il désigne une image jaune Pi comme étant pertinente (voir Figure 4). Le procédé selon l'invention fait alors évoluer la surface de recherche en calculant de nouveau la densité en tout point de l'espace (voir Figure 3(b)). Le résultat fourni par le moteur de recherche est donc plus proche du désir de l'utilisateur (voir Figure 4, deuxième colonne). Si ce dernier persiste dans son choix en précisant de nouveau la couleur jaune (P2), le résultat sera alors en parfaite adéquation avec son choix (voir Figure 4, troisième colonne). Si, a contrario, l'utilisateur spécifie une image jaune Ni comme étant non pertinente, la surface va avoir tendance à s'écarter de ce point (voir Figure 5), tout en conservant malgré tout une mémoire à moyen terme des choix précédents.
Résultats expérimentaux
L'évaluation d'un système de bouclage de pertinence est un sujet problématique et rarement abordé dans la littérature. En effet, il s'agit d'un problème plus complexe que celui de l'évaluation d'un simple système de recherche. Il faut se poser la question élémentaire de savoir ce que valorise un algorithme de bouclage de pertinence. Dans le cadre de l'invention, il ne s'agit pas seulement d'évaluer la pertinence des images présentées à l'utilisateur, mais aussi d'évaluer sa capacité à s'adapter à un changement d'objectif de l'utilisateur.
A cet effet, la Demanderesse a pris le parti de mettre en place une méthode empirique basée sur la notion de pertinence ressentie par l'utilisateur. Nous notons P(t), cette valeur à l'itération t. Chaque image désignée a posteriori comme pertinente par l'utilisateur se voit alors attribuer une valeur relative à sa position au sein de Epτes (t). Cette valeur est inversement proportionnelle à son rang de classement. Soit Npres le nombre d'images présentées, si une image /, est définie comme étant pertinente sa contribution à P(t) sera alors :
PIt) = Npres - RaHg(I1)
La valeur totale de la pertinence est alors définie par la somme de toutes les contributions :
Figure imgf000024_0001
où le dénominateur sert de coefficient de normalisation, et 5(I1) vaut 1 si /, est considérée comme pertinente et 0 sinon.
Pour l'ensemble des expérimentations, est utilisée une base constituée de 2000 images, et d'une vérité terrain de 15 groupes de 20 images constituant des formations sémantiques. A partir de cela, on peut évaluer automatiquement la valeur b(IJ en se reportant à la vérité terrain, c'est-à-dire :
Figure imgf000024_0002
[0 sinon où Gk représente le groupe des k images de la vérité terrain choisies pour l'expérimentation en cours. Cette méthode permet de prendre en compte la pertinence du classement effectué par le moteur selon l'invention. Est principalement recherché l'évolution du moteur, et cette méthode semble la plus propice à cela.
Pour des raisons de simplicité de représentation, ont ici été choisis deux descripteurs simples, à savoir : un descripteur couleur, basée sur la moyenne colorimétrique de l'image, calculée dans l'espace couleur HSV ; un descripteur texture f -[βoυ,θoo •• /1-35,035] de dimension 24 (car il y a 4 échelles et 6 orientations), basé sur l'utilisation des filtres de Gabor (voir par exemple pour plus de précisions : « Texture Features for Browsing and Retrieval of Image Data » de B. S. Manjunath et W. Y. Ma, dans IEEE Transactions on
Pattern Analysis and Machine Intelligence, 18(8) : 837-842, Août 1996).
Encore une fois, on ne recherche pas ici à effectuer une évaluation des descripteurs, mais à constater le pouvoir d'adaptation de l'algorithme de bouclage de pertinence selon l'invention.
La Demanderesse a renouvelé des expériences de bouclage de pertinence pour différentes catégories d'images.
La synthèse des résultats est présentée sur les figures 6 et 7, dans lesquelles est visualisée l'évolution de la pertinence (axe des ordonnées) au cours du processus itératif (nombre d'itérations en abscisses).
La Figure 6, représente l'évolution de la pertinence P(t) en fonction de l'utilisation des retours positifs (i.e. pertinents) et/ou négatifs (i.e. non-pertinents). La courbe 10 donne le résultat de pertinence lorsqu'on autorise l'utilisateur (lors de l'étape (a)) à fournir des réponses positives et négatives. La courbe 20 donne le résultat de pertinence lorsqu'on autorise l'utilisateur
(lors de l'étape (a)) à fournir des réponses uniquement négatives.
La courbe 30 donne le résultat de pertinence lorsqu'on autorise l'utilisateur (lors de l'étape (a)) à fournir des réponses uniquement positives.
On constate à la vue de cette courbe que la combinaison des deux types de retours (positifs et négatifs) permet un meilleur résultat final. L'utilisation des seuls retours positifs n'aboutit pas aux résultats optimaux. En effet, ces retours permettent de se rapprocher des images pertinentes, mais si une image non pertinente se trouve malgré tout dans la zone d'influence créée par les Npert images pertinentes, alors celle-ci apparaîtra dans Epres.(t), ce qui explique la baisse du résultat de pertinence.
L'utilisation des seuls retours négatifs, donne les résultats de moins bonne qualité. En effet, comme nous l'avons vu précédemment, ils vont seulement permettre de s'éloigner des images non-pertinentes. Pour obtenir un résultat plus pertinent, il faudrait pousser le processus de bouclage de pertinence sur un nombre très important d'itérations tout en conservant l'intégralité de l'historique, c'est-à- dire en faisant tendre t vers l'infini. Cela ne permettra alors pas la prise en compte d'un changement d'objectif de la part de l'utilisateur. D'autre part, ce résultat vient renforcer l'idée vue précédemment de ne pas accorder la même importance aux retours négatifs qu'aux retours positifs lors du bouclage de pertinence. En référence à la figure 7, est mise en évidence la qualité d'adaptation du procédé selon l'invention face à un changement d'objectif de l'utilisateur entre deux itérations. Pour cela, a été effectué le même type de procédé expérimental que précédemment, en changeant simplement Gk au cours de l'expérience. Dans la Figure 7, l'utilisateur effectue deux changements d'objectifs 100 et 200 au cours des dix premières itérations.
Il est intéressant de remarquer que lors du deuxième changement d'objectif, il n'y a aucun temps de latence. Il s'agit d'un cas particulier où la zone de recherche associée au choix précédent correspond grossièrement à celle de la nouvelle sélection.
La présente invention ne se limite pas aux exemples de procédé de recherche d'images tels que précédemment décrits, mais à toute application correspondant au concept inventif ressortant du présent texte et des différentes figures. En outre, la présente invention s'étend au dispositif de recherche d'images apte à mettre en œuvre le procédé selon l'invention.

Claims

REVENDICATIONS
1. Procédé de recherche d'images pour trouver une similarité visuelle entre des images contenues dans la base d'images et au moins une image requête, chaque image ayant une signature déterminée (ou encore étant décrite par un ensemble de descripteurs déterminés), des éléments des images ainsi qu'au moins un élément de l'image requête étant positionnés dans un espace des descripteurs défini par des axes donnant chacun l'importance d'un des descripteurs déterminés dans un élément d'image, caractérisé en ce qu'il comprend la mise en œuvre itérative des étapes suivantes :
(a) évaluation par un utilisateur d'une pertinence visuelle ou d'une non-pertinence visuelle d'au moins une image parmi une pluralité d'images qui lui sont présentées, par rapport à l'image requête ; (b) calcul d'une valeur de pertinence affectée à chaque image, comprenant :
— un calcul d'un champ d'influence s'étendant autour de chaque élément de chaque image évaluée lors de l'étape (a), de sorte que la valeur absolue de ce champ d'influence diminue d'autant que l'on s'éloigne, dans l'espace des descripteurs, de l'élément d'image évaluée considéré; — pour chaque élément d'image, une sommation des valeurs des différents champs d'influence ressentis par l'élément d'image considéré, affectant ainsi à chaque élément d'image une valeur de pertinence pour l'itération courante d'autant plus importante que la valeur du champ est représentative d'une image pertinente ; (c) sélection, par le moteur d'indexation, des images présentant les valeurs de pertinence les plus grandes, pour les représenter de nouveau à l'utilisateur lors de la prochaine itération.
2. Procédé de recherche d'images selon la revendication 1, caractérisé en ce que lesdits éléments des images sont les images elles-mêmes prises dans leur ensemble.
3. Procédé de recherche d'images selon la revendication 1, caractérisé en ce que lesdits éléments des images sont des objets des images, chaque image étant composée d'une pluralité d'objets déterminés, et en ce que l'étape (b) comprend en outre une dernière opération consistant en une sommation des valeurs de pertinence (précédemment calculées) des différents objets composant l'image considérée, affectant ainsi à chaque image la valeur de pertinence recherchée pour l'itération courante.
4. Procédé de recherche d'images selon l'une des revendications précédentes, caractérisé en ce que :
— dans le cas où une image est évaluée lors de l'étape (a) comme étant pertinente, le champ d'influence calculé lors de l'étape (b) a une valeur positive ;
— dans le cas où une image est évaluée lors de l'étape (a) comme étant non- pertinente, le champ d'influence calculé lors de l'étape (b) a une valeur négative.
5. Procédé de recherche d'images selon l'une des revendications précédentes, caractérisé en ce que l'étape (b) comprend en outre la sommation, pour chaque élément d'image, des valeurs de pertinence de l'itération courante avec des valeurs de pertinence d'itérations précédentes.
6. Procédé de recherche d'images selon la revendication précédente, caractérisé en ce que l'étape (b) inclut en outre, avant l'opération de sommation des valeurs de pertinence de l'itération courante avec des valeurs de pertinence d'itérations précédentes, une opération de pondération, pour chaque élément d'image, des valeurs de pertinence de sorte à atténuer d'autant leur influence sur le résultat de cette sommation qu'elles sont issues d'itérations anciennes.
7. Procédé de recherche d'images selon la revendication précédente, caractérisé en ce que la pondération des valeurs de pertinence affectées à chaque
FEUILLE RECTIFIEE (REGLE 91) ISA/EP élément de l'image requête est différente de la pondération des valeurs de pertinence affectées à chaque élément des autres images, en ce sens que leur influence respectives sur le résultat de l'opération de sommation est moins atténuée selon leur ancienneté.
8. Procédé de recherche d'images selon l'une des revendications précédentes, caractérisé en ce que l'étape (b) comprend en outre une étape de pondération qui attribue un poids différent aux champs d'influence selon que l'image associée a été évaluée lors de l'étape (a) comme étant pertinente ou non-pertinente.
9. Procédé de recherche d'images selon l'une des revendications précédentes, caractérisé en ce que, lors de l'étape (a), l'utilisateur donne en outre un niveau de pertinence ou de non-pertinence à chaque image qu'il évalue, et en ce que chaque champ d'influence calculé lors de l'étape (b) est d'autant plus étendu que ce niveau de pertinence ou de non-pertinence est, en valeur absolue, élevé.
10. Procédé de recherche d'images selon l'une des revendications précédentes, caractérisé en ce que les différentes images sélectionnées lors de l'étape (c) sont présentées à l'utilisateur dans un ordre tenant compte des valeurs de pertinence qui leur ont été affectées lors de l'étape (b).
11. Procédé de recherche d'images selon l'une des revendications précédentes, caractérisé en ce qu'il comprend en outre, préalablement aux étapes d'itération, les étapes suivantes : — évaluation automatique d'une similarité visuelle de différentes images avec l'image requête ; — sélection d'un nombre déterminé d'images évaluées comme étant les plus similaires avec l'image requête, ces images évaluées étant alors les images présentées à l'étape (a).
12. Dispositif de recherche d'images pour trouver une similarité visuelle entre des images contenues et au moins une image requête, comprenant une mémoire pour réaliser une base de données images, divisée ou non en sous-bases de données images, et des moyens de traitement aptes à positionner des éléments des images ainsi qu'au moins un élément de l'image requête dans un espace des descripteurs défini par des axes donnant chacun l'importance d'un des descripteurs déterminés dans un élément d'image, chaque image ayant un ensemble de descripteurs déterminés, caractérisé en ce qu'il comprend en outre les moyens suivants, mis en œuvre itérativement : (a) un terminal d'affichage permettant à un utilisateur de visualiser des images et des moyens de saisies autorisant l'utilisateur à saisir l'évaluation qu'il fait de la pertinence visuelle ou de la non-pertinence visuelle d'au moins une image parmi une pluralité d'images qui lui sont présentées, par rapport à l'image requête ;
(b) des moyens de calcul d'une valeur de pertinence affectée à chaque image, aptes à :
— calculer un champ d'influence s 'étendant autour de chaque élément de chaque image évaluée lors de l'étape (a), à partir de ladite saisie qui parvient aux moyens de calcul, de sorte que la valeur absolue de ce champ d'influence diminue d'autant que l'on s'éloigne, dans l'espace des descripteurs, de l'élément d'image évaluée considéré; et à
— pour chaque élément d'image, sommer des valeurs des différents champs d'influence ressentis par l'élément d'image considéré, affectant ainsi à chaque élément d'image une valeur de pertinence pour l'itération courante ;
(c) un moteur d'indexation qui sélectionne des images présentant les valeurs de pertinence les plus grandes, afin de les représenter de nouveau à l'utilisateur lors de la prochaine itération.
13. Dispositif de recherche d'images selon la revendication précédente, caractérisé en ce que lesdits éléments des images sont des objets des images, chaque image étant composée d'une pluralité d'objets déterminés, et en ce que les moyens de calcul sont en outre aptes à réaliser une dernière opération consistant à sommer des valeurs de pertinence (précédemment calculées) des différents objets composant l'image considérée, affectant ainsi à chaque image la valeur de pertinence recherchée pour l'itération courante.
14. Dispositif de recherche d'images selon l'une des deux revendications précédentes, caractérisé en ce que la mémoire est en outre apte à conserver des valeurs de pertinence d'itérations précédentes, et en ce que les moyens de calcul sont en outre aptes à sommer, pour chaque élément d'image, des valeurs de pertinence de l'itération courante avec des valeurs de pertinence d'itérations précédentes en pondérant préalablement, pour chaque élément d'image, des valeurs de pertinence de sorte à atténuer d'autant leur influence sur le résultat de la sommation qu'elles sont issues d'itérations anciennes.
15. Programme d'ordinateur, caractérisé en ce qu'il comporte des moyens de codage pour la mise en œuvre du procédé selon l'une des revendications 1 à 11.
PCT/FR2004/001563 2004-06-23 2004-06-23 Recherche automatique de similarite entre images incluant une intervention humaine WO2006008350A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP04767419A EP1766538A1 (fr) 2004-06-23 2004-06-23 Recherche automatique de similarite entre images incluant une intervention humaine
PCT/FR2004/001563 WO2006008350A1 (fr) 2004-06-23 2004-06-23 Recherche automatique de similarite entre images incluant une intervention humaine
US11/630,716 US20070244870A1 (en) 2004-06-23 2004-06-23 Automatic Search for Similarities Between Images, Including a Human Intervention

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FR2004/001563 WO2006008350A1 (fr) 2004-06-23 2004-06-23 Recherche automatique de similarite entre images incluant une intervention humaine

Publications (1)

Publication Number Publication Date
WO2006008350A1 true WO2006008350A1 (fr) 2006-01-26

Family

ID=34958538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/001563 WO2006008350A1 (fr) 2004-06-23 2004-06-23 Recherche automatique de similarite entre images incluant une intervention humaine

Country Status (3)

Country Link
US (1) US20070244870A1 (fr)
EP (1) EP1766538A1 (fr)
WO (1) WO2006008350A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970983A (zh) * 2017-03-29 2017-07-21 东北大学 一种外包空间数据库中反最远邻居验证方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004090692A2 (fr) * 2003-04-04 2004-10-21 Icosystem Corporation Procedes et systemes pour le calcul evolutif interactif
EP1649346A2 (fr) 2003-08-01 2006-04-26 Icosystem Corporation Procedes et systemes permettant d'appliquer des operateurs genetiques pour determiner des conditions de systeme
US7356518B2 (en) * 2003-08-27 2008-04-08 Icosystem Corporation Methods and systems for multi-participant interactive evolutionary computing
US7738684B2 (en) * 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
EP1927058A4 (fr) 2005-09-21 2011-02-02 Icosystem Corp Systeme et procede pour l'assistance a la conception de produit et la quantification d'acceptation
US7752060B2 (en) * 2006-02-08 2010-07-06 Health Grades, Inc. Internet system for connecting healthcare providers and patients
EP1870836A1 (fr) * 2006-06-22 2007-12-26 THOMSON Licensing Procédé et dispositif de determination d'un descripteur de signal representant un article multimedia, dispositif de recuperation d'articles dans une base de données, dispositif de classification d'articles multimedias dans une base de données
JP4675855B2 (ja) * 2006-07-25 2011-04-27 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、ユーザインタフェース方法及びプログラム
US20080065606A1 (en) * 2006-09-08 2008-03-13 Donald Robert Martin Boys Method and Apparatus for Searching Images through a Search Engine Interface Using Image Data and Constraints as Input
CN101295305B (zh) * 2007-04-25 2012-10-31 富士通株式会社 图像检索装置
US8156118B2 (en) * 2007-08-20 2012-04-10 Samsung Electronics Co., Ltd. Method and system for generating playlists for content items
JP4963110B2 (ja) * 2008-01-25 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション サービス検索システム、方法及びプログラム
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
US20100077349A1 (en) * 2009-11-06 2010-03-25 Health Grades, Inc. Patient direct connect
JP6638484B2 (ja) * 2016-03-10 2020-01-29 富士通株式会社 情報処理装置、類似検索プログラム、及び類似検索方法
CN109522432B (zh) * 2018-09-21 2023-01-31 重庆大学 一种融合自适应相似度和贝叶斯框架的图像检索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1202187A2 (fr) * 2000-10-30 2002-05-02 Microsoft Corporation Système de récupération d'images et procédés de rétroaction au moyen de pertinence basée sur la sémantique et sur des caractéristiques

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602938A (en) * 1994-05-20 1997-02-11 Nippon Telegraph And Telephone Corporation Method of generating dictionary for pattern recognition and pattern recognition method using the same
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
JPH10143613A (ja) * 1996-10-30 1998-05-29 Hewlett Packard Co <Hp> パタン認識方法
US6594392B2 (en) * 1999-05-17 2003-07-15 Intel Corporation Pattern recognition based on piecewise linear probability density function
US6859802B1 (en) * 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
KR100788643B1 (ko) * 2001-01-09 2007-12-26 삼성전자주식회사 색과 질감의 조합을 기반으로 하는 영상 검색 방법
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US7379627B2 (en) * 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
US20080168013A1 (en) * 2006-12-05 2008-07-10 Paul Cadaret Scalable pattern recognition system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1202187A2 (fr) * 2000-10-30 2002-05-02 Microsoft Corporation Système de récupération d'images et procédés de rétroaction au moyen de pertinence basée sur la sémantique et sur des caractéristiques

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CELENTANO A ET AL: "Feature integration and relevance feedback analysis in image similarity evaluation", JOURNAL OF ELECTRONIC IMAGING, SPIE + IS&T, US, vol. 7, no. 2, 1 April 1998 (1998-04-01), pages 308 - 317, XP000750386, ISSN: 1017-9909 *
KARAM H ET AL: "Feature-based image metamorphosis optimization algorithm", PROCEEDINGS OF THE SEVENTH INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMS AND MULTIMEDIA, 25 October 2001 (2001-10-25) - 27 October 2001 (2001-10-27), BERKELEY, CA, USA, pages 555 - 564, XP002304680, Retrieved from the Internet <URL:http://intl.ieeexplore.ieee.org/iel5/7657/20918/00969712.pdf?isNumber=20918&arnumber=969712&prod=CNF&arSt=555&ared=564&arAuthor=Karam%2C+H.%3B+Hassanien%2C+A.%3B+Nakajima%2C+M.> [retrieved on 20041109] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970983A (zh) * 2017-03-29 2017-07-21 东北大学 一种外包空间数据库中反最远邻居验证方法
CN106970983B (zh) * 2017-03-29 2020-02-21 东北大学 一种外包空间数据库中反最远邻居验证方法

Also Published As

Publication number Publication date
EP1766538A1 (fr) 2007-03-28
US20070244870A1 (en) 2007-10-18

Similar Documents

Publication Publication Date Title
EP1766538A1 (fr) Recherche automatique de similarite entre images incluant une intervention humaine
US11615302B2 (en) Effective user modeling with time-aware based binary hashing
FR2884008A1 (fr) Systeme et procede de localisation de points d&#39;interet dans une image d&#39;objet mettant en oeuvre un reseau de neurones
WO2003057648A9 (fr) Procedes et systemes de recherche et d&#39;association de ressources d&#39;information telles que des pages web
FR2955681A1 (fr) Systeme pour navigation et exploration d&#39;images de creation
EP1984873A1 (fr) Procede et dispositif d&#39;aide a la construction d&#39;une arborescence de groupe de documents electroniques
CA2727747A1 (fr) Dispositif d&#39;aide a la reconnaissance d&#39;images ameliore
WO2007034096A1 (fr) Procede de tri d&#39;un ensemble de documents electroniques
EP2227755A1 (fr) Procede d&#39;analyse d&#39;un contenu multimedia, produit programme d&#39;ordinateur et dispositif d&#39;analyse correspondants
WO2007077175A1 (fr) Procede de classification d&#39;images par reseaux neuroniques et classifieur d&#39;images prealablement appris, dispositif et programme d&#39;ordinateur correspondants
FR3123748A1 (fr) Apprentissage automatique sans annotation ameliore par regroupements adaptatifs en ensemble ouvert de classes
WO2010066774A1 (fr) Systeme de recherche d&#39;information visuelle
WO2021234252A1 (fr) Procédés d&#39;utilisation sécurisée d&#39;un premier réseau de neurones sur une donnée d&#39;entrée, et d&#39;apprentissage de paramètres d&#39;un deuxième réseau de neurones
EP4127965A1 (fr) Méthode mise en oeuvre par ordinateur pour la recherche analogique de documents
EP3622445B1 (fr) Procede, mise en oeuvre par ordinateur, de recherche de regles d&#39;association dans une base de donnees
Bose et al. Movie recommendation system with Collaborative Filtering using K-NN
EP1435054A2 (fr) Procede d&#39;indexation et de comparaison de documents multimedia
Burke et al. Rapid Probabilistic Interest Learning from Domain-Specific Pairwise Image Comparisons
Kuzovkin Assessment of photos in albums based on aesthetics and context
FR2942057A1 (fr) Procede de recherche iterative de donnees
Abazar et al. A Binary Relevance Adaptive Model-Selection for Ensemble Steganalysis
FR3126527A1 (fr) Procédé, programme d’ordinateur et dispositif de traitement d’images par extraction de composante(s) principale(s) d’une représentation d’images
WO2023118768A1 (fr) Dispositif et procédé de traitement de données d&#39;images de visages d&#39;êtres humains
Lassance Graphs for deep learning representations
Bartůněk Photo Culling-Selecting a Representative Set of Photographs

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 11630716

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2004767419

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004767419

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11630716

Country of ref document: US