WO2017042161A1 - Procédé d'établissement automatique de requêtes inter-langues pour moteur de recherche - Google Patents

Procédé d'établissement automatique de requêtes inter-langues pour moteur de recherche Download PDF

Info

Publication number
WO2017042161A1
WO2017042161A1 PCT/EP2016/070971 EP2016070971W WO2017042161A1 WO 2017042161 A1 WO2017042161 A1 WO 2017042161A1 EP 2016070971 W EP2016070971 W EP 2016070971W WO 2017042161 A1 WO2017042161 A1 WO 2017042161A1
Authority
WO
WIPO (PCT)
Prior art keywords
language
word
words
target
vectors
Prior art date
Application number
PCT/EP2016/070971
Other languages
English (en)
Inventor
Guillaume WENZEK
Jocelyn COULMANCE
Jean-Marc MARTY
Original Assignee
Proxem
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Proxem filed Critical Proxem
Priority to EP16766260.0A priority Critical patent/EP3347830A1/fr
Priority to US15/757,649 priority patent/US11055370B2/en
Publication of WO2017042161A1 publication Critical patent/WO2017042161A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Definitions

  • the invention relates to the field of computer science applied to the language. More specifically, the invention relates to a method for automatically establishing cross-language query for search engine.
  • a known method known as Skip-gram (Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, 2013a.) Efficient estimation of word representations in vector space, arXiv preprint arXiv: 1301.3781) allows a learning of word vectors allowing the processing of a very large amount of data in a short time.
  • the Skip-gram method allows you to process a set of 1 .6 billion words in less than a day.
  • search engine queries based on word vectors can only be made in one language only.
  • the aim of the invention is to make it possible to establish, from a query word, queries executable by a search engine in several languages.
  • the invention proposes a method for automatically establishing inter-language requests executed by a search engine, characterized in that, from a text file containing a training corpus comprising a set of sentences correspondingly expressed in at least two languages, the words of each of the two languages being each associated with a target vector, said method comprises:
  • said method further comprises: i - a step of determining M closest target vectors of said target vector associated with said query word ,
  • the aforementioned steps i) to iii) are repeated until results returned by said search engine are free from the meaning of the query word to be filtered.
  • the retrenchment step is performed by applying the Gram-Schmidt ortho-normalization process.
  • each word of said training corpus being associated with a target vector and a context vector
  • the step of aligning the target vectors comprises:
  • steps for calculating cost functions called intra-language functions, for calculating the target vectors and the context vectors in each of the two languages
  • steps of calculating cost functions called interleaved cost functions, respectively for aligning the target vectors of the words of a first language with respect to the context vectors of the words of a second language, as well as for aligning the target vectors with words of the second language with respect to the context vectors of the words of the first language, and
  • the step of calculating each intra-language cost function is performed by an iterative method implementing a sliding window in said training corpus and based on the analysis of a target vector of a word of interest of the window relative to the context vectors of the other words of the window, so-called context words, located around the word of interest and expressed in the same language as the word of interest.
  • the intra-language cost function implemented in the Skip-Gram method is expressed as follows:
  • [w-1: w + 1] is the window of words corresponding to a sentence of the training corpus centered around the word of interest w
  • the steps of calculating the inter-language cost functions of one language with respect to another language are performed by an iterative method implementing a sliding window in the training corpus and based on the analysis of a target vector of a word of interest of the window relative to the context vectors of all the words in the window, including the word of interest, expressed in a language different from that of the word d interest.
  • the inter-language cost function is expressed as follows:
  • said method further comprises:
  • the invention also relates to computer equipment of the computer or server type comprising a memory storing instructions software allowing the implementation of the method as previously defined.
  • FIG. 1 shows a diagram of the various steps of the automatic inter-language request establishment method according to the present invention
  • Figure 2 shows a diagram of the steps implemented to determine the aligned target vectors of words in two different languages
  • FIG. 3 is a table illustrating the query words that can be generated, thanks to the method according to the present invention, in 21 languages from a target vector associated with a single query word;
  • FIG. 4 is a table illustrating the possibility of disambiguating a query word having several meanings by subtracting a target vector associated with a word from another language corresponding to the direction to be filtered.
  • the method according to the present invention is implemented from a text file containing a learning corpus C comprising a set of sentences correspondingly expressed in at least two languages, for example the English language "e” and the French language "f".
  • the words of each of the two languages are each associated with a target vector w and a context vector c.
  • the target vectors w and of context c each comprise a number of components of between 50 and 1000 and equal for example 300.
  • the method comprises, in a first step, a step of determining 100 target vectors w aligned with words in both languages, so that two target vectors w associated with two corresponding words in the two languages are closest to each other.
  • a target vector alignment step 100 once the target vector alignment step 100 has been performed, for a target vector associated with a word in a given first language, there is no other target vector that is closer than that associated with the translation of the target vector. word in the other language.
  • steps 201, 202 for calculating cost functions I, Jf called intra-language cost functions are performed to calculate the target vectors w and the vectors of context c in each of the two languages.
  • an intra-language cost function Je for the English language and an intra-language cost function Jf for the French language are thus calculated.
  • each intra-language cost function Je, Jf are performed by an iterative method implementing a sliding window in the learning corpus C and based on the analysis of a vector target w of a word of interest of the window with respect to the context vectors c of the other words of the window, called context words, located around the word of interest and expressed in the same language as the word of interest .
  • the word of interest is not taken into account when calculating the target vectors of the context words.
  • w being the target vector of the word of interest, c corresponding to the context vector of the context word,
  • calculation steps 203, 204 of cost functions Qe, f, Qf, and inter-language cost functions are performed respectively for aligning the target vectors w e with words of the first language e with respect to the vectors.
  • context context cf words of the second language f as well as for aligning the target vectors w ⁇ f of the words of the second language f with respect to the context vectors Ce of the words of the first language e.
  • the calculation step 203, 204 of each inter-language cost function Qe, f, Qf, e of one language with respect to another is performed by an iterative method implementing a sliding window in the corpus of learning C and based on the analysis of a target vector W of a word of interest of the window with respect to the context vectors c of the set of words located in the window and expressed in the different language from that of the word of interest.
  • inter-language cost function ⁇ is expressed as follows:
  • e is the target vector of the word of interest, corresponding to the context vector in the language other than that of the word of interest,
  • the cost functions mentioned above will calculate the intra- language cost function.
  • Ji as well as inter-language cost functions Qi, e and Qe, i.
  • the invention will be able to easily align target vectors / in more than 15 different languages.
  • N words are recovered in each of the languages considered having target vectors w closest to each other. relative to a target vector ⁇ associated with a query word.
  • the determination of the closest target vectors w is performed by minimizing the Euclidean distance between the vectors.
  • a step 103 the requests are then established and executed by a search engine from the N words previously retrieved in the languages in question.
  • the method also implements a step 104 of displaying the results returned by the search engine.
  • Figure 3 thus highlights that from a single query word, here the word "innovation”, it is possible to search using 10 words per language having vectors closest to the vector associated with the word "innovation”, ie a search based on 210 search words in the case of the use of 21 languages.
  • the invention thus makes it possible to obtain search results in relation to the global meaning of a word considered in a plurality of languages, and this without necessarily having knowledge of the different languages because of the use of the target vectors aligned in the languages. different languages.
  • the method may also further include:
  • This retrenchment step is preferably performed by applying the Gram-Schmidt ortho-normalization process.
  • Figure 4 shows the list of Polish words with the closest target vectors of the French word "train” accompanied by their translation into English.
  • This list includes notions of vehicle, as well as temporal notions (eg being eating).
  • the table shows that, if we subtract the target vector from the Italian word "sta” associated only with the temporal notion to the target vector of the word "train” in French, we obtain a list of Polish words containing only words related to the notion of vehicle.
  • the subtraction between target vectors in the different languages eliminates one or more senses of a query word that the user wants to filter during his search to disambiguate a term.
  • the aforementioned steps i) to iii) may be repeated by the user or automatically until results displayed by the search engine are free from the meaning of the query word to be filtered.
  • the invention also relates to computer equipment of the computer or server type comprising a memory storing software instructions for implementing the method as previously described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

L'invention porte principalement sur un procédé d'établissement automatique de requêtes inter-langues exécutées par un moteur de recherche, caractérisé en ce que, à partir d'un fichier de texte contenant un corpus d'apprentissage comportant un ensemble de phrases exprimées de manière correspondante dans au moins deux langues, les mots de chacune des deux langues étant associés chacun à un vecteur cible, ledit procédé comporte: - une étape (101) d'alignement de vecteurs cibles des mots dudit corpus d'apprentissage (C) dans lesdites au moins deux langues, - une étape (102) de récupération de N mots dans chacune des au moins deux langues ayant des vecteurs cibles les plus proches par rapport à un vecteur cible associé à un mot de requête, et - une étape (103) d'établissement de requêtes exécutées par un moteur de recherche à partir des N mots précédemment récupérés dans lesdites au moins deux langues.

Description

PROCEDE D'ETABLISSEMENT AUTOMATIQUE DE REQUETES INTERLANGUES POUR MOTEUR DE RECHERCHE
DOMAINE TECHNIQUE DE L'INVENTION
L'invention concerne le domaine de l'informatique appliquée au langage. Plus précisément, l'invention porte sur un procédé d'établissement automatique de requête inter-langues pour moteur de recherche.
ARRIERE PLAN TECHNOLOGIQUE
Il est connu de représenter des mots à l'aide de vecteurs de taille fixe. Il s'agit d'une représentation distribuée, dans la mesure où il n'est pas nécessaire qu'il existe une correspondance de type bijective entre les dimensions des vecteurs et les propriétés linguistiques des mots distribuées suivant les dimensions de l'espace.
Une méthode connue, dite Skip-gram (Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. 2013a. Efficient estimation of word représentations in vector space. arXiv preprint arXiv:1301.3781) permet un apprentissage de vecteurs de mots autorisant le traitement d'une très grande quantité de données en un temps réduit. Ainsi, la méthode Skip-gram permet de traiter un ensemble de 1 .6 milliards de mots en moins d'une journée.
Dans l'état de l'art, les requêtes établies sur les moteurs de recherche à partir de vecteurs de mots ne peuvent être réalisées que dans une seule langue uniquement.
OBJET DE L'INVENTION
L'invention vise à permettre d'établir, à partir d'un mot de requête, des requêtes exécutables par un moteur de recherche dans plusieurs langues. A cet effet, l'invention propose un procédé d'établissement automatique de requêtes inter-langues exécutées par un moteur de recherche, caractérisé en ce que, à partir d'un fichier de texte contenant un corpus d'apprentissage comportant un ensemble de phrases exprimées de manière correspondante dans au moins deux langues, les mots de chacune des deux langues étant associés chacun à un vecteur cible, ledit procédé comporte:
- une étape d'alignement de vecteurs cibles des mots dudit corpus d'apprentissage dans lesdites au moins deux langues,
- une étape de récupération de N mots dans chacune des au moins deux langues ayant des vecteurs cibles les plus proches par rapport à un vecteur cible associé à un mot de requête, et
- une étape d'établissement de requêtes exécutées par un moteur de recherche à partir des N mots précédemment récupérés dans lesdites au moins deux langues.
Selon une mise en œuvre, pour permettre à un utilisateur de filtrer un sens dudit mot de requête parmi plusieurs sens, ledit procédé comporte en outre: i - une étape de détermination de M vecteurs cibles les plus proches dudit vecteur cible associé audit mot de requête,
ii - une étape de sélection du vecteur cible le plus proche correspondant au sens dudit mot de requête à filtrer, et
iii - une étape de retranchement dudit vecteur cible le plus proche sélectionné au vecteur cible associé audit mot de requête.
Selon une mise en œuvre, les étapes précitées i) à iii) sont répétées jusqu'à ce que des résultats retournés par ledit moteur de recherche soient exempts du sens du mot de requête à filtrer.
Selon une mise en œuvre, l'étape de retranchement est effectuée par application du processus d'ortho-normalisation de Gram-Schmidt.
Selon une mise en œuvre, chaque mot dudit corpus d'apprentissage étant associé à un vecteur cible et à un vecteur de contexte, l'étape d'alignement des vecteurs cibles comporte:
- des étapes de calcul de fonctions de coût, dites fonctions intra-langues, pour calculer les vecteurs cibles et les vecteurs de contexte dans chacune des deux langues,
- des étapes de calcul de fonctions de coût, dites fonctions de coût interlangues, respectivement pour aligner les vecteurs cibles des mots d'une première langue par rapport aux vecteurs de contexte des mots d'une deuxième langue ainsi que pour aligner les vecteurs cibles des mots de la deuxième langue par rapport aux vecteurs de contexte des mots de la première langue, et
- une étape de minimisation de la somme des au moins quatre fonctions de coût précédemment calculées. Selon une mise en œuvre, l'étape de calcul de chaque fonction de coût intra- langue est réalisée par un procédé itératif mettant en œuvre une fenêtre coulissante dans ledit corpus d'apprentissage et basé sur l'analyse d'un vecteur cible d'un mot d'intérêt de la fenêtre par rapport aux vecteurs de contexte des autres mots de la fenêtre, dits mots de contexte, situés autour du mot d'intérêt et exprimés dans la même langue que le mot d'intérêt.
Selon une mise en œuvre, la fonction de coût intra-langue mise en œuvre dans la méthode Skip-Gram s'exprime de la façon suivante:
Figure imgf000005_0001
seC wEs c€s[w-l w+l]
- C correspondant à l'ensemble des phrases dudit corpus d'apprentissage dans une langue donnée;
- s[w-l:w+l] étant la fenêtre de mots correspondant à une phrase du corpus d'apprentissage centrée autour du mot d'intérêt w,
- w étant le mot d'intérêt de la phrase,
- c étant un mot de contexte,
- w étant le vecteur cible du mot d'intérêt,
- c correspondant au vecteur de contexte du mot de contexte,
- σ étant une fonction de type Sigmoïde.
Selon une mise en œuvre, les étapes de calcul des fonctions de coût interlangues d'une langue par rapport à une autre langue sont réalisées par un procédé itératif mettant en œuvre une fenêtre coulissante dans le corpus d'apprentissage et basé sur l'analyse d'un vecteur cible d'un mot d'intérêt de la fenêtre par rapport aux vecteurs de contexte de l'ensemble des mots situés dans la fenêtre, y compris le mot d'intérêt, exprimés dans une langue différente de celle du mot d'intérêt. Selon une mise en œuvre, la fonction de coût inter-langue s'exprime de la manière suivante:
(se isf ) eAe we ese cf esf
- se étant une phrase exprimée dans la première langue e et correspondant à la traduction d'une phrase sf de la deuxième langue f,
- Ae,f étant le corpus aligné des phrases exprimées dans la première et dans la deuxième langue,
- we étant un mot cible sélectionné dans la phrase "se" correspondant à la fenêtre centrée autour du mot d'intérêt we et définie par se[we-l:we+l], - le contexte sélectionné pour un mot d'intérêt we dans la phrase "se" étant constitué par tous les mots cf apparaissant dans la phrase sf, y compris le mot d'intérêt we,
Ί 11
- ' étant le vecteur cible du mot d'intérêt,
- ^correspondant au vecteur des mots de contexte dans la langue autre que celle du mot d'intérêt,
- σ étant une fonction de type Sigmoïde.
Selon une mise en œuvre, pour aligner des vecteurs cibles de mots d'une langue supplémentaire, ledit procédé comporte en outre:
- une étape de calcul d'une fonction de coût intra-langue pour déterminer les vecteurs cibles et les vecteurs de contexte dans la langue supplémentaire,
- une étape de calcul d'une fonction de coût inter-langue pour aligner les vecteurs cibles des mots de la langue supplémentaire par rapport aux vecteurs cibles des mots d'une des langues, dite langue pivot, ainsi que pour aligner les vecteurs cibles des mots de la langue pivot par rapport aux vecteurs cibles des mots de la langue supplémentaire, et
- une étape de minimisation de la somme de l'ensemble des fonctions de coûts intégrant en outre la fonction de coût intra-langue et la fonction de coût inter-langue précédemment calculées pour la langue supplémentaire.
L'invention a également pour objet un équipement informatique de type ordinateur ou serveur comportant une mémoire stockant des instructions logicielles permettant la mise en œuvre du procédé tel que précédemment défini.
BREVE DESCRIPTION DES FIGURES
L'invention sera mieux comprise à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent. Ces figures ne sont données qu'à titre illustratif mais nullement limitatif de l'invention.
La figure 1 montre un diagramme des différentes étapes du procédé d'établissement automatique de requêtes inter-langues selon la présente invention; La figure 2 montre un diagramme des étapes mises en œuvre pour déterminer les vecteurs cibles alignés de mots dans deux langues différentes;
La figure 3 est un tableau illustrant les mots de requête pouvant être générés, grâce au procédé selon la présente invention, dans 21 langues à partir d'un vecteur cible associé à un seul mot de requête;
La figure 4 est un tableau illustrant la possibilité de désambiguïser un mot de requête ayant plusieurs sens par soustraction d'un vecteur cible associé à un mot d'une autre langue correspondant au sens à filtrer.
DESCRIPTION D'EXEMPLES DE REALISATION DE L'INVENTION Le procédé selon la présente invention est mis en œuvre à partir d'un fichier de texte contenant un corpus d'apprentissage C comportant un ensemble de phrases exprimées de manière correspondante dans au moins deux langues, par exemple la langue anglaise "e" et la langue française "f". Les mots de chacune des deux langues sont associés chacun à un vecteur cible w et à un vecteur de contexte c. Les vecteurs cibles w et de contexte c comportent chacun un nombre de composantes compris entre 50 et 1000 et valant par exemple 300.
Comme cela est illustré par la figure 1 , le procédé comporte dans un premier temps une étape de détermination 100 de vecteurs cibles w alignés des mots dans les deux langues, de telle façon que deux vecteurs cibles w associés à deux mots correspondants dans les deux langues sont les plus proches l'un de l'autre. Autrement dit, une fois l'étape d'alignement 100 des vecteurs cibles réalisée, pour un vecteur cible associé à un mot dans une première langue donné, il n'y a aucun autre vecteur cible ^plus proche que celui associé à la traduction du mot dans l'autre langue.
A cet effet, comme cela est illustré par le diagramme de la figure 2, on réalise des étapes 201 , 202 de calcul de fonctions de coût Je, Jf dites fonctions de coût intra-langues, pour calculer les vecteurs cibles w et les vecteurs de contexte c dans chacune des deux langues. Dans l'exemple, on calcule ainsi une fonction de coût intra-langue Je pour la langue anglaise et une fonction de coût intra-langue Jf pour la langue française.
De préférence, les étapes de calcul 201 , 202 de chaque fonction de coût intra-langue Je, Jf sont réalisées par un procédé itératif mettant en œuvre une fenêtre coulissante dans le corpus d'apprentissage C et basé sur l'analyse d'un vecteur cible w d'un mot d'intérêt de la fenêtre par rapport aux vecteurs de contexte c des autres mots de la fenêtre, dits mots de contexte, situés autour du mot d'intérêt et exprimés dans la même langue que le mot d'intérêt. Le mot d'intérêt n'est pas pris en compte lors du calcul des vecteurs cibles des mots de contexte.
En l'occurrence, la fonction de coût intra-langue J mise en œuvre dans la méthode Skip-Gram s'exprime pour chaque langue de la façon suivante:
Figure imgf000008_0001
seC W€S ces[w-l w+l]
- C correspondant à l'ensemble des phrases du corpus d'apprentissage dans une langue donnée e ou f;
- s[w-l:w+l] étant la fenêtre de mots correspondant à une phrase du corpus d'apprentissage centrée autour du mot w,
- w étant le mot d'intérêt de la phrase,
- c étant un mot de contexte autour du mot d'intérêt,
- w étant le vecteur cible du mot d'intérêt, - c correspondant au vecteur de contexte du mot de contexte,
- σ étant une fonction de type Sigmoïde.
En outre, on réalise des étapes de calcul 203, 204 de fonctions de coût Qe,f, Qf,e dites fonctions de coût inter-langues, respectivement pour aligner les vecteurs cibles we des mots de la première langue e par rapport aux vecteurs de contexte cf des mots de la deuxième langue f, ainsi que pour aligner les vecteurs cibles w^ f des mots de la deuxième langue f par rapport aux vecteurs de contexte Ce des mots de la première langue e.
De préférence, l'étape de calcul 203, 204 de chaque fonction de coût inter- langues Qe,f, Qf,e d'une langue par rapport à une autre est réalisée par un procédé itératif mettant en œuvre une fenêtre coulissante dans le corpus d'apprentissage C et basé sur l'analyse d'un vecteur cible 'W d'un mot d'intérêt de la fenêtre par rapport aux vecteurs de contexte c de l'ensemble des mots situés dans la fenêtre et exprimés dans la langue différente de celle du mot d'intérêt.
En l'occurrence, la fonction de coût inter-langue Ω s'exprime de la manière suivante:
Figure imgf000009_0001
(se ,Sf ) Ae We ESe Cf Sf
- se étant une phrase exprimée dans une première langue e et correspondant à la traduction d'une phrase sf exprimée dans une deuxième langue f,
- Ae,f étant le corpus aligné des phrases exprimées dans la première et dans la deuxième langue (c'est-à-dire que pour chaque phrase exprimée dans une langue il existe une phrase correspondante dans l'autre langue),
- we étant un mot cible sélectionné dans la phrase se correspondant à la fenêtre centrée autour de we: se[we-l:we+l],
- le contexte sélectionné pour un mot d'intérêt we dans la phrase "se" étant constitué par tous les mots cf apparaissant dans la phrase sf, y compris le mot d'intérêt,
- e étant le vecteur cible du mot d'intérêt, correspondant au vecteur de contexte dans la langue autre que celle du mot d'intérêt,
- σ étant une fonction de type Sigmoïde.
La somme de ces quatre fonctions de coût Je, Jf Qe,f, Qf,e précédemment calculées (cf. bloc fonctionnel 205) est minimisée afin d'obtenir les vecteurs cibles ^ e, ^ falignés dans les deux langues.
Il est à noter qu'il est très simple d'adapter le procédé selon l'invention pour aligner des vecteurs cibles W j de mots d'une langue supplémentaire. En effet, il suffit pour cela de calculer la fonction de coût intra-langue pour calculer les vecteurs cibles ^/ et les vecteurs de contexte Ci dans la langue supplémentaire, ainsi que les fonctions de coût inter-langue pour aligner les vecteurs cibles W j des mots de la langue supplémentaire par rapport aux vecteurs cibles '^e des mots d'une des langues, dite langue pivot, ainsi que pour aligner les vecteurs cibles ^e des mots de la langue pivot par rapport aux vecteurs cibles W i des mots de la langue supplémentaire.
Ainsi, si l'on souhaite aligner les vecteurs de mots exprimés dans la langue italienne "i" et que l'anglais "e" est défini comme une langue pivot, on calculera outre les fonctions de coûts précitées la fonction de coût intra- langue Ji ainsi que les fonctions de coûts inter-langues Qi,e et Qe,i. On minimise ensuite la somme de l'ensemble des fonctions de coûts intégrant, outre les fonctions de coût précitées Je, Jf, Qe,f, Qf,e, les fonctions de coûts Ji, Qi,e et Qe,i calculées pour la langue supplémentaire.
Ainsi, par prise en compte des fonctions de coûts pour chaque langue supplémentaire, l'invention pourra permettre aisément d'aligner des vecteurs cibles / dans plus de 15 langues différentes.
Une fois les vecteurs cibles w alignés suivant la méthode précédemment décrite, il est possible d'établir automatiquement des requêtes inter-langues pour un moteur de recherche.
A cet effet, dans une étape 102, on récupère N mots dans chacune des langues considérées ayant des vecteurs cibles w les plus proches par rapport à un vecteur cible ^ associé à un mot de requête. La détermination des vecteurs cibles w les plus proches les uns des autres est effectuée par minimalisation de la distance euclidienne entre les vecteurs.
Dans une étape 103, les requêtes sont ensuite établies et exécutées par un moteur de recherche à partir des N mots précédemment récupérés dans les langues considérées. Le procédé met également en œuvre une étape 104 d'affichage des résultats retournés par le moteur de recherche.
La figure 3 met ainsi en évidence qu'à partir d'un seul mot de requête, ici le mot "innovation", il est possible de faire une recherche à l'aide de 10 mots par langue ayant des vecteurs les plus proches du vecteur associé au mot "innovation", soit une recherche basée sur 210 mots de recherche dans le cas de l'utilisation de 21 langues.
L'invention permet ainsi d'obtenir des résultats de recherche en relation avec le sens global d'un mot considéré dans une pluralité de langues, et cela sans avoir nécessairement connaissance des différentes langues du fait de l'utilisation des vecteurs cibles alignés dans les différentes langues.
En outre, pour permettre à un utilisateur de filtrer un sens d'un mot de requête ayant plusieurs sens, le procédé pourra également comporter en outre:
i - une étape de détermination de M vecteurs cibles w les plus proches du vecteur cible associé audit mot de requête,
ii - une étape de sélection du vecteur cible w le plus proche correspondant au sens dudit mot de requête à filtrer, et
iii - une étape de retranchement du vecteur cible w le plus proche sélectionné au vecteur cible associé au mot de requête. Cette étape de retranchement est effectuée de préférence par application du processus d'ortho-normalisation de Gram-Schmidt.
La figure 4 montre ainsi la liste des mots polonais ayant les vecteurs cibles les plus proches du mot "train" français accompagnés de leur traduction en anglais. Cette liste inclut des notions de véhicule, ainsi que des notions temporelles (ex: être en train de manger). Le tableau met en évidence que, si l'on soustrait le vecteur cible du mot "sta" italien associé uniquement à la notion temporelle au vecteur cible du mot "train" en français, on obtient une liste de mots polonais contenant uniquement des mots en relation avec la notion de véhicule. Autrement dit, la soustraction entre vecteurs cibles dans les différentes langues permet d'éliminer un ou plusieurs sens d'un mot de requête que l'utilisateur souhaite filtrer lors de sa recherche afin de désambiguïser un terme.
Les étapes précitées i) à iii) pourront être répétées par l'utilisateur ou de façon automatique jusqu'à ce que des résultats affichés par le moteur de recherche soient exempts du sens du mot de requête à filtrer. L'invention a également pour objet un équipement informatique de type ordinateur ou serveur comportant une mémoire stockant des instructions logicielles permettant la mise en œuvre du procédé tel que précédemment décrit.
L'homme du métier pourra bien entendu apporter des modifications au procédé décrit ci-dessus sans sortir du cadre de l'invention défini ci-après par les revendications.

Claims

REVENDICATIONS
1 . Procédé d'établissement automatique de requêtes inter-langues exécutées par un moteur de recherche, caractérisé en ce que, à partir d'un fichier de texte contenant un corpus d'apprentissage (C) comportant un ensemble de phrases exprimées de manière correspondante dans au moins deux langues, les mots de chacune des deux langues étant associés chacun à un vecteur cible (W ), ledit procédé comporte:
- une étape (101 ) d'alignement de vecteurs cibles ('^e, U)f) des mots dudit corpus d'apprentissage (C) dans lesdites au moins deux langues,
- une étape (102) de récupération de N mots dans chacune des au moins deux langues ayant des vecteurs cibles W ) les plus proches par rapport à un vecteur cible associé à un mot de requête, et
- une étape (103) d'établissement de requêtes à partir des N mots précédemment récupérés dans lesdites au moins deux langues,
- une étape d'exécution des requêtes par un moteur de recherche, et
- une étape d'affichage des résultats retournés par le moteur de recherche, et
- en ce que pour permettre à un utilisateur de filtrer un sens dudit mot de requête parmi plusieurs sens, ledit procédé comporte en outre:
i - une étape de détermination de M vecteurs cibles W ) les plus proches dudit vecteur cible associé audit mot de requête,
ii - une étape de sélection du vecteur cible {W ) le plus proche correspondant au sens dudit mot de requête à filtrer, et
iii - une étape de retranchement dudit vecteur cible le plus proche sélectionné au vecteur cible associé audit mot de requête.
2. Procédé selon la revendication 1 , caractérisé en ce que les étapes précitées i) à iii) sont répétées jusqu'à ce que des résultats retournés par ledit moteur de recherche soient exempts du sens du mot de requête à filtrer.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que l'étape de retranchement est effectuée par application du processus d'ortho- normalisation de Gram-Schmidt.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que, chaque mot dudit corpus d'apprentissage (C) étant associé à un vecteur cible (W ) et à un vecteur de contexte ( C ), l'étape d'alignement des vecteurs cibles ('^e, ^f) comporte:
- des étapes de calcul (201 , 202) de fonctions de coût, dites fonctions intra-langues (Je, Jf), pour calculer les vecteurs cibles W ) et les vecteurs de contexte ( C) dans chacune des deux langues,
- des étapes de calcul (203, 204) de fonctions de coût, dites fonctions de coût inter-langues (Qe,f; Qf,e), respectivement pour aligner les vecteurs cibles W e) des mots d'une première langue (e) par rapport aux vecteurs de contexte ( Cf) des mots d'une deuxième langue (f) ainsi que pour aligner les vecteurs cibles Wf) des mots de la deuxième langue (f) par rapport aux vecteurs de contexte ( C e) des mots de la première langue (e), et
- une étape de minimisation de la somme (205) des au moins quatre fonctions de coût (Je; Jf; Qe,f; Qf,e) précédemment calculées.
5. Procédé selon la revendication 4, caractérisé en ce que l'étape de calcul de chaque fonction de coût intra-langue (Je, Jf) est réalisée par un procédé itératif mettant en œuvre une fenêtre coulissante dans ledit corpus d'apprentissage (C) et basé sur l'analyse d'un vecteur cible (W ) d'un mot d'intérêt de la fenêtre par rapport aux vecteurs de contexte ( C ) des autres mots de la fenêtre, dits mots de contexte, situés autour du mot d'intérêt et exprimés dans la même langue que le mot d'intérêt.
6. Procédé selon la revendication 5, caractérisé en ce que la fonction de coût intra-langue J s'exprime de la façon suivante:
Figure imgf000014_0001
- C correspondant à l'ensemble des phrases dudit corpus d'apprentissage dans une langue donnée;
- s[w-l:w+l] étant la fenêtre de mots correspondant à une phrase du corpus d'apprentissage centrée autour du mot w,
- w étant le mot d'intérêt de la phrase,
- c étant un mot de contexte,
- étant le vecteur cible du mot d'intérêt, - c correspondant au vecteur de contexte du mot de contexte,
- σ étant une fonction de type Sigmoïde.
7. Procédé selon l'une quelconque des revendications 4 à 6, caractérisé en ce que les étapes de calcul (203, 204) des fonctions de coût inter-langues (Qe,f; Qf,e) d'une langue par rapport à une autre langue sont réalisées par un procédé itératif mettant en œuvre une fenêtre coulissante dans le corpus d'apprentissage (C) et basé sur l'analyse d'un vecteur cible W) d'un mot d'intérêt de la fenêtre par rapport aux vecteurs de contexte ( C) de l'ensemble des mots situés dans la fenêtre, y compris le mot d'intérêt, exprimés dans une langue différente de celle du mot d'intérêt.
8. Procédé selon la revendication 7, caractérisé en ce que la fonction de coût inter-langue Qe,f s'exprime de la manière suivante:
Figure imgf000015_0001
(se ,Sf )eAe We se Cf
Figure imgf000015_0002
- se étant une phrase exprimée dans la première langue e et correspondant à la traduction d'une phrase sf de la deuxième langue f,
- Ae,f étant le corpus aligné des phrases exprimées dans la première et dans la deuxième langue,
- we étant un mot cible sélectionné dans la phrase "se" correspondant à la fenêtre centrée autour de we définie par se[we-l:we+l],
- le contexte sélectionné pour un mot d'intérêt we dans la phrase "se" étant constitué par tous les mots cf apparaissant dans la phrase sf, y compris le mot d'intérêt,
-
Figure imgf000015_0003
étant le vecteur cible du mot d'intérêt,
- ^correspondant au vecteur des mots de contexte dans la langue autre que celle du mot d'intérêt,
- σ étant une fonction de type Sigmoïde.
9. Procédé selon l'une quelconque des revendications 4 à 8, caractérisé en ce que, pour aligner des vecteurs cibles de mots d'une langue supplémentaire, ledit procédé comporte en outre:
- une étape de calcul d'une fonction de coût intra-langue pour déterminer les vecteurs cibles (^i) et les vecteurs de contexte ( Ce) dans la langue supplémentaire,
- une étape de calcul d'une fonction de coût inter-langue pour aligner les vecteurs cibles des mots de la langue supplémentaire par rapport aux vecteurs cibles (^e) des mots d'une des langues, dite langue pivot, ainsi que pour aligner les vecteurs cibles ( ^e) des mots de la langue pivot par rapport aux vecteurs cibles (^i) des mots de la langue supplémentaire, et
- une étape de minimisation de la somme de l'ensemble des fonctions de coûts intégrant en outre la fonction de coût intra-langue et la fonction de coût inter-langue précédemment calculées pour la langue supplémentaire.
10. Equipement informatique de type ordinateur ou serveur comportant une mémoire stockant des instructions logicielles permettant la mise en œuvre du procédé tel que défini selon l'une quelconque des revendications précédentes.
PCT/EP2016/070971 2015-09-07 2016-09-06 Procédé d'établissement automatique de requêtes inter-langues pour moteur de recherche WO2017042161A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16766260.0A EP3347830A1 (fr) 2015-09-07 2016-09-06 Procédé d'établissement automatique de requêtes inter-langues pour moteur de recherche
US15/757,649 US11055370B2 (en) 2015-09-07 2016-09-06 Method for automatically constructing inter-language queries for a search engine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1558249A FR3040808B1 (fr) 2015-09-07 2015-09-07 Procede d'etablissement automatique de requetes inter-langues pour moteur de recherche
FR1558249 2015-09-07

Publications (1)

Publication Number Publication Date
WO2017042161A1 true WO2017042161A1 (fr) 2017-03-16

Family

ID=55542737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/070971 WO2017042161A1 (fr) 2015-09-07 2016-09-06 Procédé d'établissement automatique de requêtes inter-langues pour moteur de recherche

Country Status (4)

Country Link
US (1) US11055370B2 (fr)
EP (1) EP3347830A1 (fr)
FR (1) FR3040808B1 (fr)
WO (1) WO2017042161A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6705506B2 (ja) * 2016-10-04 2020-06-03 富士通株式会社 学習プログラム、情報処理装置および学習方法
US11100117B2 (en) * 2019-06-14 2021-08-24 Airbnb, Inc. Search result optimization using machine learning models
US11416684B2 (en) 2020-02-06 2022-08-16 Adobe Inc. Automated identification of concept labels for a set of documents
US11354513B2 (en) * 2020-02-06 2022-06-07 Adobe Inc. Automated identification of concept labels for a text fragment
CN113779205B (zh) * 2020-09-03 2024-05-24 北京沃东天骏信息技术有限公司 一种智能应答方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1072982A2 (fr) * 1999-07-30 2001-01-31 Matsushita Electric Industrial Co., Ltd. Méthode et système d'extraction de mots similaires et de recouvrement de documents
US7251637B1 (en) * 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
EP2624149A2 (fr) * 2012-02-02 2013-08-07 Xerox Corporation Traitement de documents utilisant une modélisation thématique probabiliste de documents représentés sous forme de mots textuels transformés en un espace continu
WO2015029241A1 (fr) * 2013-08-27 2015-03-05 Nec Corporation Procédé d'acquisition de traduction de mot
CN104731771A (zh) * 2015-03-27 2015-06-24 大连理工大学 一种基于词向量的缩写词歧义消除系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8051061B2 (en) * 2007-07-20 2011-11-01 Microsoft Corporation Cross-lingual query suggestion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251637B1 (en) * 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
EP1072982A2 (fr) * 1999-07-30 2001-01-31 Matsushita Electric Industrial Co., Ltd. Méthode et système d'extraction de mots similaires et de recouvrement de documents
EP2624149A2 (fr) * 2012-02-02 2013-08-07 Xerox Corporation Traitement de documents utilisant une modélisation thématique probabiliste de documents représentés sous forme de mots textuels transformés en un espace continu
WO2015029241A1 (fr) * 2013-08-27 2015-03-05 Nec Corporation Procédé d'acquisition de traduction de mot
CN104731771A (zh) * 2015-03-27 2015-06-24 大连理工大学 一种基于词向量的缩写词歧义消除系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AUDREY LAROCHE ET AL: "Revisiting Context-based Projection Methods for Term-Translation Spotting in Comparable Corpora", PROCEEDINGS OF THE 23RD INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS (COLING 2010), 1 October 2010 (2010-10-01), pages 617 - 625, XP055043428, Retrieved from the Internet <URL:http://www.aclweb.org/anthology-new/C/C10/C10-1070.pdf> [retrieved on 20121107] *
GAUCH ET AL: "A CORPUS ANALYSIS APPROACH FOR AUTOMATIC QUERY EXPANSION AND ITS EXTENSION TO MULTIPLE DATABASES", ACM TRANSACTIONS ON INFORMATION SYSTEMS, ASSOCIATION FOR COMPUTING MACHINERY, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, vol. 17, no. 3, 1 July 1999 (1999-07-01), pages 250 - 269, XP000865354, ISSN: 1046-8188, DOI: 10.1145/314516.314519 *
TOMAS MIKOLOV ET AL: "Efficient Estimation of Word Representations in Vector Space", 16 January 2013 (2013-01-16), XP055192736, Retrieved from the Internet <URL:http://arxiv.org/abs/1301.3781> [retrieved on 20160623] *

Also Published As

Publication number Publication date
EP3347830A1 (fr) 2018-07-18
FR3040808A1 (fr) 2017-03-10
US20190026371A1 (en) 2019-01-24
FR3040808B1 (fr) 2022-07-15
US11055370B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
WO2017042161A1 (fr) Procédé d&#39;établissement automatique de requêtes inter-langues pour moteur de recherche
CN107402913B (zh) 先行词的确定方法和装置
WO2019076191A1 (fr) Dispositif et procédé d&#39;extraction de mot-clé, et support d&#39;informations et dispositif électronique
US9727556B2 (en) Summarization of a document
KR20160060247A (ko) 자연어 질의응답 시스템과 방법 및 패러프라이즈 모듈
FR2821186A1 (fr) Dispositif d&#39;extraction d&#39;informations d&#39;un texte a base de connaissances
FR2977343A1 (fr) Syteme de traduction adapte a la traduction de requetes via un cadre de reclassement
US11200283B2 (en) Cohesive visualized instruction representation
EP2126735B1 (fr) Procédé de traduction automatique
EP2013776A1 (fr) Procede de de-doublonnage rapide d&#39;un ensemble de documents ou d&#39;un ensemble de donnees contenues dans un fichier
Paul et al. An affix removal stemmer for natural language text in nepali
US9817808B2 (en) Translation using related term pairs
WO2016116459A1 (fr) Procédé de lemmatisation, dispositif et programme correspondant
Ingason et al. Context-sensitive spelling correction and rich morphology
Das et al. Semantic segmentation of MOOC lecture videos by analyzing concept change in domain knowledge graph
Trang-Trung et al. Lifelog Moment Retrieval with Self-Attention based Joint Embedding Model.
US9208157B1 (en) Spam detection for user-generated multimedia items based on concept clustering
CN111949767A (zh) 一种文本关键词的查找方法、装置、设备和存储介质
Rehn et al. Sound ranking using auditory sparse-code representations
Tongjing et al. Intercity relationships between 293 Chinese cities quantified based on toponym co-occurrence
FR2975553A1 (fr) Aide a la recherche de contenus videos sur un reseau de communication
CN108376178B (zh) 一种异常访谈记录文本的确定方法及装置
EP4155967A1 (fr) Procédé d&#39;échanges d&#39;informations sur un objet d&#39;intérêt entre une première et une deuxième entités, dispositif électronique d&#39;échange d&#39;informations et produit programme d&#39;ordinateur associés
Ablimit et al. Multilingual Stemming and Term extraction for Uyghur, Kazak and Kirghiz
WO2023031845A1 (fr) Système et procédé de découverte de k-pépites et cadre de réajustement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16766260

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE