WO2024133814A1 - Procede pour ameliorer la classification d'un document numerique a partir d'une pluralite de modeles d'apprentissage - Google Patents

Procede pour ameliorer la classification d'un document numerique a partir d'une pluralite de modeles d'apprentissage Download PDF

Info

Publication number
WO2024133814A1
WO2024133814A1 PCT/EP2023/087483 EP2023087483W WO2024133814A1 WO 2024133814 A1 WO2024133814 A1 WO 2024133814A1 EP 2023087483 W EP2023087483 W EP 2023087483W WO 2024133814 A1 WO2024133814 A1 WO 2024133814A1
Authority
WO
WIPO (PCT)
Prior art keywords
document
digital document
prediction
action
modification
Prior art date
Application number
PCT/EP2023/087483
Other languages
English (en)
Inventor
Pierre MAGRANGEAS
Fabio COPPINI
Renard FERRET
Coralie BOCHART
Yasmine SAADI
Sixtine PASSOT
Original Assignee
Xplain
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xplain filed Critical Xplain
Publication of WO2024133814A1 publication Critical patent/WO2024133814A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the field of the invention is that of methods and systems for improving the classification of a digital document, particularly for its recording in a given memory space and for its use in a memory resource.
  • the solutions of the prior art are based on learning which makes it possible to enrich a model in order to improve the efficiency of the classification of a learning function.
  • a problem with state-of-the-art solutions is to involve the users of a classification solution by requiring actions on their part dedicated to improving the learning of the learning function. These actions may include label corrections, modifications to extracted data, annotations, etc.
  • the invention relates to a method for improving the classification of at least one document from at least one machine learning model characterized in that it comprises:
  • ⁇ Generation of a first annotation comprising on the one hand the modified value of the prediction relating to the first corrective action and on the other hand a set of values of interest extracted or generated in particular from the first digital document;
  • the actions can correspond for example to:
  • the invention is implemented by computer.
  • the invention relates to a method for improving the classification of at least one document or data in a document and/or the prediction of data qualifying at least one document or data of a document from at least one machine learning model characterized in that it comprises:
  • ⁇ Generation of a first annotation comprising on the one hand the modified value of the prediction relating to the first corrective action and on the other hand a set of values of interest extracted or generated in particular from the first digital document;
  • the learner function is a function generated from a first machine learning model trained from a first training domain.
  • the learning function is a predefined function making it possible to extract data from a set of data to generate a prediction, said set of data being able to evolve over time by an addition or selection of data or an enrichment of data.
  • the invention relates to a method for improving the classification of at least one document from at least one machine learning model characterized in that it comprises:
  • ⁇ Generation of a first annotation comprising on the one hand the modified value of the prediction relating to the first corrective action and on the other hand a set of values of interest extracted or generated in particular from the first digital document;
  • the directory into which the first document is moved depends on the classification.
  • a given directory is targeted for the movement of said first document.
  • the association between a class and a directory can be preconfigured.
  • all classes can be associated with one or more directories.
  • the invention relates to a method for improving the classification and/or prediction of at least one document or a piece of data in a document from at least one machine learning model characterized in that 'He understands :
  • ⁇ Generation of a first annotation comprising on the one hand the modified value of the prediction relating to the first corrective action and on the other hand a set of values of interest extracted or generated in particular from the first digital document;
  • the learner function is a function generated from a first machine learning model trained from a first training domain.
  • the learning function is a predefined function making it possible to extract data from a set of data to generate a prediction, said set of data being able to evolve over time by an addition or selection of data or an enrichment of data.
  • the invention relates to a method for improving the classification and/or prediction of at least one document or a piece of data in a document from at least one machine learning model characterized in that 'He understands :
  • the first corrective action relating to the modification of the movement of the first digital document is carried out by moving the first digital document from the first directory to a second directory by a user action from a document explorer, an algorithm for detecting changes in memory resources allocated to a digital document being implemented.
  • the first corrective action relating to the modification of the movement of the first digital document is carried out by a modification of the class of the first digital document by a user action from a user interface presenting a set of characteristic data of the first digital document.
  • the method comprises:
  • the second corrective action relating to the modification of the name of the second digital document is carried out by modifying the name of the second digital document directly on the file corresponding to the second digital document.
  • the second corrective action relating to the modification of the name of the second digital document is carried out by a modification of the class of the second digital document by a user action from a user interface presenting a set of characteristic data of the second digital document.
  • the method comprises:
  • the third learning function is executed prior to the first learning function, the corrected prediction being a piece of data from the set of values of interest of an annotation, said corrected prediction modification leading to the modification of the first domain d training and/or modification of the second training domain.
  • the method comprises receiving a dependency graph, said dependencies being defined between at least the first learning function and a second learning function, said dependence graph comprising a description of the inputs of at least one domain training, said inputs comprising at least one value corresponding to an output of at least one learning function.
  • the method comprises:
  • a first notification is issued via a data network, said first notification including access to a user interface allowing the annotations associated with this action to be modified.
  • the first machine learning model is generated from the definition of a first digital document model comprising the identification of a plurality of characteristic data and areas of interest of said first document model and from a user interface.
  • the first digital document model is used to extract context data from the modified prediction to enrich the annotation that is created.
  • the definition of a model of a first digital document comprises the generation of a form comprising a set of choices defining annotations of said model, said annotations making it possible to update the first training model.
  • a plurality of first documents are received of the same class, and a plurality of machine learning models are applied, the method comprising the generation of a plurality of predictions, the method comprising the selection of a prediction, said selection of said prediction making it possible to update the first training domain.
  • the invention relates to a system comprising a user's electronic terminal comprising at least one calculator, a memory, a display and a communication interface for transmitting messages on a data network to at least a first server comprising hardware resources for executing the first learning function, the second learning function, the third learning function and a memory for saving the learned models in order to execute the steps of the method of the invention, the terminal comprising a user interface for acquiring an annotation comprising a modification of a prediction, said modification resulting in the retraining of at least one machine learning model.
  • a method for improving the classification of a digital document from a plurality of machine learning models characterized in that it comprises:
  • ⁇ Generation of a first annotation comprising on the one hand the modified value of the at least one prediction relating to the first corrective action and on the other hand a set of values of interest extracted or generated from the first digital document;
  • the retraining of machine learning models is generated based on the dependency graph representing the links between learning functions.
  • the method comprises an application of the first machine learning model and/or the second machine learning model to the first digital document or to another document received subsequently to the first digital document.
  • the values of interest include a position of data in the document or in a page of the document.
  • a value of interest comprises a sequence of discrete symbols in natural language which precedes and/or follows the corrected prediction in the document.
  • a value of interest is an intermediate prediction of a learning function which is in the same sequence as a learning function executed to produce the digital document which was the subject of a corrective action.
  • Fig. 1 a learning function architecture making it possible to illustrate the retraining of a machine learning model of a function from a correction carried out on the result produced from another learning function according to the method of invention
  • Fig. 2 areas of interest of a page of a digital document from which a set of data are extracted by one or more learning function(s) according to the method of the invention
  • Fig. 3 a system of the invention comprising different resources for implementing the method of the invention
  • FIG. 4 an example of generating a new document model following an annotation produced by the method of the invention.
  • Figure 1 represents a software architecture implementing different learning functions FAi, FA2 and FA3 performing automatic operations on a digital document D1.
  • Each of the learning functions FA1, FA2, FA3 calculates from the input document D1 to be processed an intermediate prediction respectively denoted Pi, P2 and P3.
  • a GRAPHP prediction graph makes it possible to calculate from a calculator a final prediction Pf to automatically carry out an action Ai.on the digital document.
  • the action Ai can be to move the document, to rename it or to use part of the data from document D1 to generate another document.
  • Figure 1 also represents the operation Ci(Di) which consists of generating a representation of this action on a display.
  • the representation can be generated in real time on a user interface or be represented after prediction, classification or action. This representation can be made from a user interface.
  • a file explorer can be used to represent moving a folder.
  • Figure 1 represents an operation corresponding to a corrective action AC1 of a user.
  • the corrective action may correspond to a movement made by a user of a document which has been judged to be incorrectly classified.
  • Other corrective actions are possible according to the method of the invention such as a renaming or a correction of a value in the document or in a generated document.
  • the corrective action results in the automatic creation of an ANN1 annotation.
  • This ANN1 annotation includes a corrected value of the final prediction Pf resulting from the corrective action.
  • the corrected prediction could be a directory name of a file system.
  • the ANN1 annotation includes a number of data that are related to the corrected prediction.
  • Figure 1 represents a GRAPHD dependence graph making it possible to establish all of the intermediate predictions Pi, P2, P3 and the machine learning models ML2, ML1, ML3 and the learning functions to be corrected to take into account the change in the value of the final prediction Pf.
  • the method of the invention allows, thanks to this dependence graph, to collect the modified values of the intermediate predictions, here P2' and to pass on this new value in the training domain of the learning functions.
  • An advantage is to allow relearning of the learning functions which have only contributed to calculating an erroneous value of the intermediate prediction.
  • Figure 4 represents a case in which a document model MOD(Di) is used to process a type of document recognized by a learning function FA1.
  • a single learning function FA1 is used, however other scenarios could implement different learning functions to classify the document D1 received as input.
  • a prediction Pi which can in this case be an intermediate prediction and a final prediction is generated by the first learning function FA1.
  • This prediction Pi in this case makes it possible, for example, to classify the document D1 and to apply an action A1 automatically to the document.
  • a corrective action AC1 is initiated by a user. This corrective action AC1 generates a new value of the PT prediction.
  • the invention not only makes it possible to generate a new annotation automatically to retrain the model but also to modify the MOD document model which will be used for the next actions.
  • the new MOD’ document model can be generated by a calculation rule, a predefined algorithm or even by a new learning function allowing it to be trained by user data and/or data from the annotations produced by the corrective actions.
  • Document D1 may be a technical document such as a technical specification, a user manual, an assembly manual, an accounting document such as a balance sheet, a quote, an invoice, a letter, a plan, a certificate, an official document, a medical certificate, a form or any other document produced by an organization, an automated process or an individual.
  • the documents processed in the context of the invention are preferably documents which relate to a type of document or even a family of documents.
  • the document type can be defined by a generic name or a label allowing it to be associated with a document type.
  • an invoice can be a type of document in an organization as well as a technical specification of a product.
  • the document may include different formats such as a .txt format, a .pdf format, a .png format, a pg format, a Json format, a .xml format, a .doc or docx format or any other document format allowing to encode a plurality of discrete symbols in a natural language.
  • the document may be an electronic messaging message.
  • the digital document is an image file, a video file or an audio file.
  • the document is a set of data received in real time, it can therefore be a video stream or an audio stream.
  • the Di document can be received from a communication interface such as a network card making it possible to acquire data from a remote entity such as a data server.
  • the document Di can be recorded in a memory within which a function makes it possible to retrieve the document recorded there in order to carry out an operation on the latter document.
  • An objective of the invention is to extract data from said document to classify it with the best probability in order to execute actions on the document, in particular to automatically save it in a given memory.
  • the method of the invention comprises the execution of at least one learning function generated by a machine learning model trained from a set of training data called training domain.
  • the method of the invention comprises the execution of at least one learning function which is configured to query and/or extract data within a history.
  • the function is called “learning” in this case because the history can include new data that is aggregated over time.
  • the history can take the form of a database or a file. Updating the history with new data can be done automatically or by user action.
  • the learning function is not obtained from a machine learning model but can result from a predefined configuration.
  • the configuration can for example correspond to the type of function, the coefficients of the latter and/or the directory(s) which is/are used to extract and/or record information.
  • the method comprises the execution of a plurality of learning functions trained from different models.
  • the execution of the plurality of learning functions makes it possible in particular to perform different functions on the document Di.
  • the method of the invention comprises the application of a GRAPHp prediction graph and/or a GRAPHD dependence graph.
  • the GRAPHD dependence graph includes in particular for each action to be carried out a first sequence Si for executing the different learning functions in order to carry out said given action.
  • the first sequence Si can result from a predefined configuration. It corresponds to the sequence of a series of algorithms.
  • each algorithm is executed from a learning function.
  • the learning function is a machine learning model trained to calculate a prediction from input data.
  • all the algorithms in a sequence are not only learning functions, other algorithms such as algorithms comprising calculation rules can be sequenced among the functions implemented in a first sequence Si.
  • the first sequence If of the GRAPHD dependence graph comprises a set of learning functions and/or algorithms which are configured to chain together in an automation.
  • the first sequence Si includes the scheduling conditions and/or execution conditions of each function or each algorithm. This means that the first sequence Si includes parameters making it possible to schedule the functions/algorithms between them and parameters which make it possible to validate, delay or invalidate the execution of a function/algorithm.
  • the GRAPHD dependency graph also includes a second sequence S2 for each action corrected by a retraining user of the machine learning models which were executed during the first sequence Si.
  • the second sequence S2 makes it possible to take into account all of the models affected by a prediction error when the model depends directly or indirectly on the erroneous prediction.
  • the second sequence S2 of the GRAPHD dependence graph includes a set of retrainings for each model of the learning functions or modifications of the parameter settings of the algorithms.
  • the second sequence S2 makes it possible to reconfigure these model trainings or these algorithm modifications within an automation forming a feedback loop.
  • the second sequence S2 includes the scheduling conditions and/or execution conditions of each model retraining or each algorithm modification. This means that the second sequence S2 includes parameters making it possible to schedule the retraining or modifications between them and parameters which make it possible to validate, delay or invalidate the execution of a retraining or an algorithm modification.
  • a GRAPHp prediction graph makes it possible to calculate a final prediction from a plurality of intermediate predictions generated by a plurality of learning functions.
  • Learnable functions can be generated by machine learning models with their own architectures.
  • a network architecture can be an RNN type machine learning model designating in the Anglo-Saxon literature Recurrent Neural Network" or even an LSTM type model designating in the Anglo-Saxon literature “Long short-term memory » may be used.
  • the machine learning model can be a Transformer, such as GPT-3 designating “generative Pre-Training Transformer” and which is a model based on the Transformers architecture, that is to say that certain layers of the model have the structure of a Transfromer.
  • GPT-3 designating “generative Pre-Training Transformer”
  • An advantage of using a pre-trained network, for example of the Transformer type is to use their good capabilities to process data defining documents comprising discrete symbols encoded in a natural language.
  • the invention is compatible with the use of already existing pre-trained networks, for example on platforms accessible from the internet.
  • a pre-trained network of the BERT type designating in the literature “Bidirectional Encoder representations from Transformers” whose model also includes certain layers having the structure of a Transformer, can also be implemented in the context of the present invention.
  • an architecture of machine learning models can include the implementation of binary trees such as “Random Forest” or “XGBoost” or a convolutional neural network called CNN.
  • an architecture of machine learning models can include the implementation of a Transformer model, for example of the BERT type, or even a convolutional neural network called CNN.
  • Machine learning models can be configured within the scope of the invention to extract data from digital documents such as dates, addresses, proper names, tables, signatures, structured information, sentiments and/or target sentences.
  • a “regex” type model architecture or even a library such as “spacy” including different types of models, or even a CNN or a “transition-based models” type model can be used.
  • the models used to extract objects, named entities can implement a “transformer” type model or a BERT type model.
  • an architecture for recognizing patterns or motifs, such as a signature, in a digital document can implement a “YOLO” type or “autoencoders” type model.
  • At least one learning function is executed in order to classify a received digital document Di.
  • the learning function FAi can implement, for example, an analysis aimed at extracting a type of document, a date, a named entity such as an organization name or an individual name, an address or any other data allowing execute an action based on the knowledge of this data once extracted.
  • certain data extractions can be used to carry out classification.
  • the classification can be carried out without data extraction.
  • a classification of a received document does not necessarily involve extracting data from said document.
  • one or more learning function(s) are executed to generate a prediction of the class of the extracted data. Each learning function can generate an intermediate prediction in order to calculate a final prediction.
  • the extraction of a date from a received document Di can make it possible to classify this document in a directory "to be processed” if it is an extraction of date(s) of issue positioned in header of the document or in a “to be signed” directory if a signature date is noted at the end of the document, on the last page.
  • the method of the invention can be applied from a single extraction to classify the document.
  • the classification can result from a plurality of data extractions and an analysis of all of the extracted data.
  • Figure 1 represents three learning functions FAi, FA2, FA3 which make it possible to extract data from a received document D1.
  • a first function FA1 makes it possible to automatically extract a characteristic date DATE1, such as a due date
  • the second function FA2 makes it possible to extract an entity named NOM1 such as an organization name
  • the third function FA3 allows you to extract a type of TYPE1 document, such as an invoice or a quote.
  • the extraction of the three characteristic data ⁇ DATE1, NOM1, TYPE1 ⁇ makes it possible to generate a prediction based on all of the three predictions generated by the three learning functions FA1, FA2, FA3. This prediction allows a classification of the document which can generate execution of an automatic action.
  • Each extraction is carried out from each learnable function which has been defined from a machine learning model trained from a training domain.
  • the final prediction calculated from the three intermediate predictions of each of the learning functions makes it possible to perform an action automatically on the document Di.
  • the extracted data can implement learning functions using variables relating to font, style, or even font size.
  • the position of certain elements can also be used or the context data for the data to be extracted.
  • a prediction graph GRAPHp can be implemented to calculate the final prediction Pf.
  • This prediction graph allows, according to the embodiments, to:
  • ⁇ exclude actions or action scenarios according to the values or ranges of values of certain intermediate predictions and/or;
  • wait we mean: creating an alert on the reception of data produced by a given function.
  • the learning functions can be executed on different documents to generate an action on another document already created or which will be created.
  • Documents can be email messages or files.
  • part of a digital document Di is extracted, such as a table.
  • a configuration makes it possible to define a link between the reception unit of a document Di, the choice learning functions to execute and the action to perform under the conditions of a final prediction generated.
  • a first action Ai includes the automatic saving of the document Di in a predefined directory. According to an example, this action can be accompanied by another action aimed at deleting the first document which was saved prior to processing in a temporary directory.
  • a second A2 action includes the automatic renaming of a D2 document.
  • this action can be accompanied consecutively or previously to an action Ai of recording document D2.
  • document D1 and D2 can be the same document, when several actions are generated on the same document.
  • a third action A3 includes the extraction of a portion of interest from document D3 and its integration into another given document, named edited document From. This document can be newly created. We also understand here that the third action A3 can be combined or consecutive or prior to an action Ai or A2 or Ai and A2.
  • the edited From document can be saved in a predefined directory.
  • this third action A3 can be accompanied by another action A3' aimed at extracting another portion of another document D3' of another type or of the same type to produce a single edited document from two portions extracted from two documents D3, D3'.
  • an “Order form” type document can be generated from content extracted from a quote and an acceptance email type document or the quote signed by a party.
  • This third action A3 may be accompanied by a plurality of actions aimed at producing an edited document and/or actions aimed at validating the edition of such an edited document.
  • at least one extracted portion is used to edit a new From document.
  • several extracted portions of the same D3 document are used to produce an edited From document.
  • an action can be to regenerate another document comprising values from said table combined for example with other values from another table of another document.
  • a fourth action may correspond to the creation of a category of a parameter or of an extracted value.
  • This may, for example, be a new named entity, that is to say a new organization which is not yet referenced in a database.
  • the final prediction calculated from a plurality of learning functions having for example determined a document type, a date, an amount and a new organization name, is the creation of a new directory.
  • the new directory may correspond to the directory in which all the invoices of this new named entity will be recorded.
  • a fifth action corresponds to the segmentation of a document Di into at least two documents.
  • the segmentation can correspond to a set of pages in a document.
  • a segmented document can then be classified by another learning function and processed by another learning function to extract other data to generate another action.
  • this example illustrates that an action can include several sub-actions.
  • a representation of the decision that is to say the classification of the document Di or the action is generated.
  • the representation is preferably produced from a user interface using a display.
  • the representation can be, for example, an iconography of a file saved in a directory, that is to say an icon representing the document D1. This representation is particularly suitable when the action aims to automatically move a document following the calculation of the final prediction.
  • the representation can be generated from an interface representing the classification of the document Di.
  • a keyword or a class name can be associated with the Di document.
  • This representation is useful when we want to check the classification of a document and the score associated with its prediction. Of interest is also to identify the variables used to calculate the final prediction.
  • the representation of an action is the display of the name of the document Di which has been automatically renamed. In the latter case, the action may correspond to the renaming of the Di document.
  • the representation of an action is the opening of an edited or created document to display at least one area of interest of the digital document.
  • the final prediction or the classification carried out from the final prediction generates the issuance of a notification sent automatically to a user whose email address is predetermined or whose email address is deduced from metadata of an action carried out by said user.
  • the notification includes a link to a resource of a remote entity and displays either the prediction, action, or classification using a user interface. The user is then invited to validate the prediction, classification or action or to correct it.
  • the method of the invention comprises a step of verifying the final prediction with a consistency test of the prediction.
  • the consistency test can be executed from a document model, also called a “template” in the English literature or a scenario model aimed at checking the consistency of a final prediction, for example from rules.
  • a document model allows you to validate that the final prediction results in generating, modifying or creating a document that has a given predefined model. This verification makes it possible to test, for example, the consistency of expected data in a given area of a document with the actually controlled area of a document model.
  • the document model can be associated with a score which is automatically calculated according to the annotations which have been previously issued and therefore the training of the domain of each learning function acting on a digital document Di comprising a document model.
  • An advantage is to quickly identify whether a document model is reliable or whether it is necessary to train the machine learning model to improve the fidelity of the document model.
  • a scenario model makes it possible to validate that the final prediction leads to an action integrating into a list of expected tasks or leads to a classification without affecting other parameter values or at least that these values remain within a given range.
  • Figure 2 represents an example of a document model that can be used to check the consistency of a prediction and possibly calculate a score for the calculated prediction.
  • Figure 2 represents a model in which a certain number of objects OB1, OB2, OB3 representing headings, illustrations or paragraphs can be labeled to indicate characteristic data fields.
  • a first date field denoted DAT1 and a second date field DAT2 representing for example respectively a mail date and a signature date.
  • the NM1 field is that of an entity named, for example a name and address of an organization receiving the document.
  • Another NM2 field allows you to label another named entity such as another organization name, for example an organization publishing the document.
  • a signature area is indicated SIG1 in Figure 2 and represents an area where a signature is expected.
  • a document model such as that of Figure 2 can be used initially to generate a first training of a machine learning model making it possible to execute one or more learning functions.
  • the model is built from real documents and makes it possible to carry out a consistency check with predictions calculated by learning functions.
  • a document template may be used to generate another document template.
  • the method of the invention makes it possible, from a user interface, to carry out a corrective action carried out by a user on the document Di.
  • the corrective action AC1 corresponds to a movement of the document D1 which was previously recorded automatically by the execution of at least one learning function.
  • a movement resulting from a corrective action ACi allows you to modify the memory resource storing the document or to modify the link allowing access to it.
  • the corrective action AC2 corresponds to a renaming of a document D1 or D2 which was previously renamed automatically by the execution of at least one learning function.
  • a renaming of a D1 or D2 document resulting from an AC1 corrective action allows you to modify the name of the digital document D1 or D2.
  • the name “D1” is used when the document was previously automatically moved to a directory before being renamed.
  • “D2” naming is used when the document has been automatically renamed without having been previously moved to a directory.
  • the corrective action AC3 corresponds to a correction made to a document produced by the first action such as the action A3 following the execution of at least one learning function.
  • the acquisition of the corrective action can be carried out according to different embodiments of the invention.
  • the corrective action is acquired by means of a user interface specially designed to inform a corrective action.
  • This user interface includes a field allowing you to designate the document to which you wish to take a corrective action and a field allowing you to carry out the corrective action.
  • This corrective action is then carried out in two stages, a first stage makes it possible to define what action must be taken and a second stage allows this corrective action to be carried out using the data acquired by the interface.
  • the corrective action is acquired directly from a file explorer making it possible to move a file from one directory to another directory or to access the name of a file to edit it by example by selecting an iconography representing the digital document.
  • An advantage of this option is that it can be carried out in just one time directly thanks to the user action.
  • the corrective action is acquired directly within the document Di, D2, or D3 from a user interface making it possible to view the content of the document to edit at least one piece of data from this document. Editing consists of a correction of document data, it can be numerical or alphabetical data such as a date, a named entity. According to an example, it may be a portion of a page such as a paragraph, an image or a portion of the page. According to another example, it may be an area of a page or a plurality of pages.
  • a document model is used to interpret the corrective action of a user within a document that was generated by the first action.
  • the advantage of using a document template is to automatically recognize modified information in a file to extract additional data associated with this modification or to enrich the modified information with additional data from another source.
  • An advantage is to identify on the one hand the erroneous prediction made by the learning function and to determine all the parameter values having contributed to producing this erroneous prediction.
  • the model allows you to recover all of the values from the list that has not been corrected and to recover all of the data used to produce the erroneous prediction and the correct predictions.
  • One interest is to improve the training of machine learning models.
  • the corrective action results in automatically generating a corrected value of the prediction and an annotation.
  • the method of the invention makes it possible to record the modified value representative of the corrective action AC1, AC2, that is to say the value of the final prediction.
  • the value can be a directory name or even a file name with a given nomenclature.
  • the modified value of the corrective action ACi, AC2 can be recorded with the resulting value of the first action Ai, respectively A2. If the document was saved in a folder “A” and a corrective action led to moving this document to a new directory “B”, the method of the invention makes it possible to record this new value “B” and to associate it with the old value “A”.
  • an annotation is automatically generated following the corrective action.
  • the annotation may include the new value resulting from the corrective action, that is to say the corrected value of the prediction and possibly the old value of the first action which was carried out on the first digital document, i.e. that is to say the final prediction.
  • the generated annotation advantageously comprises a set of values of interest extracted or generated in particular from the first digital document D1 or any other analyzed document.
  • values of interest are associated with system variables such as an organization name, a due date or a delivery date or an address, etc.
  • system variables such as an organization name, a due date or a delivery date or an address, etc.
  • variables of interest are themselves associated with metadata that can be used in an annotation in order to improve the training of a domain.
  • the annotation may include in particular all of the predictions of each learning function and all of the data from the first document D1 having been used to calculate each prediction.
  • this data can be a text field, a date field or a number.
  • This data may include indicators of the presence of iconography, a signature, header or even initials, etc.
  • Numerous data, denoted value of interest or variables of interest, having been used to calculate the predictions can be collected when a corrective action has been carried out in order to enrich a training domain.
  • the values of interest preceding a corrected prediction and the values of interest following in a reading order of the document can be extracted in order to be inserted in the annotation.
  • An interest is to obtain the context data directly associated in the document with the corrected prediction. This data makes it possible, for example, to improve relearning by consolidating the contextual controls of the corrected prediction.
  • the annotation is recorded in a memory.
  • the annotation is generated according to a predefined sequence which requires recording data temporarily while waiting for other data to be calculated later so as to generate the annotation completely.
  • the annotation produced includes a document identifier and/or a user identifier, for example an email and/or a date on which the first action Ai was carried out and/or the date on which the action ACi correction was carried out. These data also constitute variables of interest.
  • the generated annotation is displayed in a user interface.
  • this annotation can be modified by a user.
  • the generation of a modified value of a prediction or a new annotation makes it possible to automatically issue a notification to a given recipient user.
  • the recipient user identifier or address can be preconfigured depending on the document type or directory associated with the prediction.
  • the recipient user is identified using metadata associated with the processed digital document.
  • the retraining of at least one model can be initiated after the generation of a given number of annotations.
  • the annotation makes it possible to supply a training domain with at least one learning function.
  • a plurality of training domains of a plurality of learning functions is modified following the corrective action.
  • a modification of at least one predefined rule is carried out following the generation of a corrective action.
  • validation of an operation is required from a given user following the generation of a corrective action.
  • Validation of the operation can lead to the retraining of a learning function from the modified training domain and/or the modification of a rule from the annotation.
  • a modification of a rule may include an addition of a value to a set of possible values of a variable, for example of a document type, a named entity category or even a nomenclature of date.
  • the method of the invention makes it possible to take into account the second sequence S2 of the GRAPHD dependence graph in order to modify the models and algorithms.
  • the second sequence S2 of the GRAPHD dependence graph makes it possible in particular to link the predictions produced by an algorithm according to other predictions produced by other algorithms when this is the case.
  • the second sequence S2 takes into account the occurrences of similar annotations or their frequency over time or even their singularity to apply the retraining or algorithm modifications in a second sequence S2 aimed at retraining or modifying a plurality of functions or algorithms.
  • an annotation that has many occurrences may be in a configuration of a less frequently used embodiment to update a machine learning model of a given learnable function.
  • an annotation with few occurrences can be taken into account more quickly by the retraining process.
  • the corrective action AC1 or AC2 or the modification of the prediction leads to the modification of a parameterization of the second sequence S2 in order to generate a retraining sequence adapted to the corrective action or the modified prediction.
  • An interest is to retrain the models that only contributed to generating a prediction erroneous without affecting the retraining of machine learning models of functions that produced non-erroneous intermediate predictions.
  • the GRAPHD dependence graph therefore makes it possible to optimize useful retraining operations without affecting the entire processing chain - organized by the first Si or the second sequence S2. Furthermore, the dissociation in the GRAPHD dependence graph of the first sequence and the second sequence makes it possible to execute functions while organizing the relearning according to the implementation of the method.
  • the method includes a step of validation by a user from a user interface of a retraining of a set of documents already classified in a directory.
  • This embodiment works with different actions such as automatic movement of a received document or renaming of a document or even segmentation or creation of a document.
  • the validation step makes it possible, on the contrary, to avoid an impact of a change in the behavior of a function on a history of documents already processed.
  • the user can dissociate, depending on the actions carried out, different processing of the history depending on the use cases.
  • the method of the invention comprises the integration of a data resource which may be a database of named entities such as an address book, a database of documents such as a messaging service or any other database containing data capable of being queried by a query generated by the process.
  • a data resource which may be a database of named entities such as an address book, a database of documents such as a messaging service or any other database containing data capable of being queried by a query generated by the process.
  • the method of the invention is implemented in a collaborative workspace accessible from at least one data server.
  • an event is automatically generated. This operation may relate to each or certain user action(s). This event is generally generated in order to synchronize the different resources for a set of individuals having access to the workspace.
  • Such an event may be an electronic notification issued by a communication interface. According to one embodiment, this event is used to activate the detection of an action of moving a document from one directory to another as part of a corrective action carried out by a user.
  • the method of the invention is implemented in a workspace in which an algorithm is configured to browse the changes made within a directory such as the addition of a document, the deleting a document, renaming a document, etc.
  • This algorithm makes it possible to automatically detect a change and generate a modification of the prediction and therefore generate a new annotation.
  • Figure 3 represents an example of the elements of a system of the invention making it possible to implement the method of the invention.
  • Figure 3 represents a NETi data network which can be the internet network.
  • a first Ti user terminal provides access to a remote server SERVi makes it possible to host in particular a collaborative work space. This space notably includes memory resources for storing received digital documents and processing them automatically.
  • a second server SERV2 includes the means for generating the models and executing certain functions and algorithms of the method of the invention.
  • the models and configurations of the learning functions can be stored directly on the server hosting the collaborative workspace on which the method of the invention executes. However, in a preferential mode, a server dedicated to their storage and execution is implemented.
  • one or more configuration files may include additional data to train or apply a model that may include parameters, intermediate results or annotations generated following a corrective action.
  • the configuration or the document using the configuration can be downloaded at any time and put on hold until all the data and documents necessary for the application or retraining of the models are associated.
  • the configurations are associated with the documents if one or more conditions are validated.
  • a condition can be the execution of a function or command.
  • An advantage is to allow the collection of documents and configuration data from several systems which do not communicate with each other, and to only apply the models to the documents when sufficient documents and data are available.
  • An advantage is to allow new documents to be taken into consideration to be processed independently of relearning which would be reapplied.
  • the configuration making it possible to retrain one or more learning function(s) can be activated or programmed following the processing of a plurality of documents.
  • the relearn can take into consideration a plurality of input documents.
  • a corrective action on a single document can be taken into account to generate a new prediction of a plurality of documents.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Procédé pour améliorer la classification d'un document à partir d'une pluralité de modèles d'apprentissage machine (ML1) caractérisé en ce qu'il comprend :  Réception d'un document numérique (D1);  Exécution d'une première fonction apprenante (FA1) générée à partir d'un premier modèle d'apprentissage machine (ML1) entrainé à partir d'un premier domaine d'entraînement (DOM1) traitant de la première séquence de données (S1) en entrée et permettant de classifier un type de document (TYP1) et générer une prédiction d'une première action automatique (A1) à réaliser sur le document numérique (D1),  Acquisition d'une première action correctrice (AC1) d'un utilisateur se rapportant à la modification du déplacement du premier document numérique (D1) vers un second répertoire (REP2);  Génération d'une première annotation (ANN1);  Modification du premier domaine d'entraînement (DOM1) par l'ajout de la première annotation (ANN1);  Génération d'un réentraînement du premier modèle d'apprentissage machine (ML1).

Description

PROCEDE POUR AMELIORER LA CLASSIFICATION D’UN DOCUMENT NUMERIQUE A PARTIR D’UNE PLURALITE DE MODELES D’APPRENTISSAGE
Domaine de l’invention
Le domaine de l’invention est celui des procédés et systèmes pour améliorer la classification d’un document numérique notamment pour son enregistrement dans un espace mémoire donné et pour son exploitation dans une ressource mémoire.
État de la technique
Il existe des solutions d’analyse de documents numériques à partir de modèles d’apprentissage machine. Les solutions de l’état de l’art permettent généralement d’extraire soit des données d’intérêt relatives au type de document en question pour le classifier, soit des données d’intérêt pour exploiter le document d’une certaine manière en réalisant des opérations telles que des anonymisations, des vérifications sur des entités nommées, etc.
Les solutions de l’art antérieur reposent sur un apprentissage qui permet d’enrichir un modèle afin d’améliorer l’efficacité de la classification d’une fonction apprenante. Un problème des solutions de l’état de l’art est de mettre à contribution les utilisateurs d’une solution de classification en requérant des actions de leur part dédiées à améliorer l’apprentissage de la fonction apprenante. Ces actions peuvent comprendre des corrections de labels, des modifications des données extraites, des annotations, etc.
Or ces actions dédiées ne sont pas toujours réalisées correctement du fait de l’hétérogénéité des comportements humains pour contribuer au réentraînement d’un modèle d’apprentissage machine et du fait que les actions de corrections ne sont pas toujours réalisées.
Il existe un besoin de définir une solution permettant le réapprentissage d’un modèle d’apprentissage machine qui soit simple et quasiment transparent aux utilisateurs qui exploitent les résultats des classifications.
Résumé de l’invention Selon un premier aspect, l’invention concerne un procédé pour améliorer la classification d’au moins un document à partir d’au moins un modèle d’apprentissage machine caractérisé en ce qu’il comprend :
■ Réception d’un premier document numérique ;
■ Exécution d’une première fonction apprenante générée à partir d’un premier modèle d’apprentissage machine entraîné à partir d’un premier domaine d’entraînement permettant de générer une prédiction d’une classification du premier document numérique au sein d’une première classe pour réaliser une première action automatique sur le document numérique,
■ Génération d’une représentation de cette classification et/ou de l’action réalisée sur le premier document numérique à partir d’une interface utilisateur ;
■ Acquisition d’une première action correctrice d’un utilisateur ;
■ Génération d’une première annotation comportant d’une part la valeur modifiée de la prédiction relative à la première action correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique ;
■ Modification du premier domaine d’entraînement par l’ajout de la première annotation ;
■ Génération d’un réentraînement du premier modèle d’apprentissage machine.
Selon un mode de réalisation, les actions peuvent correspondre par exemple à :
- un déplacement d’un document numérique d’un répertoire à un autre ;
- une copie d’un document dans un dossier/répertoire ;
- un renommage d’un document numérique,
- une création d’un nouveau document et/ou d’un nouveau répertoire d’un espace de données.
L’invention est mise en œuvre par ordinateur.
Selon un aspect, l’invention concerne un procédé pour améliorer la classification d’au moins un document ou d’une donnée d’un document et/ou la prédiction d’une donnée qualifiant au moins un document ou d’une donnée d’un document à partir d’au moins un modèle d’apprentissage machine caractérisé en ce qu’il comprend :
■ Réception d’un premier document numérique ;
■ Exécution d’une première fonction entrainée à partir d’un premier domaine d’entraînement permettant de générer une prédiction d’une première action automatique à réaliser sur le document numérique,
■ Génération d’une représentation de cette prédiction et/ou de l’action réalisée sur le premier document numérique à partir d’une interface utilisateur ;
■ Acquisition d’une première action correctrice d’un utilisateur ;
■ Génération d’une première annotation comportant d’une part la valeur modifiée de la prédiction relative à la première action correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique ;
■ Modification du premier domaine d’entraînement par l’ajout de la première annotation après la collecte d’au moins une annotation ;
■ Génération d’un réentraînement du premier modèle d’apprentissage machine.
Selon un mode de réalisation, la fonction apprenante est une fonction générée à partir d’un premier modèle d’apprentissage machine entrainé à partir d’un premier domaine d’entraînement. Selon un autre cas, la fonction apprenante est une fonction prédéfinie permettant d’extraite une donnée d’un ensemble de données pour générer une prédiction, ledit ensemble de données pouvant évoluer au cours du temps par un ajout ou sélection de données ou un enrichissement de données.
Selon un second aspect, l’invention concerne un procédé pour améliorer la classification d’au moins un document à partir d’au moins un modèle d’apprentissage machine caractérisé en ce qu’il comprend :
■ Réception d’un premier document numérique ;
■ Exécution d’une première fonction apprenante générée à partir d’un premier modèle d’apprentissage machine entrainé à partir d’un premier domaine d’entraînement permettant de générer une prédiction d’une classification du premier document numérique au sein d’une première classe pour réaliser une première action automatique sur le document numérique, ladite première action comportant au moins un déplacement dudit premier document numérique vers un premier répertoire,
■ Génération d’une représentation de cette classification et de l’action réalisée sur le premier document numérique à partir d’une interface utilisateur ;
■ Acquisition d’une première action correctrice d’un utilisateur se rapportant à la modification du déplacement du premier document numérique vers un second répertoire ;
■ Génération d’une première annotation comportant d’une part la valeur modifiée de la prédiction relative à la première action correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique ;
■ Modification du premier domaine d’entraînement par l’ajout de la première annotation ;
■ Génération d’un réentraînement du premier modèle d’apprentissage machine.
Avantageusement, le répertoire dans lequel le premier document est déplacé dépend de la classification. Ainsi, selon la classification prédite par le premier modèle d’apprentissage machine entrainé, un répertoire donné est visé pour le déplacement dudit premier document. L’association entre une classe et un répertoire peut être préconfigurée. D’une manière générale, l’ensemble des classes peut être associées à un ou plusieurs répertoires.
Selon un aspect, l’invention concerne un procédé pour améliorer la classification et/ou la prédiction d’au moins un document ou d’une donnée d’un document à partir d’au moins un modèle d’apprentissage machine caractérisé en ce qu’il comprend :
■ Réception d’un premier document numérique ;
■ Exécution d’une première fonction entrainée à partir d’un premier domaine d’entraînement permettant de générer une prédiction d’une première action automatique à réaliser sur le document numérique, ■ Génération d’une représentation de cette prédiction et/ou de l’action réalisée sur le premier document numérique à partir d’une interface utilisateur ;
■ Acquisition d’une première action correctrice d’un utilisateur ;
■ Génération d’une première annotation comportant d’une part la valeur modifiée de la prédiction relative à la première action correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique ;
■ Modification du premier domaine d’entraînement par l’ajout de la première annotation après la collecte d’au moins une annotation ;
■ Génération d’un réentraînement du premier modèle d’apprentissage machine.
Selon un mode de réalisation, la fonction apprenante est une fonction générée à partir d’un premier modèle d’apprentissage machine entrainé à partir d’un premier domaine d’entraînement. Selon un autre cas, la fonction apprenante est une fonction prédéfinie permettant d’extraite une donnée d’un ensemble de données pour générer une prédiction, ledit ensemble de données pouvant évoluer au cours du temps par un ajout ou sélection de données ou un enrichissement de données.
Selon un aspect, l’invention concerne un procédé pour améliorer la classification et/ou la prédiction d’au moins un document ou d’une donnée d’un document à partir d’au moins un modèle d’apprentissage machine caractérisé en ce qu’il comprend :
■ Réception d’un premier document numérique ;
■ Exécution d’une première fonction apprenante générée à partir d’un premier modèle d’apprentissage machine entrainé à partir d’un premier domaine d’entraînement permettant de générer une prédiction d’une première action automatique à réaliser sur le document numérique,
■ Génération d’une représentation de cette prédiction et/ou de l’action réalisée sur le premier document numérique à partir d’une interface utilisateur ;
■ Acquisition d’une première action correctrice d’un utilisateur ; ■ Génération d’une première annotation comportant d’une part la valeur modifiée de la prédiction relative à la première action correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique ;
■ Modification du premier domaine d’entraînement par l’ajout de la première annotation après la collecte d’au moins une annotation ;
■ Génération d’un réentraînement du premier modèle d’apprentissage machine.
Selon un mode de réalisation, la première action correctrice se rapportant à la modification du déplacement du premier document numérique est réalisée par un déplacement du premier document numérique du premier répertoire vers un second répertoire par une action utilisateur à partir d’un explorateur de documents, un algorithme de détection de changement de ressource mémoire allouée à un document numérique étant mis en œuvre.
Selon un mode de réalisation, la première action correctrice se rapportant à la modification du déplacement du premier document numérique est réalisée par une modification de la classe du premier document numérique par une action utilisateur à partir d’un interface utilisateur présentant un ensemble de données caractéristiques du premier document numérique.
Selon un mode de réalisation, le procédé comprend :
■ Réception d’un second document numérique ;
■ Exécution d’une seconde fonction apprenante générée à partir d’un second modèle d’apprentissage machine entrainé à partir d’un second domaine d’entraînement permettant de générer une prédiction d’une classification du second document numérique au sein d’une seconde classe pour réaliser une seconde action automatique sur le second document numérique, ladite seconde action comportant au moins un renommage automatique dudit second document numérique,
■ Génération d’une représentation de cette classification et de l’action réalisée sur le premier document numérique à partir d’une interface utilisateur ; ■ Acquisition d’une seconde action correctrice d’un utilisateur se rapportant à la modification du nom du second document numérique ;
■ Génération d’une seconde annotation comportant d’une part la valeur modifiée de la prédiction relative à la seconde action correctrice et d’autre part un ensemble de valeurs d’une seconde séquence de données extraites ou générées notamment à partir du second document numérique ;
■ Modification du second domaine d’entraînement par l’ajout de la seconde annotation ;
■ Génération d’un réentraînement du second modèle d’apprentissage machine.
Selon un mode de réalisation, la seconde action correctrice se rapportant à la modification du nom du second document numérique est réalisée par une modification du nom du second document numérique directement sur le fichier correspondant au second document numérique.
Selon un mode de réalisation, la seconde action correctrice se rapportant à la modification du nom du second document numérique est réalisée par une modification de la classe du second document numérique par une action utilisateur à partir d’un interface utilisateur présentant un ensemble de données caractéristiques du second document numérique.
Selon un mode de réalisation, le procédé comprend :
■ Réception d’un document numérique ;
■ Exécution d’une troisième fonction apprenante générée à partir d’un troisième modèle d’apprentissage machine entrainé à partir d’un troisième domaine d’entraînement pour générer une prédiction relative à la détection d’une classe d’une date caractéristique présente dans le document numérique et extraire ladite date caractéristique du premier document ;
■ Génération d’une représentation de la classification d’au moins la date caractéristique extraite à partir d’une interface utilisateur ;
■ Acquisition d’une troisième action correctrice d’un utilisateur se rapportant à la modification de la classe de la date caractéristique du premier document numérique ; ■ Génération d’une troisième annotation comportant d’une part la valeur modifiée de la prédiction relative à la première modification correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du document numérique ;
■ Modification du troisième domaine d’entraînement par l’ajout de la troisième annotation ;
■ Génération d’un réentraînement du troisième modèle d’apprentissage machine.
Selon un mode de réalisation, la troisième fonction apprenante est exécutée préalablement à la première fonction apprenante, la prédiction corrigée étant une donnée de l’ensemble de valeurs d’intérêt d’une annotation, ladite modification prédiction corrigée entraînant la modification du premier domaine d’entraînement et/ou de la modification du second domaine d’entraînement.
Selon un mode de réalisation, le procédé comprend la réception d’un graphe de dépendance, lesdites dépendances étant définies entre au moins la première fonction apprenante et une seconde fonction apprenante, ledit graphe de dépendance comportant une description des entrées d’au moins un domaine d’entraînement, lesdites entrées comportant au moins une valeur correspondante à une sortie d’au moins une fonction apprenante.
Selon un mode de réalisation, le procédé comprend :
■ Acquisition d’un graphe de dépendance entre une pluralité de fonctions apprenantes choisies parmi un ensemble de fonction apprenantes comprenant la première fonction apprenante, la seconde fonction apprenante et troisième fonction apprenante ;
■ Ajout dans au moins un ensemble de valeurs d’intérêt produites lors de la création d’une annotation d’une prédiction modifiée d’une fonction apprenante donnée de manière à :
■ Modification d’un domaine d’entraînement d’une autre fonction apprenante que la fonction apprenante donnée ;
■ Génération d’un réentraînement du modèle d’apprentissage machine.
Selon un mode de réalisation, consécutivement à une action automatique réalisée par une fonction apprenante, une première notification est émise via un réseau de données, ladite première notification comportant un accès à une interface utilisateur permettant de modifier les annotations associées à cette action.
Selon un mode de réalisation, le premier modèle d’apprentissage machine est généré à partir de la définition d’un modèle de premier document numérique comportant l’identification d’une pluralité de données caractéristiques et de zones d’intérêt dudit modèle de premier document et à partir d’une interface utilisateur.
Selon un mode de réalisation, consécutivement à une action correctrice générée par un utilisateur, le modèle de premier document numérique est utilisé pour extraire des données de contexte de la prédiction modifiée pour enrichir l’annotation qui est créée.
Selon un mode de réalisation, la définition d’un modèle de premier document numérique comprend la génération d’un formulaire comportant un ensemble de choix définissant des annotations dudit modèle, lesdites annotations permettant de mettre à jour le premier modèle d’entraînement.
Selon un mode de réalisation, une pluralité de premiers documents sont reçus d’une même classe, et qu’une pluralité de modèles d’apprentissage machine sont appliqués, le procédé comprenant la génération d’une pluralité de prédictions, le procédé comportant la sélection d’une prédiction, ladite sélection de ladite prédiction permettant de mettre à jour le premier domaine d’entraînement.
Selon un autre aspect l’invention concerne un système comportant un terminal électronique d’un utilisateur comportant au moins un calculateur, une mémoire, un afficheur et une interface de communication pour transmettre des messages sur un réseau de données auprès d’au moins un premier serveur comportant des ressources matérielles pour exécuter la première fonction apprenante, la seconde fonction apprenante, la troisième fonction apprenante et une mémoire pour enregistrer les modèles appris afin d’exécuter les étapes du procédé de l’invention, le terminal comportant une interface utilisateur pour acquérir une annotation comportant une modification d’une prédiction, ladite modification entraînant le réentraînement d’au moins un modèle d’apprentissage machine. Selon un autre aspect de l’invention concerne un procédé pour améliorer la classification d’un document numérique à partir d’une pluralité de modèles d’apprentissage machine caractérisé en ce qu’il comprend :
■ Réception d’un document numérique ;
■ Exécution d’une première fonction apprenante générée à partir d’un premier modèle d’apprentissage machine entrainé à partir d’un premier domaine d’entraînement et permettant de classifier un premier type de document et générer une première prédiction d’une première action automatique à réaliser sur le document numérique,
■ Exécution d’une seconde fonction apprenante générée à partir d’un second modèle d’apprentissage machine entrainé à partir d’un second domaine d’entraînement pour générer une seconde prédiction permettant d’extraire et classifier une donnée caractéristique du premier document ;
■ Génération d’une représentation à partir d’une interface utilisateur de la première prédiction associée à la classification et à l’action réalisée, de la seconde prédiction comportant la date extraite du premier document numérique et de la classe de la date extraite du premier document numérique ;
■ Acquisition d’une première action correctrice d’un utilisateur se rapportant à la modification d’au moins une prédiction ;
■ Génération d’une première annotation comportant d’une part la valeur modifiée de la au moins une prédiction relative à la première action correctrice et d’autre part un ensemble de valeurs d’intérêt extraites ou générées à partir du premier document numérique ;
■ Acquisition d’un graphe de dépendance entre au moins la première fonction apprenante et la seconde fonction apprenante ;
■ Modification du premier domaine d’entraînement et/ou du second domaine d’entraînement en fonction de l’annotation et du graph de dépendance par l’ajout de la première annotation ; ■ Génération d’un réentraînement du premier modèle d’apprentissage machine et/ou du second modèle d’apprentissage.
Selon un mode de réalisation, le réentraînement des modèles d’apprentissage machine est généré en fonction du graph de dépendance représentant les liens entre fonctions apprenantes entre elles.
Selon un mode de réalisation, le procédé comprend une application du premier modèle d’apprentissage machine et/ou du second modèle d’apprentissage machine au premier document numérique ou à un autre document reçu ultérieurement au premier document numérique.
Selon un mode de réalisation, les valeurs d’intérêt comprennent une position d’une donnée dans le document ou dans une page du document. Selon un autre exemple, une valeur d’intérêt comprend une séquence de symboles discrets en langage naturel qui précède et/ou suit la prédiction corrigée dans le document. Selon un exemple, une valeur d’intérêt est une prédiction intermédiaire d’une fonction apprenante qui est dans une même séquence qu’une fonction apprenante exécutée pour produire le document numérique qui a été l’objet d’une action correctrice.
Brève description des figures
D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées, qui illustrent :
Fig. 1 : une architecture de fonction apprenante permettant d’illustrer le réentraînement d’un modèle d’apprentissage d’une machine d’une fonction à partir d’une correction opérée sur le résultat produit d’une autre fonction apprenante selon le procédé de l’invention ;
Fig. 2 : des zones d’intérêt d’une page d’un document numérique de laquelle un ensemble de données sont extraites par une ou des fonction(s) apprenante(s) selon le procédé de l’invention ;
Fig. 3 : un système de l’invention comportant différentes ressources pour mettre en œuvre le procédé de l’invention,
Fig. 4 : un exemple de génération d’un nouveau modèle de documents suite à une annotation produite par le procédé de l’invention. La figure 1 représente une architecture logicielle mettant en œuvre différentes fonctions apprenantes FAi, FA2 et FA3 réalisant des opérations automatiques sur un document numérique D1. Chacune des fonctions apprenantes FA1, FA2, FA3 calcule à partir du document d’entrée D1 à traiter une prédiction intermédiaire respectivement notée Pi, P2 et P3. Selon un mode de réalisation, un graphe de prédiction GRAPHP permet de calculer à partir d’un calculateur une prédiction finale Pf pour réaliser une action automatiquement Ai.sur le document numérique. L’action Ai peut être de déplacer le document, de le renommer ou d’utiliser une partie des données du document D1 pour générer un autre document.
La figure 1 représente également l’opération Ci(Di) qui consiste à générer une représentation de cette action sur un afficheur. La représentation peut être générée en temps réel sur une interface utilisateur ou être représentée après que la prédiction, la classification ou l’action. Cette représentation peut être réalisée à partir d’une interface utilisateur. Un explorateur de fichiers peut être utilisé pour représenter le déplacement d’un dossier.
La figure 1 représente une opération correspondant à une action correctrice AC1 d’un utilisateur. L’action correctrice peut correspondre à un déplacement opéré par un utilisateur d’un document qui a été jugé mal classé. D’autres actions correctrices sont envisageables selon le procédé de l’invention tel qu’un renommage ou une correction d’une valeur dans le document ou dans un document généré.
L’action correctrice a pour conséquence la création automatique d’une annotation ANN1. Cette annotation ANN1 comprend une valeur corrigée de la prédiction finale Pf résultant de l’action correctrice. Par exemple, la prédiction corrigée peut être un nom de répertoire d’un système de fichier. En outre, l’annotation ANN1 comprend un certain nombre de données qui sont liées à la prédiction corrigée.
La figure 1 représente un graphe de dépendance GRAPHD permettant d’établir l’ensemble des prédictions intermédiaire Pi, P2, P3 et des modèles d’apprentissage machine ML2, ML1, ML3 et des fonctions apprenantes à corriger pour tenir compte du changement de la valeur de la prédiction finale Pf. Le procédé de l’invention permet grâce à ce graphe de dépendance de recueillir les valeurs modifiées des prédictions intermédiaires, ici P2’ et de répercuter cette nouvelle valeur dans le domaine d’entrainement des fonctions apprenantes. Un avantage est de permettre un réapprentissage des fonctions apprenantes ayant uniquement contribuée à calculer une valeur erronée de la prédiction intermédiaire.
Dans le cas de la figure 1 , on comprend que la prédiction intermédiaire P2 calculée par la seconde fonction apprenante FA2 est utilisée comme entrée de la première fonction apprenante FA1. En conséquence, le modèle d'entrainement ML2 est réentraîné, tout comme le modèle d’entrainement ML1. Le graphe de dépendance GRAPHR permet d’établir cette séquence de réentrainement.
La figure 4 représente un cas de figure dans lequel un modèle de document MOD(Di) est utilisé pour traiter un type de document reconnu par une fonction apprenante FA1. Dans ce cas de figure, une seule fonction apprenante FA1 est utilisée, toutefois d’autres cas de figures pourraient mettre en œuvre différentes fonctions apprenantes pour classifier le document D1 reçu en entrée. Une prédiction Pi qui peut être dans ce cas une prédiction intermédiaire et une prédiction finale est générée par la première fonction apprenante FA1. Cette prédiction Pi dans ce cas permet par exemple de classifier le document D1 et d’appliquer une action A1 automatiquement sur le document. Une action correctrice AC1 est engagée par un utilisateur. Cette action correctrice AC1 engendre une nouvelle valeur de la prédiction PT.
L’invention permet non seulement de générer une nouvelle annotation automatiquement pour réentraîner le modèle mais également de modifier le modèle de document MOD qui sera utilisé pour les prochaines actions. Le nouveau modèle de document MOD’ peut être généré par une règle de calcul, un algorithme prédéfini ou encore par une nouvelle fonction apprenante permettant d’être entrainé par des données utilisateur et/ou des données issues des annotations produites par les actions correctrices.
Type de document
Le document D1 peut être un document technique tel qu’une spécification technique, un manuel d’utilisation, un manuel de montage, un document comptable tel qu’un bilan, un devis, une facture, un courrier, un plan, une attestation, un document officiel, un certificat médical, un formulaire ou encore tout autre document produit par une organisation, un process automatisé ou un individu. Les documents traités dans le cadre de l’invention sont préférentiellement des documents qui se rapportent à un type de documents ou encore une famille de documents. Le type du document peut être défini par un nom générique ou un libellé permettant de l’associer à un type de document. On comprend qu’une facture peut être à ce titre un type de document dans une organisation ainsi qu’une spécification technique d’un produit.
Le document peut comprendre différents formats tels qu’un format .txt, un format .pdf, un format .png, un format pg, un format Json, un format .xml, un format .doc ou docx ou tout autre format de document permettant d’encoder une pluralité de symboles discrets dans une langue naturelle.
Selon certains modes de réalisation, le document peut être un message d’une messagerie électronique. Selon un mode de réalisation, le document numérique est un fichier image, un fichier vidéo ou un fichier audio. Selon un mode de réalisation, le document est un ensemble de données reçues en temps réel, il peut donc s’agir d’un flux vidéo ou d’un flux audio.
Réception du document
Le document Di peut être reçu depuis une interface de communication telle qu’une carte réseau permettant d’acquérir des données depuis une entité distante comme un serveur de données. Selon un autre cas, le document Di peut être enregistré dans une mémoire au sein de laquelle une fonction permet de récupérer le document qui y est enregistré afin de réaliser une opération sur ce dernier document.
Un objectif de l’invention est d’extraire des données dudit document pour le classifier avec la meilleure probabilité afin d’exécuter des actions sur le document, notamment pour l’enregistrer automatiquement dans une mémoire donnée.
Fonction apprenante
Le procédé de l’invention comprend l’exécution d’au moins une fonction apprenante générée par un modèle d’apprentissage machine entrainé à partir d’un ensemble de données d’entraînement appelé domaine d’entraînement.
Selon une alternative, le procédé de l’invention comprend l’exécution d’au moins une fonction apprenante qui est configurée pour interroger et/ou extraire des données au sein d’un historique. La fonction est dite « apprenante » dans ce cas du fait que l’historique peut comprendre de nouvelles données qui sont agrégées au cours du temps. L’historique peut prendre la forme d’une base de données ou d’un fichier. La mise à jour de l’historique avec de nouvelles données peut être réalisée automatiquement soit à partir d’action d’un utilisateur.
Dans ce dernier cas, la fonction apprenante n’est pas obtenue à partir d’un modèle d’apprentissage machine mais elle peut résulter d’un paramétrage prédéfini. Le paramétrage peut par exemple correspondre au type de fonction, les coefficients de cette dernière et/ou au répertoire(s) qui est/sont exploité(s) pour extraire et/ou enregistrer des informations.
Selon un mode de réalisation de l’invention, le procédé comprend l’exécution d’une pluralité de fonctions apprenantes entrainées à partir de différents modèles. L’exécution de la pluralité de fonctions apprenantes permet notamment de réaliser différentes fonctions sur le document Di.
Selon un mode de réalisation, lorsqu’une pluralité de fonctions apprenantes est exécutée, le procédé de l’invention comprend l’application d’un graphe de prédiction GRAPHp et/ou d’un graphe de dépendance GRAPHD.
Le graphe de dépendance GRAPHD comprend notamment pour chaque action à réaliser une première séquence Si d’exécution des différentes fonctions apprenantes afin de réaliser ladite action donnée. La première séquence Si peut résulter d’une configuration prédéfinie. Elle correspond à l’enchainement d’une série d’algorithmes. Selon un exemple, chaque algorithme est exécuté à partir d’une fonction apprenante. On rappelle que la fonction apprenante est un modèle d’apprentissage machine entrainé pour calculer une prédiction à partir de données d’entrée. Selon un mode de réalisation, tous les algorithmes d’une séquence ne sont pas uniquement des fonctions apprenantes, d’autres algorithmes tels que des algorithmes comportant des règles de calculs peuvent être séquencés parmi les fonctions mises en œuvre dans une première séquence Si.
La première séquence Si du graphe de dépendance GRAPHD comprend un ensemble de fonctions apprenantes et/ou d’algorithmes qui sont configurées pour s’enchainer dans un automatisme. En outre, la première séquence Si comprend les conditions d’ordonnancement et/ou conditions d’exécution de chaque fonction ou chaque algorithme. Cela signifie que la première séquence Si comprend des paramètres permettant d’ordonnancer les fonctions/algorithmes entre eux et des paramètres qui permettent de valider, temporiser ou invalider l’exécution d’une fonction/algorithme.
Le graphe de dépendance GRAPHD comporte également une seconde séquence S2 pour chaque action corrigée par un utilisateur de réentraînement des modèles d’apprentissage machine qui ont été exécutées lors de première séquence Si. La seconde séquence S2 permet de prendre en compte l’ensemble des modèles affectés par une erreur de prédiction lorsque le modèle dépend directement ou indirectement de la prédiction erronée.
La seconde séquence S2 du graphe de dépendance GRAPHD comprend un ensemble de réentraînements à chaque modèle des fonctions apprenantes ou de modifications des paramétrages des algorithmes. La seconde séquence S2 permet de reconfigurer ces entraînements de modèles ou ces modifications d’algorithmes au sein d’un automatisme formant une boucle de rétroaction. En outre, la seconde séquence S2 comprend les conditions d’ordonnancement et/ou conditions d’exécution de chaque réentraînement de modèle ou chaque modification d'algorithme. Cela signifie que la seconde séquence S2 comprend des paramètres permettant d’ordonnancer les réentraînements ou modifications entre eux et des paramètres qui permettent de valider, temporiser ou invalider l’exécution d’un réentraînement ou d’une modification d’algorithme.
Un graphe de prédiction GRAPHp permet de calculer une prédiction finale à partir d’une pluralité de prédictions intermédiaires générées par une pluralité de fonctions apprenantes.
Les fonctions apprenantes peuvent être générées par des modèles d’apprentissage machine ayant des architectures propres. Selon un exemple, une architecture de réseau peut être un modèle d’apprentissage machine de type RNN désignant dans la littérature anglo-saxonne Recurrent Neural Network » ou encore un modèle de type LSTM désignant dans la littérature anglo-saxonne « Long short-term memory » peut/peuvent être utilisé(s). Selon un autre exemple, le modèle d'apprentissage machine peut être un Transformeur, tel que GPT-3 désignant « generative Pre-Training Transformer » et qui est un modèle basé sur l'architecture Transformeurs, c’est-à-dire que certaines couches du modèle ont la structure d’un Transfromeur. Un avantage de l’utilisation d’un réseau pré-entrainé par exemple de type Transformeur est d’utiliser leurs bonnes capacités à traiter des données définissant des documents comportant des symboles discrets encodés dans une langue naturelle. Selon un mode de réalisation, l’invention est compatible d’une utilisation de réseaux déjà pré-entraînés déjà existants par exemple sur des plateformes accessibles depuis internet.
Un réseau pré-entraîné de type BERT désignant dans la littérature « Bidirectional Encoder représentations from Transformers » dont le modèle comprend également certaines couches ayant la structure d’un Transformeur, peut également être mis en œuvre dans le cadre de la présente invention.
Selon un exemple, lorsque peu de classes sont adressées par un classifieur, par exemple entre 5 et 10 classes, une architecture de modèles d’apprentissage machine peut comprendre la mise en œuvre d’arbres binaires tels que « Random Forest » ou « XGBoost » ou encore un réseau neuronal convolutionnel appelé CNN.
Selon un autre exemple, lorsqu’un nombre de classes important est adressé par un classifieur, une architecture de modèles d’apprentissage machine peut comprendre la mise en œuvre d’un modèle Transformeur par exemple de type BERT ou encore un réseau de neurones convolutionnel appelé CNN.
Les modèles d’apprentissage machine peuvet être configurés dans le cadre de l’invention pour extraire des données de documents numériques telles que des dates, des adresses, des noms propres, des tableaux, des signatures, des informations structurées, des sentiments et/ou des phrases cibles. Une architecture de modèle de type « regex » ou encore une librairie telle que « spacy » comprenant différents types de modèles, ou encore un CNN ou un modèle de type « transition-based models » peuvent être utilisés.
Les modèles utilisés pour extraire des objets, des entités nommées peuvent mettre en œuvre un modèle de type « transformeur » ou un modèle de type BERT.
Selon un mode de réalisation, une architecture pour reconnaître des patterns ou des motifs , tels qu’une signature, dans un document numérique peuvent mettre en œuvre un modèle de type « YOLO » ou de type « autoencoders ».
Fonction classification Selon un mode de réalisation, au moins une fonction apprenante est exécutée afin de classifier un document numérique Di reçu. La fonction apprenante FAi peut mettre en œuvre par exemple une analyse visant à extraire un type de document, une date, une entité nommée telle qu’un nom d’organisation ou un nom d’individu, une adresse ou toute autre donnée permettant d’exécuter une action sur la base de la connaissance de cette donnée une fois extraite. Dans ce dernier cas, certaines extractions de données peuvent être utilisées pour réaliser une classification. Toutefois, selon un autre exemple, la classification peut être réalisée sans extraction de données. Par exemple, une classification d’un document reçu ne met pas en œuvre nécessairement une extraction d’une donnée dudit document. Selon un mode de réalisation, une ou plusieurs fonction(s) apprenante(s) sont exécutées pour générer une prédiction de la classe de la donnée extraite. Chaque fonction apprenante peut générer une prédiction intermédiaire afin de calculer une prédiction finale.
Selon un exemple, l’extraction d’une date d'un document Di reçu peut permettre de classifier ce document dans un répertoire « à traiter » s’il s’agit d’une extraction de date(s) d’émission positionnée en en-tête du document ou dans un répertoire « à signer » si une date de signature est relevée en fin de document, en dernière page.
Cet exemple montre que le procédé de l’invention peut s’appliquer à partir d’une seule extraction pour classifier le document. Toutefois, selon différents modes de réalisation, la classification peut résulter d’une pluralité d’extractions de données et une analyse de l’ensemble des données extraites.
A titre d’exemple, la figure 1 représente trois fonctions apprenantes FAi, FA2, FA3 qui permettent d’extraire des données d’un document D1 reçu.
Selon cet exemple, une première fonction FA1 permet d’extraire automatiquement une date caractéristique DATE1, telle qu’une date d’échéance, la seconde fonction FA2 permet d’extraire une entité nommée NOM1 telle qu’un nom d’organisation, et la troisième fonction FA3 permet d’extraire un type de document TYPE1, tels qu’une facture ou un devis.
L’extraction des trois données caractéristiques {DATE1, NOM1, TYPE1} permet de générer une prédiction basée sur l’ensemble des trois prédictions générées par les trois fonctions apprenantes FA1, FA2, FA3. Cette prédiction permet une classification du document qui peut engendrer l’exécution d’une action automatique. Chaque extraction est réalisée à partir de chaque fonction apprenante qui a été définie à partir d’un modèle d’apprentissage machine entrainé à partir d’un domaine d’entraînement.
La prédiction finale calculée à partir des trois prédictions intermédiaires de chacune des fonctions apprenantes permet de réaliser une action automatiquement sur le document Di.
Les données extraites peuvent mettre en œuvre des fonctions apprenantes exploitant des variables relatives à la police de caractère, le style, ou encore la taille de police. La position de certains éléments peut également être utilisée ou les données de contexte à la donnée à extraire.
Selon un exemple de réalisation, un graphe de prédiction GRAPHp peut être mis en œuvre pour calculer la prédiction finale Pf. Ce graphe de prédiction permet selon les modes de réalisation de :
■ pondérer des prédictions intermédiaires Pi pour calculer une prédiction finale et/ou ;
■ exclure des actions ou des scénarios d’actions selon les valeurs ou les gammes de valeurs de certaines prédictions intermédiaires et/ou ;
■ hiérarchiser des actions ou les séquences d’actions entre elles.
■ Attendre la réception d’une prédiction intermédiaire d’une fonction apprenante donnée après le calcul d’un ensemble de prédictions intermédiaires d’une pluralité de fonctions apprenantes pour engager une action. On entend par « attendre » : créer une alerte sur la réception d’une donnée produite par une fonction donnée.
Selon un exemple de réalisation, les fonctions apprenantes peuvent être exécutées sur différents documents pour générer une action sur un autre document déjà créé ou qui sera créé. Les documents peuvent être des messages d’une messagerie ou des fichiers.
Selon un exemple de réalisation, une partie d’un document numérique Di est extrait, tel qu’un tableau.
Actions
Différentes actions peuvent être générées selon la prédiction réalisée et selon une configuration donnée. Autrement dit, une configuration permet de définir un lien entre l’unité de réception d’un document Di , le choix des fonctions apprenantes à exécuter et l’action à réaliser dans les conditions d’une prédiction finale générée.
Selon un mode de réalisation, différentes actions peuvent être générées par le procédé de l’invention.
Une première action Ai comprend l’enregistrement automatique du document Di dans un répertoire prédéfini. Selon un exemple, cette action peut être accompagnée d’une autre action visant à supprimer le premier document qui a été enregistré préalablement au traitement dans un répertoire temporaire.
Une seconde action A2 comprend le renommage automatique d’un document D2. Selon un exemple, cette action peut être accompagnée consécutivement ou antérieurement à une action Ai d’enregistrement du document D2. Dans ce cas, le document D1 et D2 peuvent être le même document, lorsque plusieurs actions sont générées sur un même document.
Une troisième action A3 comprend l’extraction d’une portion d’intérêt du document D3 et son intégration dans un autre document donné, nommé document édité De. Ce document peut être nouvellement créé. On entend là aussi que la troisième action A3 peut être combinée ou consécutive ou antérieure à une action Ai ou A2 ou Ai et A2.
Le document édité De peut être enregistré dans un répertoire prédéfini. Selon un exemple, cette troisième action A3 peut être accompagnée d’une autre action A3’ visant à extraire une autre portion d’un autre document D3’ d’un autre type ou du même type pour produire un unique document édité De issu de deux portions extraites de deux documents D3, D3’. Par exemple, un document de type « Bon commande » peut être généré à partir d’un contenu extrait d’un devis et d’un document de type mail d’acceptation ou du devis signé par une partie. Cette troisième action A3 peut être accompagnée d’une pluralité d’actions visant à produire un document édité et/ou d’actions visant à valider l’édition d’un tel document édité. Selon un exemple, au moins une portion extraite est utilisée pour éditer un nouveau document De. Selon un autre exemple, plusieurs portions extraites d’un même document D3 sont utilisées pour produire un document édité De.
Selon un mode de réalisation dans lequel un tableau est extrait avec des valeurs d’un premier document D3, une action peut être de régénérer un autre document comportant des valeurs dudit tableau combiné par exemple avec d’autres valeurs d’un autre tableau d’un autre document.
Selon un autre exemple, une quatrième action peut correspondre à la création d’une catégorie d’un paramètre ou d’une valeur extraite. Il peut s’agir par exemple d’une nouvelle entité nommée, c’est-à-dire une nouvelle organisation qui n’est pas encore référencée dans une base de données. Dans ce cas, la prédiction finale calculée à partir d’une pluralité de fonctions apprenantes apprenante ayant par exemple déterminées un type de document, une date, un montant et un nouveau nom d’organisation, est la création d’un nouveau répertoire. Le nouveau répertoire peut correspondre au répertoire dans lequel l’ensemble des factures de cette nouvelle entité nommée seront enregistrées.
Selon un autre exemple, une cinquième action correspond à la segmentation d’un document Di en au moins deux documents. La segmentation peut correspondre à un ensemble de pages d’un document. Un document segmenté peut alors être classifié par une autre fonction apprenante et être traité par une autre fonction apprenante pour extraire d’autres données afin de générer une autre action. Ainsi, cet exemple illustre qu’une action peut comprendre plusieurs sous-actions.
Représentation de la classification
Selon un mode de réalisation, une représentation de la décision, c’est à dire de la classification du document Di ou de l’action est générée. La représentation est préférentiellement réalisée à partir d’une interface utilisateur à partir d’un afficheur.
La représentation peut être par exemple, une iconographie d’un fichier enregistré dans un répertoire, c’est-à-dire une icône représentant le document D1. Cette représentation est notamment particulièrement adaptée lorsque l’action vise à déplacer automatiquement un document consécutivement au calcul de la prédiction finale.
Selon un exemple, la représentation peut être générée à partir d’une interface représentant la classification du document Di. Dans ce cas, un mot clef ou un nom de classe peut être associé au document Di. Cette représentation est utile lorsque l’on souhaite vérifier la classification d’un document et le score associé à sa prédiction. Un intérêt est également d’identifier les variables utilisées pour calculer la prédiction finale. Selon un autre exemple, la représentation d’une action est l’affichage du nom du document Di qui a été renommé automatiquement. Dans ce dernier cas, l’action peut correspondre au renommage du document Di.
Selon un autre exemple, la représentation d’une action est l’ouverture d’un document édité ou créé pour afficher au moins une zone d’intérêt du document numérique.
Selon un mode de réalisation, la prédiction finale ou la classification effectuée à partir de la prédiction finale génère l’émission d’une notification envoyée automatiquement à un utilisateur dont l’adresse électronique est prédéterminée ou dont une adresse électronique est déduite d’une métadonnée d’une action réalisée par ledit utilisateur. La notification comporte un lien vers une ressource d’une entité distante et affiche soit la prédiction, soit l’action, soit la classification au moyen d’une interface utilisateur. L’utilisateur est alors invité à valider la prédiction, la classification ou l’action ou à la corriger.
Vérification automatique de la prédiction
Selon un mode de réalisation, le procédé de l’invention comprend une étape de vérification de la prédiction finale avec un test de cohérence de la prédiction. Le test de cohérence peut être exécuté à partir d’un modèle de document, également appelé « template » dans la littérature anglo-saxonne ou un modèle de scénario visant à vérifier la cohérence d’une prédiction finale par exemple à partir de règles.
Un modèle de document permet de valider que la prédiction finale aboutisse à générer, modifier ou créer un document qui a un modèle donné prédéfini. Cette vérification permet de tester par exemple la cohérence d’une donnée attendue dans une zone donnée d’un document avec la zone effectivement contrôlée d’un modèle de document.
Le modèle de document peut être associé à un score qui est automatiquement calculé en fonction des annotations qui ont été émises précédemment et donc de l’entraînement du domaine de chaque fonction apprenante agissant sur un document numérique Di comportant un modèle de document. Un avantage est d’identifier rapidement si un modèle de document est fiable ou s’il est nécessaire d’entrainer le modèle d’apprentissage machine pour améliorer la fidélité du modèle de document. Un modèle de scénario permet de valider que la prédiction finale entraine une action s’intégrant dans une liste de tâches attendues ou entraine une classification sans affecter d’autres valeurs de paramètres ou du moins que ces valeurs restent dans une gamme donnée.
La figure 2 représente un exemple de modèle de document qui peut être utilisé pour contrôler la cohérence d’une prédiction et possiblement calculer un score à la prédiction calculée.
La figure 2 représente un modèle dans lequel un certain nombre d’objets OB1, OB2, OB3 représentant des entêtes, des illustrations ou des paragraphes peuvent être labélisés pour indiquer des champs de données caractéristiques. Dans le modèle de la figure 2, un premier champ de date notée DAT1 et un second champ date DAT2 représentant par exemple respectivement une date de courrier et une date de signature.
Dans cet exemple, le champ NM1 est celui d’une entité nommée par exemple un nom et une adresse d’une organisation destinataire du document. Un autre champ NM2 permet de labelliser une autre entité nommée telle qu’un autre nom d’organisation, par exemple une organisation éditrice du document. Dans un cet exemple, une zone de signature est indiquée SIG1 sur la figure 2 et représente une zone à laquelle est attendue une signature.
Selon un exemple de réalisation, un modèle de document tel que celui de la figure 2 peut être utilisé au départ pour générer un premier apprentissage d’un modèle d’apprentissage machine permettant d’exécuter une ou plusieurs fonctions apprenantes. Selon un autre exemple, le modèle est construit à partir de réels documents et permet d’effectuer un contrôle de cohérence avec des prédictions calculées par des fonctions apprenantes.
Selon un autre exemple, un modèle de document peut être utilisé pour générer un autre modèle de document.
Action correctrice
Le procédé de l’invention permet, à partir d’une interface utilisateur, de réaliser une action correctrice réalisée par un utilisateur sur le document Di.
Selon un mode de réalisation, l’action correctrice AC1 correspond à un déplacement du document D1 qui a été précédemment enregistré automatiquement par l’exécution d’au moins une fonction apprenante. Un déplacement issu d’une action correctrice ACi permet de modifier la ressource mémoire stockant le document ou de modifier le lien permettant d’y accéder.
Selon un autre mode de réalisation, l’action correctrice AC2 correspond à un renommage d’un document D1 ou D2 qui a été précédemment renommé automatiquement par l’exécution d’au moins une fonction apprenante. Un renommage d’un document D1 ou D2 issu d’une action correctrice AC1 permet de modifier le nom du document numérique D1 ou D2. Ici la dénomination « D1 » est utilisée lorsque le document a été précédemment déplacé automatiquement dans un répertoire avant d’être renommé. La dénomination « D2 » est utilisée lorsque le document a été renommé automatiquement sans avoir été précédemment déplacé dans un répertoire.
Selon un autre mode de réalisation, l’action correctrice AC3 correspond à une correction apportée à un document produit par la première action telle que l’action A3 consécutivement à l’exécution d’au moins une fonction apprenante.
L’acquisition de l’action correctrice peut être effectuée selon différents modes de réalisation de l’invention.
Selon un premier mode de réalisation, l’action correctrice est acquise au moyen d’une interface utilisateur spécialement conçue pour renseigner une action correctrice. Cette interface utilisateur comprend un champ permettant de désigner le document auquel on souhaite apporter une action correctrice et un champ permettant d’effectuer l’action correctrice. Cette action correctrice est alors réalisée en deux temps, un premier temps permet de définir quelle action doit être entreprise et un second temps permet d’exécuter cette action correctrice à partir des données acquises par l’interface. Un avantage est de permettre une meilleure acquisition de la donnée corrigée qui peut être enrichie par l’interface utilisateur.
Selon un second mode de réalisation, l’action correctrice est acquise directement à partir d’un explorateur de fichiers permettant de déplacer un fichier d’un répertoire vers un autre répertorie ou d’accéder au nom d’un fichier pour l’éditer par exemple en sélectionnant une iconographie représentant le document numérique. Un avantage de cette option est d’être effectuée en un temps seulement directement grâce à l’action utilisateur. Selon un troisième mode de réalisation, l’action correctrice est acquise directement au sein du document Di , D2, ou D3 à partir d’une interface utilisateur permettant de visualiser le contenu du document pour éditer au moins une donnée de ce document. L’édition consiste en une correction d’une donnée document, il peut s’agir d’une donnée numérique ou alphabétique telle que d’une date, une entité nommée. Selon un exemple, il peut s’agir d’une portion d’une page telle qu’un paragraphe, une image ou une portion de la page. Selon un autre exemple, il peut s’agir d’une zone d’une page ou d’une pluralité de pages.
Selon un quatrième mode de réalisation, qui est un mode amélioré du troisième mode de réalisation, un modèle de document est utilisé pour interpréter l’action correctrice d’un utilisateur au sein d’un document qui a été généré par la première action. L’intérêt d’utiliser un modèle de document est de reconnaître automatiquement des informations modifiées dans un fichier pour extraire des données supplémentaires associées à cette modification ou pour enrichir de données supplémentaires à partir d’une autre source les informations modifiées. Un avantage est d’identifier d’une part la prédiction erronée réalisée par la fonction apprenante et de déterminer l’ensemble des valeurs de paramètres ayant contribué à produire cette prédiction erronée.
Selon un exemple, si une liste de valeurs d’un document est corrigée par une action correctrice soit par une suppression d’une valeur, soit par un ajout d’une valeur soit par la modification d’une valeur de la liste, alors le modèle permet de récupérer l’ensemble des valeurs de la liste qui n’a pas été corrigé et de récupérer l’ensemble des données utilisées pour produire la prédiction erronée et les prédictions correctes. Un intérêt est d’améliorer l’entraînement des modèles d’apprentissage machine.
Génération d’une valeur modifiée de la prédiction
Selon un exemple de réalisation, l’action correctrice a pour conséquence de générer automatiquement une valeur corrigée de la prédiction et une annotation.
Le procédé de l’invention permet d’enregistrer la valeur modifiée représentative de l’action correctrice AC1, AC2, c’est-à-dire de la valeur de la prédiction finale. La valeur peut être un nom de répertoire ou encore un nom de fichier comportant une nomenclature donnée. La valeur modifiée de l’action correctrice ACi, AC2 peut être enregistrée avec la valeur résultante de la première action Ai , respectivement A2. Si le document a été enregistré dans un dossier « A » et qu’une action correctrice a conduit à déplacer ce document dans un nouveau répertoire « B », le procédé de l’invention permet d’enregistrer cette nouvelle valeur « B » et de l’associer à l’ancienne valeur « A ».
Génération d’une annotation
A l’issue de l’action correctrice, une annotation est générée automatiquement consécutivement à l'action correctrice. L’annotation peut comporter la nouvelle valeur résultant de l’action correctrice, c’est-à-dire la valeur corrigée de la prédiction et possiblement l’ancienne valeur de la première action qui a été réalisée sur le premier document numérique, c’est- à-dire la prédiction finale.
En outre, l’annotation générée comprend avantageusement un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique D1 ou tout autre document analysé. Ces valeurs d’intérêt sont associées à des variables d’un système telles qu’un nom d’organisation, une date d’échéance ou une date de livraison ou encore une adresse, etc. Ces variables d’intérêt sont elles-mêmes associées à des métadonnées pouvant être exploitées dans une annotation afin d’améliorer l’entraînement d’un domaine.
L’annotation peut comprendre notamment l’ensemble des prédictions de chaque fonction apprenante et l’ensemble des données du premier document D1 ayant été utilisé pour calculer chaque prédiction. Parmi ces données, il peut s’agir de champ texte, de champ de date ou de chiffre. Ces données peuvent comprendre des indicateurs de présence d’iconographie, d’une signature, d’en-tête ou encore de paraphes, etc. Parmi ces données, des valeurs caractéristiques d’une zone géométrique d’une page du document, d’une ou de position(s) caractéristiques, ou encore un numéro de page d’un document, etc.
De nombreuses données, notées valeur d’intérêt ou variables d’intérêt, ayant été utilisées pour calculer les prédictions peuvent être collectées lorsqu’une action correctrice a été réalisée afin d’enrichir un domaine d’entraînement. Selon un exemple, les valeurs d’intérêt précédentes une prédiction corrigée et les valeurs d’intérêt suivantes dans un ordre de lecture du document peuvent être extraites afin d’être insérées dans l’annotation. Un intérêt est d’obtenir les données de contexte directement associées dans le document à la prédiction corrigée. Ces données permettent par exemple d’améliorer le réapprentissage en consolidant les contrôles contextuels de la prédiction corrigée.
Selon un mode de réalisation, l’annotation est enregistrée dans un une mémoire.
Selon un exemple, l’annotation est générée selon une séquence prédéfinie qui nécessite d’enregistrer des données temporairement en attendant que d’autres données soient calculées ultérieurement de manière à générer l’annotation totalement.
Selon un exemple de réalisation, l’annotation produite comprend un identifiant de document et/ou un identifiant utilisateur, par exemple un email et/ou une date à laquelle la première action Ai a été réalisée et/ou la date à laquelle l’action correctrice ACi a été réalisée. Ces données constituent également des variables d’intérêt.
Selon un exemple de réalisation, l’annotation générée est affichée dans une interface utilisateur. Selon un exemple, cette annotation est modifiable par un utilisateur.
Selon un mode de réalisation, la génération d’une valeur modifiée d’une prédiction ou d’une nouvelle annotation permet d’émettre automatiquement une notification à un utilisateur destinataire donné. L’identifiant ou l’adresse utilisateur destinataire peut être préconfiguré en fonction du type de document ou du répertoire associé à la prédiction. Selon un autre exemple, l’utilisateur destinataire est identifié grâce à une métadonnée associée au document numérique traité.
Selon un exemple, le réentraînement d’au moins un modèle peut être engagé après la génération d’un nombre donné d’annotations.
Domaine d’entraînement et entraînement
Selon un premier mode de réalisation, l’annotation permet d’alimenter un domaine d’entraînement d’au moins une fonction apprenante. Selon un exemple, une pluralité de domaines d’entraînement d’une pluralité de fonctions apprenantes est modifiée consécutivement à l’action correctrice. Selon un second mode de réalisation, une modification d’au moins une règle prédéfinie est réalisée consécutivement à la génération d’une action correctrice.
Selon un troisième mode de réalisation, une validation d’une opération est requise auprès d’un utilisateur donné consécutivement à la génération d’une action correctrice. La validation de l’opération peut entrainer le réentraînement d’une fonction apprenante à partir du domaine d’entraînement modifiée et/ou la modification d’une règle à partir de l’annotation.
Selon un exemple, une modification d’une règle peut comprendre un ajout d’une valeur à un ensemble de valeurs possibles d’une variable, par exemple d’un type de document, d’une catégorie d’entité nommée ou encore une nomenclature de date.
Le procédé de l’invention permet de prendre en compte la seconde séquence S2 du graphe de dépendance GRAPHD afin de modifier les modèles et les algorithmes. La seconde séquence S2 du graphe de dépendance GRAPHD permet notamment de lier les prédictions produites par un algorithme en fonction d’autres prédictions produites par d’autres algorithmes lorsque c’est le cas.
Selon un mode de réalisation, la seconde séquence S2 prend en compte les occurrences des annotations similaires ou encore leur fréquence dans le temps ou encore, leur singularité pour appliquer les réentraînements ou modifications d’algorithme dans une seconde séquence S2 visant à réentraîner ou modifier une pluralité de fonctions ou d’algorithmes. A titre d’exemple, une annotation qui comporte de nombreuses occurrences peut être dans une configuration d’un mode de réalisation moins fréquemment utilisée pour mettre à jour un modèle d’apprentissage machine d’une fonction apprenante donnée. A contrario, une annotation ayant peu d’occurrences peut être prise en compte plus rapidement par le process de réentraînement.
Selon un mode de réalisation, l’action correctrice AC1 ou AC2 ou la modification de la prédiction entraine la modification d’un paramétrage de la seconde séquence S2 afin de générer une séquence de réentraînement adapté à l’action correctrice ou la prédiction modifiée. Un intérêt est de réentraîner les modèles ayant uniquement contribué à générer une prédiction erronée sans affecter le réentraînement des modèles d’apprentissage machine des fonctions ayant produit des prédictions intermédiaires non erronées.
Le graphe de dépendance GRAPHD permet donc d’optimiser les opérations de réentraînement utiles sans affecter toute la chaine de traitement- organisée par la première Si ou la seconde séquence S2. Par ailleurs, la dissociation dans le graphe de dépendance GRAPHD de la première séquence et de la seconde séquence permet d’exécuter des fonctions tout en en organisant le réapprentissage selon la mise en œuvre du procédé.
Gestion des historiques
Selon un mode de réalisation, le procédé comporte une étape de validation par un utilisateur à partir d’une interface utilisateur d’un réentraînement d’un ensemble de documents déjà classés dans un répertoire. Un intérêt de cette caractéristique lors d’une action correctrice entraînant un changement de prédiction susceptible d’affecter une modification du comportement d’une fonction apprenante est de répercuter ce comportement sur un historique afin de mettre à jour un ensemble de classification de document.
Ce mode de réalisation fonctionne avec différentes actions comme le déplacement automatique d’un document reçu ou le renommage d’un document ou encore la segmentation ou la création d’un document.
Selon un autre mode de réalisation, l’étape de validation permet au contraire d’éviter une répercussion d’un changement de comportement d’une fonction sur un historique de documents déjà traité. Ainsi, l’utilisateur peut dissocier selon les actions réalisées un traitement de l’historique différent selon les cas d’usage.
Intégration dans un système
Selon un mode de réalisation, le procédé de l’invention comprend l’intégration d’une ressource de données qui peut être une base de données d’entités nommées telle qu’un carnet d’adresses, une base de données de documents telle qu’une messagerie ou encore toute autre base de données comportant des données susceptibles d’être interrogées par une requête générée par le procédé. Un intérêt est d’intégrer une couche permettant de faire communiquer un système existant avec les modèles d’apprentissage machine du procédé de l’invention. Cette couche permet de normaliser un ensemble de données d’un système existant avec des données pouvant être vectorisées et prise en compte comme entrée des fonctions apprenantes ou des algorithmes mis en œuvre par le procédé de l’invention.
Selon un mode de réalisation, le procédé de l’invention est mis en œuvre dans un espace de travail collaboratif accessible depuis au moins un serveur de données. Dans ce cas de figure, lorsqu’un déplacement d’un fichier d’un répertoire à un autre est effectué dans un espace de travail collaboratif, un évènement est automatiquement généré. Ce fonctionnement peut être relatif à chaque ou à certaines action(s) utilisateur. Cet évènement est généralement généré afin de synchroniser les différentes ressources pour un ensemble d’individus ayant accès à l’espace de travail. Un tel évènement peut être une notification électronique émise par une interface de communication. Selon un mode de réalisation, cet évènement est utilisé pour activer la détection d’une action de déplacement d’un document d’un répertoire à un autre dans le cadre d’une action correctrice menée par un utilisateur.
Selon un autre mode de réalisation, le procédé de l’invention est mis en œuvre dans un espace de travail dans lequel un algorithme est configuré pour parcourir les changements réalisés au sein d’un répertoire tels que l’ajout d’un document, la suppression d’un document, le renommage d’un document, etc.
Cet algorithme permet de détecter automatiquement un changement et permet de générer une modification de la prédiction et donc de générer une nouvelle annotation.
La figure 3 représente un exemple des éléments d’un système de l’invention permettant de mettre en œuvre le procédé de l’invention. La figure 3 représente un réseau de données NETi qui peut être le réseau internet. Un premier terminal utilisateur Ti permet d’accéder à un serveur distant SERVi permet d’héberger notamment un espace de travail collaboratif. Cet espace comprend notamment des ressources mémoires pour stocker des documents numériques reçus et les traiter automatiquement. Un second serveur SERV2 comprend les moyens permettant de générer les modèles et d’exécuter certains fonctions et algorithmes du procédé de l’invention. Selon les modes de réalisation, les modèles et les configurations des fonctions apprenantes peuvent être stockés directement sur le serveur hébergeant l’espace de travail collaboratif sur lequel le procédé de l’invention s’exécute. Toutefois dans un mode préférentiel, un serveur dédié à leur stockage et leur exécution est mis en œuvre.
Selon un mode de réalisation, un ou plusieurs fichiers de configuration peuvent comprendre des données complémentaires pour entrainer ou appliquer un modèle pouvant comprendre des paramètres, des résultats intermédiaires ou des annotations générées consécutivement à une action correctrice. La configuration ou le document utilisant la configuration peuvent être téléchargés à tout moment et mis en attente jusqu’à ce que l’ensemble des données et documents nécessaires à l’application ou au réentraînement des modèles soient associées, Selon un cas, les configurations sont associées aux documents si une ou plusieurs conditions sont validées. Une condition peut être l’exécution d’une fonction ou d’une commande.
Un intérêt est de permettre la collecte de documents et de données de configuration issus de plusieurs systèmes qui ne communiquent pas entre eux, et de n’appliquer les modèles sur les documents que lorsque suffisamment de documents et données sont disponibles.
Un intérêt est de permettre de prendre en considération de nouveaux documents à traiter de manière indépendante d’un réapprentissage qui serait réappliqué. La configuration permettant de réentraîner une ou plusieurs fonction(s) apprenante(s) peut être activée ou programmée consécutivement au traitement d’une pluralité de documents. Ainsi le réapprentissage peut prendre en considération une pluralité de documents en entrée.
Selon un cas de figure, une action correctrice sur un unique document peut être prise en compte pour générer une nouvelle prédiction d’une pluralité de documents.

Claims

REVENDICATIONS
1. Procédé mis en œuvre par ordinateur pour améliorer la classification d’au moins un document à partir d’au moins un modèle d’apprentissage machine (MLi) caractérisé en ce qu’il comprend :
■ Réception d’un premier document numérique (Di) ;
■ Exécution d’une première fonction apprenante (FAi) générée à partir d’un premier modèle d’apprentissage machine (MLi) entrainé à partir d’un premier domaine d’entraînement (DOM1) permettant de générer une prédiction (Pi) d’une classification du premier document numérique (Di) au sein d’une première classe (Ci) pour réaliser une première action automatique (Ai) sur le document numérique (Di), ladite première action (Ai) comportant au moins un déplacement dudit premier document numérique (Di) vers un premier répertoire (REPi),
■ Génération d’une représentation de cette classification (Ci) et de l’action réalisée sur le premier document numérique (Di) à partir d’une interface utilisateur (INT1) ;
■ Acquisition d’une première action correctrice (ACi) d’un utilisateur se rapportant à la modification du déplacement du premier document numérique (Di) vers un second répertoire (REP2) ;
■ Génération d’une première annotation (ANNi) comportant d’une part la valeur modifiée (Pi ’) de la prédiction (Pi) corrigée à partir de la première action correctrice (ACi) et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du premier document numérique (Di) ;
■ Modification du premier domaine d’entraînement (DOM1) par l’ajout de la première annotation (ANNi) après la collecte d’au moins une annotation (ANNi) ;
■ Génération d’un réentraînement du premier modèle d’apprentissage machine (MLi) à partir du domaine d’entrainement modifié.
2. Procédé selon la revendication 1 caractérisé en ce que la première action correctrice (ACi) se rapportant à la modification du déplacement du premier document numérique (Di) est réalisée par un déplacement du premier document numérique (Di) du premier répertoire (REPi) vers un second répertoire (REP2) par une action utilisateur à partir d’un explorateur de documents, un algorithme de détection de changement de ressource mémoire allouée à un document numérique étant mis en œuvre.
3. Procédé selon la revendication 1 caractérisé en ce que la première action correctrice (AC1) se rapportant à la modification du déplacement du premier document numérique (D1) est réalisée par une modification de la classe du premier document numérique (D1) par une action utilisateur à partir d’un interface utilisateur présentant un ensemble de données caractéristiques du premier document numérique (D1).
4. Procédé selon l’une quelconque des revendications 1 à 3, caractérisé en ce qu’il comprend :
■ Réception d’un second document numérique (D2) ;
■ Exécution d’une seconde fonction apprenante (FA2) générée à partir d’un second modèle d’apprentissage machine (ML2) entrainé à partir d’un second domaine d’entraînement (DOM2) permettant de générer une prédiction (P2) d’une classification du second document numérique (D2) au sein d’une seconde classe (C2) et de réaliser une seconde action automatique (A2) sur le second document numérique (D2), ladite seconde action (A2) comportant au moins un renommage automatique dudit second document numérique (D2),
■ Génération d’une représentation de cette classification (C2) et de l’action réalisée sur le premier document numérique (D2) à partir d’une interface utilisateur (INT1) ;
■ Acquisition d’une seconde action correctrice (AC2) d’un utilisateur se rapportant à la modification du nom du second document numérique (D2) ; ■ Génération d’une seconde annotation (ANN2) comportant d’une part la valeur modifiée (P2’) de la prédiction (P2) relative à la seconde action correctrice (AC2) et d’autre part un ensemble de valeurs d’une seconde séquence de données (S2) extraites ou générées notamment à partir du second document numérique (D2) ;
■ Modification du second domaine d’entraînement (DOM2) par l’ajout de la seconde annotation (ANN2) ;
■ Génération d’un réentraînement du second modèle d’apprentissage machine (ML2).
5. Procédé selon la revendication 4 caractérisé en ce que la seconde action correctrice (AC2) se rapportant à la modification du nom du second document numérique (D2) est réalisée par une modification du nom du second document numérique (D2) directement sur le fichier correspondant au second document numérique (D2).
6. Procédé selon la revendication 4 caractérisé en ce que la seconde action correctrice (AC2) se rapportant à la modification du nom du second document numérique (D2) est réalisée par une modification de la classe du second document numérique (D2) par une action utilisateur à partir d’un interface utilisateur présentant un ensemble de données caractéristiques du second document numérique (D2).
7. Procédé selon l’une quelconque de la revendication 1 à 6, caractérisé en ce qu’il comprend :
■ Réception d’un document numérique (D1 , D2, D3) ;
■ Exécution d’une troisième fonction apprenante (FA3) générée à partir d’un troisième modèle d’apprentissage machine (ML3) entrainé à partir d’un troisième domaine d’entraînement (DOM3) pour générer une prédiction (P3) relative à la détection d’une classe d’une date caractéristique (DAT1) présente dans le document numérique (Di, D2, D3) et extraire ladite date caractéristique (DAT1) du premier document (D1) ; ■ Génération d’une représentation de la classification d’au moins la date caractéristique (DATi) extraite à partir d’une interface utilisateur ;
■ Acquisition d’une troisième action correctrice (AC3) d’un utilisateur se rapportant à la modification de la classe (C3) de la date caractéristique (DAT1) du premier document numérique (D1) ;
■ Génération d’une troisième annotation (ANN3) comportant d’une part la valeur modifiée (P3’) de la prédiction (P3) relative à la première modification correctrice (AC1) et d’autre part un ensemble de valeurs d’intérêt extraites ou générées notamment à partir du document numérique (D1 , D2, D3) ;
■ Modification du troisième domaine d’entraînement (DOM3) par l’ajout de la troisième annotation (ANN3) ;
■ Génération d’un réentraînement du troisième modèle d’apprentissage machine (ML3).
8. Procédé selon la revendication 7, caractérisé en ce que la troisième fonction apprenante (FA3) est exécutée préalablement à la première fonction apprenante, la prédiction corrigée (P2’) étant une donnée de l’ensemble de valeurs d’intérêt d’une annotation, ladite modification prédiction corrigée (P2’) entraînant la modification du premier domaine d’entraînement (DOM1) et/ou de la modification du second domaine d’entraînement (DOM2).
9. Procédé selon l’une quelconque des revendications 1 à 8, caractérisé en ce qu’il comprend la réception d’un graphe de dépendance (GRAPHD), lesdites dépendances étant définies entre au moins la première fonction apprenante et une seconde fonction apprenante, ledit graphe de dépendance (GRAPHD) comportant une description des entrées d’au moins un domaine d’entraînement (D0M1 , D0M2), lesdites entrées comportant au moins une valeur correspondante à une sortie d’au moins une fonction apprenante (FA1, FA2).
10. Procédé selon la revendication 9, caractérisé en ce qu’il comprend : ■ Acquisition d’un graphe de dépendance (GRAPHD) entre une pluralité de fonctions apprenantes choisies parmi un ensemble de fonction apprenantes comprenant la première fonction apprenante (FAi), la seconde fonction apprenante (FA2) et troisième fonction apprenante (FA3) ;
■ Ajout dans au moins un ensemble de valeurs d’intérêt produites lors de la création d’une annotation (ANN1, ANN2, ANN3) d’une prédiction modifiée d’une fonction apprenante donnée (FA1, FA2, FA3) de manière à :
■ Modification d’un domaine d’entraînement (DOM1, DOM2, DOM3) d’une autre fonction apprenante que la fonction apprenante donnée ;
■ Génération d’un réentraînement du modèle d’apprentissage machine (MU, ML2, ML3).
11 . Procédé selon l’une quelconque des revendications 1 à 10, caractérisé en ce que consécutivement à une action automatique réalisée par une fonction apprenante (FA1, FA2, FA3), une première notification est émise via un réseau de données, ladite première notification comportant un accès à une interface utilisateur permettant de modifier les annotations associées à cette action.
12. Procédé selon l’une quelconque des revendications 1 à 11 , caractérisé en ce que le premier modèle d’apprentissage machine est généré à partir de la définition d’un modèle de premier document numérique (MDI ) comportant l’identification d’une pluralité de données caractéristiques et de zones d’intérêt dudit modèle (MDI ) de premier document et à partir d’une interface utilisateur.
13. Procédé selon la revendication 12, caractérisé en ce que consécutivement à une action correctrice générée par un utilisateur, le modèle (MDI ) de premier document numérique est utilisé pour extraire des données de contexte de la prédiction modifiée pour enrichir l’annotation qui est créée.
14. Procédé selon l’une quelconque des revendications 12 à 13, caractérisé en ce que la définition d’un modèle de premier document numérique (MDI ) comprend la génération d’un formulaire comportant un ensemble de choix définissant des annotations dudit modèle, lesdites annotations permettant de mettre à jour le premier modèle d’entraînement.
15. Procédé selon l’une quelconque des revendications 1 à 14, caractérisé en ce qu’une pluralité de premiers documents sont reçus d’une même classe, et qu’une pluralité de modèles d’apprentissage machine sont appliqués, le procédé comprenant la génération d’une pluralité de prédictions, le procédé comportant la sélection d’une prédiction, ladite sélection de ladite prédiction permettant de mettre à jour le premier domaine d’entraînement (DOMi).
16. Système comportant un terminal électronique d’un utilisateur (Ti) comportant au moins un calculateur, une mémoire, un afficheur et une interface de communication pour transmettre des messages sur un réseau de données auprès d’au moins un premier serveur (SERVi) comportant des ressources matérielles pour exécuter la première fonction apprenante (FAi), la seconde fonction apprenante (FA2), la troisième fonction apprenante (FA3) et une mémoire pour enregistrer les modèles appris (ML1, ML2, ML3) afin d’exécuter les étapes du procédé de l’une quelconque des revendications 1 à 15, le terminal comportant une interface utilisateur pour acquérir une annotation comportant une modification d’une prédiction (Pi, P2, P3), ladite modification entraînant le réentraînement d’au moins un modèle d’apprentissage machine.
PCT/EP2023/087483 2022-12-21 2023-12-21 Procede pour ameliorer la classification d'un document numerique a partir d'une pluralite de modeles d'apprentissage WO2024133814A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2214126A FR3144336A1 (fr) 2022-12-21 2022-12-21 Procede pour ameliorer la classification d’un document numerique a partir d’une pluralite de modeles d’apprentissage
FRFR2214126 2022-12-21

Publications (1)

Publication Number Publication Date
WO2024133814A1 true WO2024133814A1 (fr) 2024-06-27

Family

ID=85462442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/087483 WO2024133814A1 (fr) 2022-12-21 2023-12-21 Procede pour ameliorer la classification d'un document numerique a partir d'une pluralite de modeles d'apprentissage

Country Status (2)

Country Link
FR (1) FR3144336A1 (fr)
WO (1) WO2024133814A1 (fr)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LAM HONG LEE ET AL: "Automatic folder allocation system using Bayesian-support vector machines hybrid classification approach", APPLIED INTELLIGENCE ; THE INTERNATIONAL JOURNAL OF ARTIFICIALINTELLIGENCE, NEURAL NETWORKS, AND COMPLEX PROBLEM-SOLVING TE, KLUWER ACADEMIC PUBLISHERS, BO, vol. 36, no. 2, 16 October 2010 (2010-10-16), pages 295 - 307, XP035019026, ISSN: 1573-7497, DOI: 10.1007/S10489-010-0261-0 *
MAKAN RAKSHIT: "HUMAN-IN-THE-LOOP CLASSIFICATION FOR MULTI-PAGE ADMINISTRATIVE DOCUMENTS", 14 December 2022 (2022-12-14), pages 1 - 56, XP093052524, Retrieved from the Internet <URL:https://dalspace.library.dal.ca/handle/10222/82147> [retrieved on 20230607] *
RAKSHIT MAKAN: "Human-in-the-loop Classification for Multi-page Administrative Documents", 14 December 2022 (2022-12-14), pages 1 - 2, XP093052613, Retrieved from the Internet <URL:https://dalspace.library.dal.ca/handle/10222/82147> [retrieved on 20230607] *

Also Published As

Publication number Publication date
FR3144336A1 (fr) 2024-06-28

Similar Documents

Publication Publication Date Title
US20210150130A1 (en) Methods for generating natural language processing systems
US10740563B2 (en) System and methods for text classification
CN110020424B (zh) 合同信息的提取方法、装置和文本信息的提取方法
US11017221B2 (en) Classifying digital documents in multi-document transactions based on embedded dates
US20210027783A1 (en) Topic Mining based on Interactionally Defined Activity Sequences
WO2006075001A1 (fr) Procédé de recherche, reconnaissance et localisation dans l&#39;encre, dispositif, programme et langage correspondants
WO2002067142A2 (fr) Dispositif d&#39;extraction d&#39;informations d&#39;un texte a base de connaissances
WO2012080077A1 (fr) Nettoyage d&#39;un système de base de données pour améliorer la qualité de données
WO2023272850A1 (fr) Procédé, appareil et dispositif de mise en correspondance de produit sur la base d&#39;un arbre de décision, et support de stockage
US11586816B2 (en) Content tailoring for diverse audiences
CN114297140A (zh) 一种基于人工智能的档案管理系统
US11868714B2 (en) Facilitating generation of fillable document templates
US20220156862A1 (en) System and method for analyzing grantability of a legal filing
CN113220885B (zh) 一种文本处理方法和系统
US11657811B2 (en) Modification of voice commands based on sensitivity
CN117556010A (zh) 基于知识库与大模型的文档生成系统、方法、设备及介质
WO2024133814A1 (fr) Procede pour ameliorer la classification d&#39;un document numerique a partir d&#39;une pluralite de modeles d&#39;apprentissage
WO2013117872A1 (fr) Procede d&#39;identification d&#39;un ensemble de phrases d&#39;un document numerique, procede de generation d&#39;un document numerique, dispositif associe
FR2944633A1 (fr) Procede d&#39;assistance au developpement ou a l&#39;utilisation d&#39;un systeme complexe.
US11978273B1 (en) Domain-specific processing and information management using machine learning and artificial intelligence models
US11810381B2 (en) Automatic rule prediction and generation for document classification and validation
US20240118889A1 (en) Methods and systems for automated application development
US20230169328A1 (en) Multiple Data Labeling Interfaces with a Common Data Infrastructure
US20230229492A1 (en) Automated context based data subset processing prioritization
US20240095497A1 (en) Using a tunable pre-trained discriminator to train a generator and an untrained discriminator