WO2010070142A2 - Procede et systeme pour la fusion de donnees ou d'information - Google Patents

Procede et systeme pour la fusion de donnees ou d'information Download PDF

Info

Publication number
WO2010070142A2
WO2010070142A2 PCT/EP2009/067666 EP2009067666W WO2010070142A2 WO 2010070142 A2 WO2010070142 A2 WO 2010070142A2 EP 2009067666 W EP2009067666 W EP 2009067666W WO 2010070142 A2 WO2010070142 A2 WO 2010070142A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
graphs
function
merge
data
Prior art date
Application number
PCT/EP2009/067666
Other languages
English (en)
Other versions
WO2010070142A3 (fr
Inventor
Claire Fraboulet-Laudy
Jean-Gabriel Ganascia
Original Assignee
Thales
Centre National De La Recherche Scientifique
Universite Pierre Et Marie Curie
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales, Centre National De La Recherche Scientifique, Universite Pierre Et Marie Curie filed Critical Thales
Priority to EP09796723A priority Critical patent/EP2370938A2/fr
Priority to US13/140,807 priority patent/US8818929B2/en
Publication of WO2010070142A2 publication Critical patent/WO2010070142A2/fr
Publication of WO2010070142A3 publication Critical patent/WO2010070142A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the invention relates to the fusion of information from several sensors and more particularly the processing of information or data from heterogeneous sensors, the data or information may themselves be non-homogeneous.
  • the merge operation is performed by means of a processor, for example, within a monitoring system. At the end of this operation, the result is transmitted, for example in the form of a control signal.
  • the signal may be a signal triggering a control process, or the display of information from the merger. It can also take the form of an alarm signal.
  • Systems incorporating multiple sensors are used in a wide variety of areas, such as site monitoring, maintenance, robotics, weather forecasts, as well as programming of systems or devices such as TV program recordings. Such systems can also be implemented in information interpretation systems from the media.
  • Merging information or data is a critical process for decision-making, regardless of the area of interest in which the decision is made. Indeed, the first step in a decision-making process is the collection of information or data to evaluate a situation. This information can come from various sources and be expressed in different formats or media. Once collected, the information must be combined and arranged in order to obtain a global but synthetic view of the situation. This combination of heterogeneous information into a single coherent view is a complex problem to be solved, but necessary to trigger and control actions depending on the result of the merger.
  • a vast majority of information fusion research focuses on merging homogeneous data with low numerical levels.
  • Other methods are to merge low-level data to derive higher-level information.
  • data from seismic, acoustic, chemical sensors, etc. are merged and interpreted to more generally detect the presence of a person in a room or the use of a computer.
  • These methods are interested in input data that is digital and low-level, even if the output of the fusion system is higher semantic level information.
  • Low level data is, for example, radar tracks, object coordinates, velocities, etc. The interpretation of these data is simple and does not require to have the general knowledge of the field of interest.
  • Some information fusion methods rely on the Dempster-Shafer theory, a theory that generalizes probability theory, and thus uses belief functions. Belief functions are known for their ability to faithfully represent the information and the truth of this information. Applicant's patent application FR 0705528 is an example of its implementation to merge information from independent sensors.
  • the information fusion can be divided into several levels. The first concerns the fusion of information on the characteristics of objects. This level of fusion allows to identify and refine, by fusion of several observations, the estimation of the characteristics of the objects present in the world. The second level is about merging objects. It is a question of appreciating the state of the objects present in the world. The third relates to the discovery of the relations between the different objects present in the world.
  • One of the aims of the present patent application is to integrate heterogeneous information by merging them at a high level of representation and taking into account the semantics they convey.
  • the terms "high level of representation or high semantics" are used to differentiate the subject matter of this patent application from low level digital data.
  • the objects treated by the method according to the invention are in the form of phrase, expression, syntax, etc.
  • one of the objectives of this patent application is to merge symbols rather than numbers and to have a symbolic representation of objects and heuristics. The heuristics will be expressed according to the semantics (i.e. meaning) of the information to be merged.
  • the above-mentioned 2008 publication describes the use of conceptual graph formalism to represent knowledge and information as part of a recommendation system for intelligent digital television.
  • the recommendation system analyzes the descriptions of the television programs and decides whether or not to recommend a program to a specific user.
  • the authors use a merge platform to obtain accurate and secure television program descriptions, both in terms of the programming schedule and the description of program content.
  • the model of the conceptual graphs proposed by JF Sowa and taken up in the aforementioned publication is essentially composed of a support and the graphs themselves.
  • a conceptual graph represents several concepts and the relationships that exist between them.
  • Conceptual graphs consist of entity nodes and relationship nodes.
  • Figure 1 shows features that are drawn as rectangles while the relationships are oval.
  • the theory of conceptual graphs relies, among other things, on the use of a medium.
  • Support is a hierarchy of types of concepts and relationships handled. That is to say, it is the set of all types of objects and relations present in the real world that we are going to represent, organized in the form of a hierarchy.
  • the support can thus be seen as a simplified ontology of the domain of interest which includes only the types of objects and the type of relation.
  • T is the type of concept. This is the type of real world object that is represented, r is the value or measure observed for the represented object. For example, to represent a temperature of 30 degrees, we can write the concept [Temperature: 30], where Temperature is the type of the concept and 30 is its value, also referred to in the rest of the description.
  • the methods and devices according to the prior art do not make it possible to respond to the aforementioned problem. They are restricted to data stored in numeric form (no strings of characters, for example) and are implemented in the context of very simple situation, boiling down to a measurement or the state of a characteristic of a object.
  • One of the objectives here is therefore to propose a method for merging information representing complex situations.
  • An object of the invention is in particular to make the information or data fusion process parameterizable taking into account, in particular, business knowledge and user preferences, and by means of a suitable fusion process, for example, of to merge data or information that is initially presented in heterogeneous formats and that verifies the compatibility criterion according to a set threshold value.
  • the method uses, for example, as function of compatibility between two nodes a function expressed in the following form: fcomp: E x E -> ⁇ true, false ⁇ x E xE where E is the set of concept nodes defined on a support S and Gi and G 2 are two conceptual graphs defined on S to be compared.
  • the method comprises a standardized similarity measurement complying with the following conditions (ki), (k 2 ) and (k 3 ):
  • the distance measure is determined, for example, according to the data stored in the knowledge base and verifies the conditions (k ⁇ , (k ' 2 ), (k 4 ) and (k 5 )
  • the fusion function can be determined as follows :> ffusion: ⁇ true, false ⁇ xE xE-> Eu ⁇ E xE ⁇ where E is the set of concept nodes defined on a support S and Gi and G 2 are two conceptual graphs defined on S to merge.
  • CGE is the concept resulting from the fusion of ci and C 2 and Id is the identity function defined on E xE.
  • the invention also relates to a system for the fusion of high-level semantic information representing complex situations composed of several objects or data coming from several sensors ci, characterized in that it comprises at least the following elements: allowing the observation of information and inputs, o A knowledge base comprising elements characteristic of the fusion application and adapted to parameterize the melting step performed in the method according to claim 1, and an information base containing all the data from the sensors, o A processor adapted to transfomer information from the knowledge base and the information base into a form of representation of conceptual graphs, said formatted information being transmitted to a processor adapted to perform the following steps:
  • a step during which said merging strategy is applied to the different stored information in the form of graphs a step at the end of which the merged data are transmitted to a decision-making system, at least one output in connection with control devices for recording and / or displaying the results resulting from the data fusion.
  • the merger system is, for example, associated with a TV program recording device and comprises two information sources which supply data, processed in such a way as to associate a conceptual graph with each, the information from these graphs being merged taking into account the user preferences present in the knowledge base and in that it comprises a module adapted to associate a TV program with a category and a module emitting a representative signal or a control signal to said device recording.
  • FIG. 1 an example of a fusion of two conceptual graphs
  • FIG. 2 a block diagram of the method implemented in the present invention according to the different levels of interpretation (quantity of domain knowledge necessary to represent the information),
  • FIG. 3 a block diagram of the method implemented in the present invention, according to the flow of data
  • FIG. 5 an example of a hierarchy for a television program
  • Figures 6A and 6B information related to a television program.
  • the method is applicable to information transmitted in the form of natural language, textual or audio, semi-structured data or even low-level data, insofar as there is a system, automated or otherwise, making it possible to describe, under form of conceptual graphs, the content of this information by placing it in context.
  • FIG. 2 schematizes an example of implementation of the method for different sensors Ci, C 2 , etc. which constitute several different sources of information.
  • the captured information is first extracted by an extraction system 10 or interpretation whose particular function is to obtain the observation of A and the observation of B.
  • the two observations A and B are then transmitted to an identification system 1 1.
  • Observations A and B are examined to determine whether they are compatible and whether or not they correspond to descriptions of the same object in the real world.
  • a compatibility criterion is predetermined according to the field of application of the invention 12. If the observations A and B verify this criterion, then they are compatible and merged and are shown in Figure 2 in the form AB or ABC when these three values are compatible.
  • the method determines the relations existing between the objects.
  • Such an incompatibility between the observations can occur, for example, when a merge request is made from sensors pointing, a priori, on the same storage device of an observation or monitoring system that can contain several objects. .
  • the incompatibility between the observations may be due, for example, to the fact that the sensors have observed two different objects that are spatially close.
  • the method will make it possible to account both for the fact that two distinct objects exist and for the spatial relationship existing between the two objects. Once these relationships are discovered, it will then be possible to decide which of the descriptions should be returned to the system causing the merge request.
  • the method uses the formalism of the conceptual graphs to represent knowledge and information, such as that described in Figure 1.
  • the same model will be used to perform the merge process.
  • the originality of the present patent application is in particular to use the conventional maximum join operator and to adapt it to take into account the business knowledge and the user preferences.
  • this will make it possible to merge incompatible data or information in the sense of the fusion of the graphs.
  • merge heuristics within the maximum join. These merge heuristics will be called "merge strategies”.
  • Merge strategies are compound functions that will enable the encoding of knowledge associated with an application domain. They are used to extend the concept of compatibility between two concepts of two different graphs.
  • Figure 3 schematically shows the elements necessary for the implementation of the invention.
  • the system has several Ci sensors that will collect the information or data to be merged. This information is transmitted to an interpretation and extraction device 10 in order to transform them so that they appear in the form of conceptual graphs.
  • the observations thus formatted are stored in a memory 13 or observation database which is in relation with a business knowledge base 12 which contains various data relating to a trade, a field of trade or a field of knowledge, which will serve to set the merge step.
  • This knowledge base 12 is constituted for example by a user 14 of the system.
  • This knowledge base will be used for the implementation of the various elements involved in the process: mathematical operators, parameters, business rules, etc.
  • the interrogations are performed, for example, in the form of requests transmitted from the user to the module 15.
  • the knowledge of the base 12 and the observations of the memory 13 are matched through the use of the operators of the module 15 to respond to requests. These queries allow the user 14, for example, to visualize the representation of the real situation according to different points of view.
  • the information from the sensors is stored in the observation database, the information from the knowledge of the domain (knowledge base and business rules) and entered by an operator of the system are stored in the knowledge base.
  • the function of the recommendation system is, in particular, to analyze the descriptions of the television programs and to recommend or not to recommend a program to a specific user.
  • the invention uses a fusion platform such as that described in FIGS. 3 and 4 to obtain descriptions. accurate and reliable television programs, both as regards the programming schedule and the description of the program content.
  • the fusion platform is, for example, made up of modules and physical equipment, such as memories, knowledge bases, processors, input / output allowing the acquisition and the communication of data between the fusion system according to the invention. invention and the data sensor and recording or result display devices.
  • a first step is to build a recommendation system for television programs, which will then be coupled with a video recording system that automatically records the relevant programs for a user when the user is absent or a system for recording. display information that will be used by a user.
  • the recommendation system is built through a learning phase of user habits. The programs watched by the users are studied, through their characteristics of the programs that interest them. This definition is made automatically, via a learning phase, by a learning algorithm known to those skilled in the art. The information is stored, for example, in an observation database or knowledge base.
  • Figure 4 is an example of possible architecture for the automatic recording of certain TV programs according to a user's preferences.
  • the system includes two information sources 20, 21 that provide data by forming XMLTV via inputs 28 of the information fusion and management system obtained. Data from these two sources are treated so as to associate for each of these sources a graph of concepts 22a, 22b.
  • the information of the two graphs are first stored in a database 23. They are then merged F taking into account the elements stored in the knowledge base 27 and according to the method detailed below which takes into account the preferences of the user accessible in the domain of knowledge.
  • the merged information is then transmitted to a device 24 whose particular function is to analyze the descriptions of the television programs, to determine which category belongs to a program, then to recommend it or not to a user or to transmit a signal allowing its recording or its display on a screen as a help to a user.
  • This device 24 will also manage and control the recording or not of a transmission on video recording systems 26A, 26B, 26C or manage the transmission of a display signal on a screen 30 which can take the form of a recommendation or be an alarm signal. It is also possible to transmit a signal to an audible alarm.
  • the signals pass through the outputs 29 of the system or fusion platform.
  • the merge platform provides accurate and safe television program descriptions, both in terms of the programming schedule and the description of the content of this program.
  • the device 24 uses information stored in the observation database grouping the graphs.
  • This module for determining the category to which a program belongs belongs to one of the modules that directly use the result of the merger module.
  • a new television program is evaluated on the basis of its description.
  • the description of such a program must contain the program start and end dates, as well as the content of this program. It is on this condition that the automatic recording system will record the correct time slots.
  • the recommendation system initially used the flow of data and meta-data transiting via digital terrestrial television or TNT French, called "DVB" for Digital Video Broadcast.
  • Metas data of TNT include information such as title, start date, duration, genre of each TV program. However, very little information is available on the content of the program itself. In order to obtain more detailed descriptions, the information from this source is merged with that from a second source: the TV magazine online and in the pocket represented by the reference 21.
  • these data are part of the composition of the database or knowledge base used by the invention.
  • the ontology includes all the entities existing in a domain of application as well as the relations that can exist between them.
  • the word ontology is used to refer to a structured set of terms and concepts that represent the meaning of an information field, whether by the metadata of a namespace, or the elements of a domain of knowledge.
  • Ontology is itself a data model representative of a set of concepts in a domain, as well as the relationships between these concepts. It is used to reason about the objects of the domain concerned.
  • Figure 5 shows an example of hierarchy and subhierarchies for a TV program. All the situations likely to unfold are formulated through canonical bases. Potential interactions between entities are represented using the conceptual graph associated with a sample model for a TV program. After having defined the model of the domain, the observations are automatically acquired in the formalism of graphs and stored in the form of conceptual graphs according to steps known to those skilled in the art in memories of the TV system.
  • Figures 6A and 6B show examples of observations made on a DVB stream and on the website of the pocket TV magazine. These observations are stored as a conceptual graph. The right part and the left part of Figure 6B present two conceptual graphs that the process will combine before merging. There are several possibilities to perform the merge of these two types of observations.
  • the method according to the invention will use an extended maximum join function, as defined below.
  • the fusion method according to the invention will be executed within a processor of the system, which will then issue a control message to the recording system 26 (FIG. 4).
  • the work data being defined we will now detail the aforementioned fusion strategies which are part of an extension of the maximum join defined by the aforementioned prior art. For this reason, the construction of the set of fusion hypotheses of two graphs remains guided by the search for compatible projections, the concept of compatibility between two concept nodes will be extended according to the principle described below.
  • E be the set of concept nodes defined on a support S or simplified ontology.
  • Gi and G 2 be two conceptual graphs defined on S.
  • a noted fusion strategy is defined as follows: E ⁇ E u ⁇ E x E ⁇ where the initials o correspond to the mathematical operation of composition of functions, and where f fus i on : ⁇ true, false ⁇ xExE-> Eu ⁇ E xE ⁇ is a function of fusion of concept nodes of graphs, and f com p: E xE -> ⁇ true, falsexE xE is a compatibility test function between two concept nodes of graphs.
  • the merger strategy results in either the merged concept, if the initial concepts are compatible, or the initial concepts, if these are not compatible, so not mergeable.
  • Maximum join according to a merge strategy results in either the merged concept, if the initial concepts are compatible, or the initial concepts, if these are not compatible, so not mergeable.
  • E is the set of concept nodes defined on a support S.
  • the graphs H, Gi and G 2 are conceptual graphs defined on S.
  • f CO mp is a compatibility test function defined on E xE -> ⁇ true, fakeExe and ffusion is a merge function defined on ⁇ true, false ⁇ xExE-> Eu ⁇ E xE ⁇ .
  • the method according to the invention relates more particularly to the maximum joining method which is based on the definitions of the specialization, generalization and projection known to those skilled in the art.
  • fcomp be a compatibility function defined on ExE -> ⁇ true, falseEexE, or two conceptual graphs Gi and G 2 with a common generalization H and let the projections Pi: H-> Gi and P 2 : H-> G 2 .
  • Pi and P 2 are compatible according to the function f COm p if, for each concept c of the graph H, the following conditions are respected: • Pi (c) and P 2 (c) have a common subtype different from the absurd type,
  • H be the general generalization of the most general graphs G 1 and G 2
  • Pi and P 2 are two compatible projections of H on Gi and G 2 according to a strategy of fusion denoted by the strategy fusi orv Pi and P 2 are maximally extended.
  • H-> G 2 Pi and P 2 are maximally extended if and only if there is no common generalization H 'of Gi and G 2 such that H is a subgraph of H'.
  • H be the general generalization of the graphs Gi and G 2 the most general.
  • Pi and P 2 are two compatible projections of H on Gi and G 2 according to a strategy of fusion noted strategy fU sion-Pi and P 2 are maximally extended.
  • a join according to a merge strategy strategiefusion on extended projections is called a maximum join according to strategy.
  • a merge strategy merge join on these extended projections is called maximum join according to strategiefusion Merger strategies
  • a similarity or dissimilarity is an application with numerical values which makes it possible to measure the link between the individuals of the same set. For a similarity the link is all the stronger as its value is great.
  • a similarity index is a diss application that satisfies condition ki above, and with the following condition:
  • a distance is a dissimilarity index which also checks the following two properties:
  • the compatibility function implemented in the method according to the invention can be defined with respect to a criterion to be met for declaring two "compatible" information for one or more values.
  • the compatibility function can be defined either according to the distance between two values, or according to any Another similarity function defined by domain experts.
  • the compatibility function between two nodes is of the following form: f ⁇ mp: E x E -> ⁇ true, false ⁇ x E xE where E is the set of concept nodes defined on a support S and Gi and G 2 are two conceptual graphs defined on S to compare.
  • the compatibility between two elements of the same set can be calculated, either with respect to the similarity between these two elements, or with respect to the distance separating it.
  • the remainder of the description gives two examples of definition of the compatibility function according to the measurement of the similarity and the measurement of the distance.
  • Each of the approaches is illustrated in a concrete case concerning the merger of description of television programs.
  • the compatibility of two elements can be defined according to the proportion of identical constituents between these two elements. It will therefore be used, initially, a standardized similarity measure to test the compatibility of two concepts, with a view to their fusion. This similarity measure is determined by an expert in the field of application and must respect the conditions (ki), (k 2 ) and (k 3 ) mentioned above.
  • the compatibility of two elements can be tested according to the distance separating these two elements. The distance measurement is determined by an expert in the field of application and must comply with the conditions (ki), (k ' 2 ), (k 4 ) and (k 5 ) mentioned above. Once the distance between two elements has been calculated, it is compared with a compatibility threshold also defined by an expert in the field of application.
  • the compatibility function then has the following form:
  • the next step of the method is to perform a merge step which will implement a fusion function explained below.
  • the merge function allows, for any pair of concept nodes to calculate if it exists, the concept node corresponding to the merge of the initial nodes. If the initial nodes are not compatible, the merge function will result in the initial nodes.
  • the fusion function of two concept nodes is of the following form: ffusion: ⁇ true, false ⁇ xE xE-> Eu ⁇ E xE ⁇ where E is the set of concept nodes defined on a support S and Gi and G 2 are two conceptual graphs defined on S to merge.
  • a first strategy may be to extend the notion of compatibility between dates. Two dates are compatible if the difference between the two is less than a given threshold value, for example 5 minutes. If two dates are compatible but different, the smaller date will be chosen if it is the start date of the program, otherwise the later date will be chosen.
  • notions of compatibilities are extended between dates and titles. The compatibility between two dates is calculated as for the first strategy. Two titles are compatible if one of them is contained in the other.
  • the notion of compatibility is also extended between dates and titles. The compatibility between two dates is calculated as for the first strategy. According to this strategy, two titles are compatible if the length of the sub-channels common to both titles exceeds a given threshold.
  • the compatibility function f ⁇ mp is set to E ⁇ xE ⁇ -> ⁇ true, false ⁇ xE ⁇ xE ⁇
  • the value of a concept of type Title is a string corresponding to the title of the program described.
  • the similarity function is based on the cumulative length of the common character substrings between the two titles and is defined as follows:
  • sim [Titre: t1], [Titre: t2]
  • sim ti sim ti , r ⁇ (t1, t2)
  • sim sim ti , r ⁇ (t1, t2)
  • itr ⁇ (t1, t2) max (size (t1), size (t2))
  • the following numerical example was performed by testing the compatibility of concept nodes of type Date. These are actually schedules start and end of program broadcast. Intuitively, it has been chosen to represent the fact that two distant schedules of less than 5 minutes are compatible. In order to manipulate these times as integers and thus facilitate comparisons, a simple transformation is applied, prior to any compatibility test, on the schedules. Each schedule is given as the number of seconds that has elapsed since a reference date.
  • the compatibility function f ⁇ mp is thus defined on: E D x E D -> ⁇ true, false ⁇ xE D x E 0 , with E 0 the set of the concepts nodes of type Date.
  • Schedules are given in seconds and the threshold is 5 minutes, or 300 seconds.
  • the invention also applies in the field of crisis management.
  • defining the domain model is the very first step in the merge process.
  • the process will parameterize this device, in order to integrate knowledge of the business, necessary for the merger process.
  • the projection makes it possible to find the specialized occurrences of a query graph.
  • query graph For example, the following query graph:
  • the process being generic, it is then a question of being able to easily parameterize it in order to adapt it to the field studied.
  • the method therefore comprises a set of rules derived from the business knowledge.
  • the use of such rules can inject business knowledge into the merge platform using heuristics also called strategies.
  • the strategies defined for the identification step are called “choice” strategies because they make it possible to choose the description to be returned in response to the merge request.
  • the strategies used in the merge step are "merge strategies", those used for knowledge-base queries, "query strategies.”
  • these are rules or functions, integrating business knowledge with respect to the observations made.
  • the premises of these rules are conceptual graphs representing the observations, as well as conditions on the values of the concepts and relations of these graphs (use of distance metrics).
  • the conclusion is a conceptual graph corresponding to the response to be sent concerning the valid (-s) observation request (-s) (-s) - which will eventually need to be merged.
  • the premise of rules is the two relationships to merge.
  • the conditions present in the premises of the rules can relate both to the values of the relations and objects in relations to be merged, but also to the complete graph describing the observation.
  • the conclusion of a merger strategy is the merged relationship. In other words, these are the two objects resulting from the merger of two pairs of objects observed. These two objects are themselves linked by the relation corresponding to the fusion of the two relations initially observed.
  • the fusion system according to the invention can be implemented within a communication network composed of several processors (on which the sensors, the effectors and the fusion system are implemented) linked together.
  • the storage of information can be performed on hard disks.
  • a sensor in the context of this invention can be both a physical device (camera, radar, microphone Certainly, the corresponding data processing device.
  • the object of the invention has notably the advantages listed hereafter: the possibility of merging information extracted from a report of observations made by a human with information extracted from newspaper dispatches or other sources accounting for of the same event.
  • the method is applied for complex situations composed of several actors or interacting objects. It applies to high-level semantic data fusions using business knowledge that has an even higher semantic level.
  • the point of view or vocabulary of the sensor can also generate another case: two observations concern the same object, but the way of expressing it is different is different according to the sensor studied. It will then be a question of not declaring these two observations as incompatible, since the knowledge of the domain makes it possible to affirm that it is indeed the same object in reality.
  • the method and the system according to the invention make it possible to merge knowledge in a homogeneous manner and independent of the modalities under which the information is given. Moreover, this knowledge can come from different levels of fusion.
  • the method is generic and can be applied whatever the sensors delivering the observation and whatever the situation observed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Procédé pour la fusion d'informations de haut niveau sémantique représentant des situations complexes composées de plusieurs objets provenant de plusieurs capteurs ci, lesdites informations pouvant être hétérogènes, ledit procédé comportant les étapes suivantes : acquérir les différentes informations issues desdits capteurs sous forme brute et les transformer pour les mettre sous la forme de graphes conceptuels, un graphe conceptuel représentant plusieurs concepts et les relations qui existent entre eux, et étant composés de nœuds entités et de nœuds relations, avec E l'ensemble des nœuds concepts définis sur un support S, G1 et G2 deux graphes conceptuels définis sur S, caractérisé en ce que le procédé détermine une stratégie de fusion notée strategiefusion comme suit : strategiefusion =ffusionΟfcomp :E xE→E∪{ E xE} où ffusion :{vrai, faux} xE xE→E∪{ E xE} est une fonction de fusion des nœuds concepts des graphes, et fcomp : E xE→{vrai, fauxjxE xE est une fonction de test de compatibilité entre deux nœuds concepts des graphes, et en ce que le procédé comporte une étape au cours de laquelle ladite stratégie de fusion est appliquée aux différentes informations se présentant sous la forme des graphes.

Description

PROCEDE ET SYSTEME POUR LA FUSION DE DONNEES OU
D'INFORMATIONS
L'invention concerne la fusion d'informations provenant de plusieurs capteurs et plus particulièrement le traitement d'informations ou de données issues de capteurs hétérogènes, les données ou informations pouvant elles-mêmes être non homogènes. L'opération de fusion est opérée au moyen d'un processeur, par exemple, au sein d'un système de surveillance. A l'issue de cette opération, le résultat est transmis, par exemple sous la forme d'un signal de commande. Le signal peut être un signal déclenchant un processus de contrôle, ou encore d'affichage de l'information issue de la fusion. Il peut aussi prendre la forme d'un signal d'alarme.
Les systèmes intégrant plusieurs capteurs sont utilisés dans une grande variété de domaines, tels que la surveillance de site, la maintenance, la robotique, les prévisions météorologiques, mais aussi la programmation de systèmes ou de dispositifs tels que des enregistrements de programme TV. De tels systèmes peuvent aussi être mis en œuvre dans des systèmes d'interprétation d'informations issues des médias. Fusionner de l'information ou des données est un processus primordial pour la prise de décision, et ce, quelque soit le domaine d'intérêt dans lequel est pris la décision. En effet, la première étape dans un processus de prise de décision est la collecte d'informations ou de données permettant d'évaluer une situation. Ces informations peuvent provenir de sources variées et être exprimées sous différents formats ou médias. Une fois collectées, les informations doivent être combinées et arrangées de façon à obtenir une vue globale mais synthétique de la situation. Cette combinaison d'informations de nature hétérogène en une vue unique et cohérente constitue un problème complexe à résoudre, mais toutefois, nécessaire pour déclencher et commander des actions en fonction du résultat de la fusion. Une grande majorité des études concernant la fusion d'informations s'attache à fusionner des données homogènes et de bas niveaux numériques essentiellement. D'autres méthodes consistent à fusionner des données de bas niveau de façon à en déduire des informations de plus haut niveau. Par exemple, les données issues de capteurs sismiques, acoustiques, chimique, etc. sont fusionnées et interprétées afin de détecter de façon plus générale, la présence d'une personne dans une pièce ou l'utilisation d'un ordinateur. Ces méthodes s'intéressent toutefois, à des données d'entrée qui sont numériques et de bas niveau, même si la sortie du système de fusion est une information de niveau sémantique plus élevé. Les données de bas niveau sont, par exemple, des pistes radar, des coordonnées d'objets, des vitesses, etc. L'interprétation de ces données est simple et ne nécessite pas d'avoir la connaissance générale du domaine d'intérêt. Certaines méthodes de fusion d'informations reposent sur la théorie de Dempster-Shafer, théorie généralisant la théorie des probabilités, et utilise ainsi des fonctions de croyance. Les fonctions de croyance sont connues pour leur capacité à représenter fidèlement les informations et la vérité de ces informations. La demande de brevet FR 0705528 du Demandeur est un exemple de sa mise en œuvre pour fusionner des informations issues de capteurs indépendants.
De par la généralisation des systèmes informatiques et l'évolution technologique des capteurs sensibles aux événements physiques, les sources d'information se sont multipliées et diversifiées. Corrélativement, les modalités (texte, parole, image, signal RADAR, etc.) sous lesquelles l'information est donnée se sont, elles aussi, multipliées. Afin de bénéficier de la multiplicité des sources et de construire une représentation du monde globale, il devient donc nécessaire de fusionner les informations entre elles, et ce, quelle que soit leur modalité. La fusion d'informations peut être découpée en plusieurs niveaux. Le premier concerne la fusion d'informations portant sur les caractéristiques des objets. Ce niveau de fusion permet d'identifier et raffiner, par fusion de plusieurs observations, l'estimation des caractéristiques des objets présents dans le monde. Le second niveau porte sur la fusion d'objets. Il s'agit d'apprécier l'état des objets présents dans le monde. Le troisième porte sur la découverte des relations entre les différents objets présents dans le monde.
Un des buts de la présente demande de brevet est d'intégrer des informations hétérogènes en les fusionnant à un haut niveau de représentation et en prenant en compte la sémantique qu'elles véhiculent. Les expressions « haut niveau de représentation ou encore sémantique élevée » sont utilisées pour différencier les objets visés par la présente demande de brevet des données numériques de bas niveau. Ainsi les objets traités par le procédé selon l'invention se présentent sous la forme de phrase, d'expression, de syntaxe, etc. Ainsi, un des objectifs de la présente demande de brevet est de fusionner des symboles plutôt que des nombres et avoir une représentation symbolique des objets et des heuristiques. Les heuristiques seront exprimées en fonction de la sémantique (i.e. signification) des informations à fusionner.
La publication de Laudy et al, intitulée « High-level fusion based on conceptual graphs, in 10th International Conférence on Information Fusion, Québec 2007, et celle de 2008, « Information fusion using conceptual graphs : a TV programs case study, in additional Proceeding of the 16th International Conférence on Conceptual Structures, Toulouse, France, pp158-165, proposent une approche pour la fusion symbolique reposant sur l'utilisation des graphes conceptuels connus de l'Homme du métier.
La publication de 2008 précitée, décrit l'utilisation du formalisme des graphes conceptuels pour représenter la connaissance et les informations dans le cadre d'un système de recommandation pour la télévision numérique intelligente. Le système de recommandation analyse les descriptions des programmes télévisés et décide de recommander ou non un programme à un utilisateur spécifique. Pour ce faire, les auteurs utilisent une plateforme de fusion afin d'obtenir des descriptions de programmes télévisés précises et sûres, à la fois en ce qui concerne le planning de programmation et la description du contenu du programme.
Le modèle des graphes conceptuels proposé par JF Sowa et repris dans la publication précitée est essentiellement composé d'un support et des graphes eux-mêmes. Un graphe conceptuel représente plusieurs concepts et les relations qui existent entre eux. Les graphes conceptuels sont composés de nœuds entités et de nœuds relations. La figure 1 représente des entités qui sont dessinées sous forme de rectangles alors que les relations sont ovales. La théorie des graphes conceptuels repose, entre autres, sur l'utilisation d'un support. Le support est une hiérarchie des types de concepts et de relations manipulés. C'est-à-dire qu'il s'agit de l'ensemble de tous les types objets et relations présents dans le monde réel que l'on va représenter, organisés sous la forme d'une hiérarchie. Le support peut donc être vu comme une ontologie simplifiée du domaine d'intérêt qui comprend uniquement les types d'objets et le type de relation. Un nœud concept d'un graphe conceptuel est représenté par deux entités et peut s'écrire sous la forme suivante : [T : r]. T est le type de concept. Il s'agit du type d'objet du monde réel qui est représenté, r est la valeur ou la mesure observée pour l'objet représenté. Par exemple, pour représenter une température de 30 degrés, on pourra écrire le concept [Température : 30], où Température est le type du concept et 30 est sa valeur, aussi appelée réfèrent dans la suite de la description.
Concernant le processus de fusion lui-même, il repose également sur le modèle des graphes conceptuels. L'opération de jointure maximale définie par Sowa rappelé dans les articles précités est utilisée afin de fusionner deux sous-graphes compatibles de deux graphes conceptuels. La figure 1 illustre cette opération. Ainsi, le graphe G3 est le résultat de la fusion de Gi et de G2 en utilisant la jointure maximale. Toutefois, l'utilisation de la jointure maximale seule n'est pas suffisante pour fusionner des informations provenant de systèmes réels. Les données réelles sont en effet bruitées et des connaissances sur le domaine sont souvent nécessaires afin de fusionner deux valeurs compatibles, mais différentes. Par exemple, des observations comme une personne nommée « J.Smith » et une personne nommée « M. John Smith » ne sont pas égales, mais le paramètre connaissance pousse à penser que ces deux observations rendent compte de la même personne. Ceci peut aussi s'appliquer à des données représentatives d'un paramètre physique mesuré par un capteur dont l'unité de mesure n'est pas exprimée selon un même format. Les méthodes et dispositifs selon l'art antérieur ne permettent pas de répondre à la problématique précitée. Elles sont restreintes à des données stockées sous forme numériques (pas de chaînes de caractères, par exemple) et sont mises en œuvre dans le cadre de situation très simple, se résumant à une mesure ou à l'état d'une caractéristique d'un objet. Un des objectifs est donc ici de proposer une méthode permettant de fusionner des informations représentant des situations complexes.
Les approches existantes pour la fusion d'informations sont très largement axées vers la fusion de données simples : on fusionne pour obtenir la valeur d'une seule caractéristique d'un seul objet. Au contraire de ces approches, le procédé et le système selon l'invention permettent de représenter et fusionner directement des informations de haut niveau sémantique dans le cadre de situations complexes, où plusieurs acteurs ou objets sont en jeu, liés par des relations spatiales, temporelles ou sémantiques. Un but de l'invention est notamment de rendre paramétrable le procédé de fusion d'informations ou de données en prenant en compte, notamment la connaissance métier et les préférences utilisateur, et au moyen d'un processus de fusion adapté, par exemple, de parvenir à fusionner des données ou des informations qui sont initialement présentées sous des formats hétérogènes et qui vérifient le critère de compatibilité selon une valeur seuil fixée. L'objet de l'invention concerne un procédé pour la fusion d'informations de haut niveau sémantique représentant des situations complexes composées de plusieurs objets ou données provenant de plusieurs capteurs ci, lesdites informations ou données pouvant être hétérogènes, ledit procédé étant exécuté sur un processeur et comportant les étapes suivantes : o acquérir les différentes informations ou données issues d'au moins deux capteurs sous forme brutes et les transformer au sein dudit processeur pour les mettre sous la forme de graphes conceptuels, un graphe conceptuel représentant plusieurs concepts et les relations qui existent entre eux, un graphe conceptuel étant composé de plusieurs nœuds ci entités et de nœuds relations, avec E l'ensemble des nœuds concepts définis sur un support S, Gi et G2 deux graphes conceptuels définis sur S, les graphes ainsi obtenus étant mémorisés dans une base de données, o définir une base de connaissance contenant des informations propres au domaine d'application de la fusion de données et les règles appliquées dans ledit domaine d'application, et soumettre lesdites informations à une transformée au sein du processeur afin de les présenter sous une forme de graphes conceptuels, le procédé étant caractérisé en ce qu'il comporte une étape où l'on détermine une stratégie de fusion notée
Figure imgf000008_0001
comme suit :
Figure imgf000008_0002
=f fusion ofcomp :E xE^Eu{ E xE} où ffusbn :{vrai, faux} xE xE->Eu{ E xE} est une fonction de fusion des nœuds concepts des graphes, et fcomp : E xE->{vrai, fauxjxE xE est une fonction de test de compatibilité entre deux nœuds concepts des graphes, et en ce que le procédé comporte une étape au cours de laquelle ladite stratégie de fusion est appliquée aux différentes informations issues de la base de connaissance et de la base d'observations se présentant sous la forme des graphes, étape à l'issue de laquelle les données fusionnées sont transmises à un système de prise de décision.
Le procédé utilise, par exemple, comme fonction de compatibilité entre deux nœuds une fonction exprimée sous la forme suivante : fcomp : E x E->{vrai, faux} x E xE où E est l'ensemble des nœuds concepts définis sur un support S et Gi et G2 sont deux graphes conceptuels définis sur S à comparer.
V( Ci , C2) G E XE, 3v=fCOmp( Ci , C2) G V et V=(b, Ci , C2)
Où v c{vrai, faux} x E x E Et bG Jvrai, faux} où b est une valeur logique
Selon un autre mode de réalisation, le procédé utilise une fonction de compatibilité fCOmp entre deux nœuds concepts c-i, C2 desdits graphes G-i, G2 déterminée par rapport à la similarité existant entre les deux éléments de deux graphes à fusionner avec fComP(ci , c2)=sim(ci, C2) supérieure ou égale à une valeur seuil.
Afin de définir la compatibilité de deux éléments en fonction de la proportion de constituants identiques entre ces deux éléments, le procédé comporte une mesure de similarité normalisée respectant les conditions (k-i), (k2) et (k3) suivantes :
(ki) v(e, e')G ExE ; sim(e, e')=sim(e', e) (symétrie)
(k2) V(e, e')G ExE avec e différent de e' ; sim(e, e)=sim(e', e')>sim(e, e')
(KO Ve G E simnorm (e, e) =1 avec E l'ensemble des nœuds concepts définis sur un support S, sim un indice de similarité défini sur ExE ->R+ On peut utiliser une fonction de compatibilité fCOmp entre deux nœuds concepts c-i , C2 à comparer, un nœud concept étant associé à un graphe respectivement G-i, G2, calculée en fonction d'une distance définie telle que f∞m(c-ι, c2)=dist(ci, C2) est inférieure ou égale à une valeur seuil. La mesure de distance est déterminée, par exemple, en fonction des données stockées dans la base de connaissance et vérifie les conditions (kθ, (k'2), (k4) et (k5)
(k-ι) V(e, e')e ExE ; sim(e, e')=sim(e', e) (symétrie)
(k'2) Ve G E diss(e, e) = 0
(k4) dist(e, e')=0 =>e=e'
(k5) dist(e, e')≤dist(e, e") +dist(e", e') Ve, e', e" G E (inégalité triangulaire) La fonction de fusion peut être déterminée de la manière suivante : > ffusion :{vrai, faux} xE xE-> Eu{ E xE} où E est l'ensemble des nœuds concepts définis sur un support S et Gi et G2 sont deux graphes conceptuels définis sur S à fusionner. Par ailleurs :
ffusion (vrai, Ci , C2) = ffus(ci , c2)=c ffaux (vrai, Ci , C2) = Id(Ci , C2)= (ci , C2)
où ffus : E xE->E est une fonction définie par un expert du domaine d'application,
C G E est le concept résultant de la fusion de ci et C2 et Id est la fonction identité définie sur E xE.
L'invention concerne aussi un système pour la fusion d'informations de haut niveau sémantique représentant des situations complexes composées de plusieurs objets ou données provenant de plusieurs capteurs ci, caractérisé en ce qu'il comporte au moins les éléments suivants : o plusieurs capteurs Ci permettant l'observation des informations et des entrées, o Une base de connaissance comprenant des éléments caractéristiques de l'application de fusion et adaptés à paramétrer l'étape de fusion exécutée dans le procédé selon la revendication 1 , et une base d'informations contenant toutes les données issues des capteurs, o Un processeur adapté pour transfomer des informations issues de la base de connaissance et de la base d'informations sous une forme de représentation de graphes conceptuels, lesdites informations mises en forme étant transmises à un processeur adapté à exécuter les étapes suivantes :
- une étape où l'on détermine une stratégie de fusion notée
Figure imgf000011_0001
comme suit :
Figure imgf000011_0002
=f fusion of∞mp :E xE->Eu{ E xE} où ffusion :{vrai, faux} xE xE->Eu{ E xE} est une fonction de fusion des nœuds concepts des graphes, et fœmp : E xE->{vrai, fauxjxE xE est une fonction de test de compatibilité entre deux nœuds concepts des graphes.
- une étape au cours de laquelle ladite stratégie de fusion est appliquée aux différentes informations mémorisées se présentant sous la forme des graphes, étape à l'issue de laquelle les données fusionnées sont transmises à un système de prise de décision, o au moins une sortie en liaison avec des dispositifs de commande d'enregistrement et/ou d'affichage des résultats issus de la fusion de données.
Le système de fusion est, par exemple, associé à un dispositif d'enregistrement de programmes TV et en ce qu'il comprend deux sources d'informations qui fournissent des données, traitées de façon à associer à chacune un graphe conceptuel, les informations issues de ces graphes étant fusionnées en tenant compte des préférences utilisateurs présentes dans la base de connaissance et en ce qu'il comporte un module adapté à associer à une émission TV une catégorie et un module émettant un signal représentatif ou encore un signal de commande audit dispositif d'enregistrement.
L'invention sera mieux comprise et d'autres avantages apparaîtront mieux à la lecture de la description détaillée de modes de réalisation donnés à titre d'exemple, description faite en regard de dessins annexés qui représentent :
• la figure 1 , un exemple de fusion de deux graphes conceptuels,
• la figure 2, un synoptique du procédé mis en œuvre dans la présente invention suivant les différents niveaux d'interprétation (quantité de connaissance du domaine nécessaire pour représenter l'information),
• la figure 3, un synoptique du procédé mis en œuvre dans la présente invention, suivant le flux des données,
• la figure 4, un exemple d'architecture pour l'enregistrement de l'application TV,
• la figure 5, un exemple de hiérarchie pour un programme de télévision, et
• les figures 6A et 6B des informations liées à un programme télévision.
Principe du procédé
Le procédé est applicable sur des informations émises sous la forme de langage naturel, textuel ou audio, de données semi-structurées ou encore de données de bas niveau, dans la mesure où il existe un système, automatisé ou non, permettant de décrire, sous forme de graphes conceptuels, le contenu de ces informations en les replaçant dans leur contexte.
La figure 2 schématise un exemple de mise en œuvre du procédé pour différents capteurs C-i, C2, etc. qui constituent plusieurs sources d'informations différentes. Les informations captées sont tout d'abord extraites par un système d'extraction 10 ou d'interprétation qui a notamment pour fonction d'obtenir l'observation de A et l'observation de B. Les deux observations A et B sont ensuite transmises à un système d'identification 1 1. Les observations A et B sont examinées afin de déterminer si elles sont compatibles et correspondent ou non à des descriptions du même objet dans le monde réel. Un critère de compatibilité est prédéterminé en fonction du domaine d'application de l'invention 12. Si les observations A et B vérifient ce critère, alors elles sont compatibles et fusionnées et sont représentées sur la figure 2 sous la forme AB ou encore ABC lorsque ces trois valeurs sont compatibles.
En cas d'observations incompatibles qui ne vérifient pas ce critère et reflétant visiblement les descriptions de deux objets différents, le procédé détermine alors les relations existant entre les objets. Une telle incompatibilité entre les observations peut se produire, par exemple, lorsqu'une requête de fusion est faite à partir de capteurs pointant, a priori, sur un même dispositif de mémorisation d'un système d'observation ou de surveillance pouvant contenir plusieurs objets. L'incompatibilité entre les observations pourra être due, par exemple, au fait que les capteurs ont observé deux objets différents mais qui sont proches spatialement. Dans ce cas, le procédé permettra de rendre compte à la fois du fait que deux objets distincts existent et de la relation spatiale existant entre les deux objets. Une fois ces relations découvertes, il sera alors possible de décider laquelle des descriptions doit être renvoyée au système à l'origine de la requête de fusion.
Dans les différentes étapes mises en œuvre, le procédé utilise le formalisme des graphes conceptuels pour représenter la connaissance et les informations, tel que celui décrit à la figure 1. Le même modèle va être utilisé pour effectuer le processus de fusion. L'originalité de la présente demande de brevet est notamment d'utiliser l'opérateur de jointure maximale classique et de l'adapter afin de prendre en compte la connaissance métier et les préférences utilisateur. Avantageusement, ceci va permettre de fusionner des données ou des informations incompatibles au sens de la fusion des graphes. La description va faire appel à des heuristiques de fusion à l'intérieur de la jointure maximale. Ces heuristiques de fusion seront appelées « stratégies de fusion ». Les stratégies de fusion sont des fonctions composées qui vont permettre d'encoder de la connaissance associée à un domaine d'application. Elles sont utilisées afin d'étendre la notion de compatibilité entre deux concepts de deux graphes différents. La figure 3 représente de manière schématique les éléments nécessaires à la mise en œuvre de l'invention. Le système comporte plusieurs capteurs Ci qui vont recueillir les informations ou données à fusionner. Ces informations sont transmises à un dispositif d'interprétation et d'extraction 10 afin de les transformer pour qu'elles apparaissent sous une forme de graphes conceptuels. Les observations ainsi mises en forme sont stockées dans une mémoire 13 ou base d'observations qui est en relation avec une base de connaissance métier 12 qui contient différentes données relatives à un métier, un domaine de métier ou un domaine de connaissance, qui vont servir à paramétrer l'étape de fusion. Cette base de connaissances 12 est constituée par exemple par un utilisateur 14 du système. Cette base de connaissance va servir pour la mise en œuvre des différents éléments intervenant dans le procédé : opérateurs mathématiques, paramètres, règles métiers, etc. Les interrogations s'effectuent, par exemple, sous la forme de requêtes transmises de l'utilisateur vers le module 15. Les connaissances de la base 12 et les observations de la mémoire 13 sont mises en correspondance au travers de l'utilisation des opérateurs du module 15 afin de répondre aux requêtes. Ces requêtes permettent à l'utilisateur 14, par exemple, de visualiser la représentation de la situation réelle suivant différents points de vue. Les informations issues des capteurs sont stockées dans la base d'observations, les informations issues de la connaissance du domaine (base de connaissance et règles métiers) et saisies par un opérateur du système sont, elles, stockées dans la base de connaissance. APPLICATION TV
L'exemple qui suit va être donné dans le cadre d'un système de recommandation utilisé pour la télévision numérique intelligente. Le système de recommandation a, notamment pour fonction, d'analyser les descriptions des programmes télévisés et de recommander ou non un programme à un utilisateur spécifique. Pour ce faire, l'invention utilise une plateforme de fusion telle que celle décrite aux figures 3 et 4 afin d'obtenir des descriptions de programmes télévisés précises et fiables, à la fois en ce qui concerne le planning de programmation et la description du contenu du programme. La plateforme de fusion est, par exemple, constituée de modules et d'équipements physiques, tels que des mémoires, des bases de connaissance, processeurs, entrée/sortie permettant l'acquisition et la communication des données entre le système de fusion selon l'invention et les dispositifs de capteurs des données et d'enregistrement ou d'affichage de résultat.
L'exemple va être donné dans un cadre où le nombre de chaînes de télévision disponibles s'accroit très rapidement, l'objectif du système développé est d'aider les utilisateurs à choisir les programmes télévisés qu'ils apprécieront de regarder ou de sauvegarder. Une première étape consiste à construire un système de recommandation pour les programmes télévisés, système qui sera ensuite couplé à un système d'enregistrement vidéo permettant d'enregistrer automatiquement les programmes pertinents pour un utilisateur lorsque celui-ci est absent ou encore un système d'affichage des informations qui seront ensuite utilisées par un utilisateur. Dans le cadre de l'application télénumérique, le système de recommandation est construit grâce à une phase d'apprentissage des habitudes des utilisateurs. Les émissions regardées par les utilisateurs sont étudiées, par le biais de leurs caractéristiques des programmes qui l'intéressent. Cette définition est faite automatiquement, via une phase d'apprentissage, par un algorithme d'apprentissage connu de l'Homme du métier. Les informations sont stockées, par exemple, dans une base d'observations ou base de connaissance.
La figure 4 est un exemple d'architecture possible pour l'enregistrement automatique de certains programmes TV selon des préférences d'un utilisateur. Le système comprend deux sources d'information 20, 21 qui fournissent des données en formant XMLTV via des entrées 28 du système de fusion et de gestion de l'information obtenue. Les données issues de ces deux sources sont traitées de manière à associer pour chacune de ces sources un graphe de concepts 22a, 22b. Les informations des deux graphes sont tout d'abord stockées dans une base de données 23. Elles sont ensuite fusionnées F en tenant compte des éléments mémorisés dans la base de connaissance 27 et selon la méthode détaillée ci-après qui prend en compte les préférences de l'utilisateur accessibles dans le domaine de connaissances. Les informations fusionnées sont ensuite transmises à un dispositif 24 ayant notamment pour fonction d'analyser les descriptions des programmes télévisés, de déterminer à quelle catégorie appartient une émission afin, ensuite, de la recommander ou non à un utilisateur ou encore de transmettre un signal permettant son enregistrement ou encore son affichage sur un écran comme aide à un utilisateur. Ce dispositif 24 va aussi gérer et commander 25 l'enregistrement ou non d'une émission sur des systèmes d'enregistrement vidéo 26A, 26B, 26C ou gérer l'émission d'un signal d'affichage sur un écran 30 qui peut prendre la forme d'une recommandation ou encore être un signal d'alarme. Il est aussi possible de transmettre un signal à une alarme sonore. Les signaux transitent par les sorties 29 du système ou plateforme de fusion. La plateforme de fusion permet d'obtenir des descriptions de programmes télévisés précis et sûrs, à la fois en ce qui concerne le planning de programmation et la description du contenu de ce programme. Le dispositif 24 utilise des informations stockées dans la base d'observations regroupant les graphes.
Pour décider de recommander ou non une émission à un utilisateur, au préalable, on analyse automatiquement les émissions qui sont regardées par cet utilisateur. Ensuite, il faut avoir un moyen de comparer une nouvelle émission à celles qui ont été regardées ou non par le passé par ce même utilisateur. Pour cela, on associe des catégories aux émissions. Une façon très simple d'associer une catégorie à une émission serait de prendre la catégorie proposée par le magazine TV. Cependant, cette façon de faire n'est pas assez précise et donne des résultats peu satisfaisants. Pour cette raison, les personnes qui travaillent sur l'aspect recommandation du système de télévision numérique intelligente ont intégré un module supplémentaire qui détermine la catégorie d'une émission en fonction, entres autres, de mots clés, de sa catégorie, de son heure de diffusion... Le module 24 permettant de classifier une émission dans une catégorie est à distinguer du processus de fusion et de gestion de l'information. Cependant, c'est grâce à la fusion des informations disponibles sur les différentes sources, qu'il est possible d'obtenir suffisamment de caractéristiques sur chacune des émissions afin de les ranger par catégorie. Ce module permettant de déterminer la catégorie à laquelle appartient une émission est un des modules qui utilisent directement le résultat du module de fusion.
Un nouveau programme télévisé est évalué sur la base de sa description. La description d'un tel programme doit contenir les dates de début et de fin de programme, ainsi que le contenu de ce programme. C'est à cette condition que le système d'enregistrement automatique enregistrera les bonnes plages horaires. Le système de recommandation utilisait initialement le flux de données et méta-données transitant via la télévision numérique terrestre ou TNT française, appelé « DVB » pour Digital Video Broadcast. Les métas données de la TNT comprennent des informations telles que le titre, la date de début, la durée, le genre de chaque programme télévisé. Cependant, très peu d'informations sont disponibles quant au contenu du programme lui-même. Afin d'obtenir des descriptions plus détaillées les informations issues de cette source sont fusionnées à celles issues d'une seconde source : le magazine TV en ligne et en poche représenté par la référence 21. Ce sont entre autre, ces données qui entrent dans la composition de la base de données ou base de connaissance utilisée par l'invention. Outre des informations sur le titre, la date de programmation et la durée de chaque programme le magazine produit des informations liées au contenu de chacun d'entre eux. Ainsi, il y aura souvent une description ou un résumé en langage naturel ainsi qu'un avis sur la qualité du programme. Pour un film, par exemple, le réalisateur, l'année de réalisation, les acteurs, etc. seront mentionnés. Selon le modèle des graphes conceptuels exposés précédemment, l'ontologie comprend toutes les entités existant dans un domaine d'application ainsi que les relations qui peuvent exister entre elles. Le mot ontologie est utilisé pour désigner un ensemble structuré des termes et concepts représentant le sens d'un champ d'informations, que ce soient par les métadonnées d'un espace de noms, ou les éléments d'un domaine de connaissances. L'ontologie constitue en soi un modèle de données représentatif d'un ensemble de concepts dans un domaine, ainsi que les relations entre ces concepts. Elle est employée pour raisonner à propos des objets du domaine concerné.
La figure 5 représente un exemple de hiérarchie et de sous- hiérarchies pour un programme TV. L'ensemble des situations susceptibles de se dérouler sont formulées à travers des bases canoniques. Les interactions potentielles entre les entités sont représentées en utilisant le graphe conceptuel associé à un exemple de modèle pour un programme TV. Après avoir défini le modèle du domaine, les observations sont automatiquement acquises dans le formalisme de graphes et stockées sous forme de graphes conceptuels selon des étapes connues de l'Homme du métier dans des mémoires du système TV. Les figures 6A et 6B montrent des exemples d'observations faites sur un flux DVB et sur le site Web de la revue télé poche. Ces observations sont stockées sous forme de graphe conceptuel. La partie droite et la partie gauche de la figure 6B présentent deux graphes conceptuels que le procédé va combiner avant de les fusionner. Il existe plusieurs possibilités d'exécuter la fusion de ces deux types d'observation. Le procédé selon l'invention va utiliser une fonction de jointure maximale étendue, telle que définie par la suite. Le procédé de fusion selon l'invention sera exécuté au sein d'un processeur du système, qui délivrera ensuite un message de commande vers le système d'enregistrement 26 (figure 4). Les données de travail étant définies, on va maintenant détailler les stratégies de fusion précitées qui s'inscrivent comme une extension de la jointure maximale définie par l'art antérieur précité. Pour cette raison, la construction de l'ensemble des hypothèses de fusion de deux graphes, reste dirigée par la recherche de projections compatibles, la notion de compatibilité entre deux nœuds concepts va être étendue selon le principe décrit ci- dessous.
La définition des stratégies de fusion précitées est organisée, dans le présent exemple, en deux parties : « La définition des conditions de compatibilité de deux concepts ou d'informations, et
• Le calcul de la valeur fusionnée de deux concepts ou informations selon des conditions de compatibilité prédéfinies et qui tiennent compte du domaine d'application ou des connaissances métier. Les stratégies de fusion peuvent être exprimées sous la forme d'une composition de fonctions :
Soit E l'ensemble des nœuds concepts définis sur un support S ou ontologie simplifiée. Soient Gi et G2 deux graphes conceptuels définis sur S. Une stratégie de fusion notée
Figure imgf000019_0001
est définie comme suit :
Figure imgf000019_0002
E ^ E u {E x E} où le sigle o correspond à l'opération mathématique de composition de fonctions, et où ffusion : {vrai, faux}xExE->Eu{E xE} est une fonction de fusion des nœuds concepts des graphes, et fcomp : E xE->{vrai, fauxjxE xE est une fonction de test de compatibilité entre deux nœuds concepts des graphes.
Figure imgf000019_0003
La stratégie de fusion a pour résultat soit le concept fusionné, si les concepts initiaux sont compatibles, soit les concepts initiaux, si ceux-ci ne sont pas compatibles, donc pas fusionnables. Jointure maximale selon une stratégie de fusion
Si E est l'ensemble des nœuds concepts définis sur un support S. Les graphes H, Gi et G2 sont des graphes conceptuels définis sur S. fCOmp est une fonction de test de compatibilité définie sur E xE ->{vrai, fauxjxExE et ffusion est une fonction de fusion définie sur {vrai, faux} xExE-> Eu{ E xE}.
Le procédé selon l'invention concerne plus particulièrement le procédé de jointure maximale qui s'appuie sur les définitions de la spécialisation, de la généralisation et de la projection connues de l'Homme du métier. Soit fcomp, une fonction de compatibilité définie sur ExE->{vrai, fauxjxExE, soit deux graphes conceptuels Gi et G2 ayant une généralisation commune H et soient les projections Pi :H->Gi et P2 :H->G2 . Pi et P2 sont compatibles selon la fonction fCOmp si, pour chaque concept c du graphe H, les conditions suivantes sont respectées : • P-i ( c) et P2( c) ont un sous-type commun différent du type absurde,
• Les référents ou composants de Pi( c) et P2( c) sont conformes à leur sous-type commun le plus général,
• Les référents de Pi( c) et P2( c) sont soit égaux, soit l'un des deux est indéfini, soit fcomp(Pi( c), P2( c)) = (vrai, Pi( c), P2( c)). Soit
Figure imgf000020_0001
=f fusion of∞mp :E xE->Eu{ E xE} si deux projections Pi( c) et P2( c) sont compatibles selon fCOmp, alors, par extension, on dit que Pi( c) et P2( c) sont compatibles selon
Figure imgf000020_0002
La jointure simple de deux concepts est une opération définie dans le modèle des graphes conceptuels. Nous définissons son extension, la jointure simple de deux concepts selon une stratégie de fusion
Figure imgf000020_0003
ffusion of∞mp :E xE->Eu{ E xE} comme suit :
Soit deux concepts Ci et C2 tels que Ci =[ti :r-ι] et c2=[t2 :r2], j= [t :r] est la jointure de ci et C2 selon
Figure imgf000020_0004
si et seulement si • ti et t2 ont un sous-type commun différent du type absurde, • t est le sous-type commun de ti et t2 le plus général,
• n et r2, respectivement les référents de Ci et C2 sont conformes à t,
• n est indéfini et r= r2 ou r2 est indéfini et r= r^ ou r^ = r2=r ou fComP(ci , C2) = (vrai, ci, C2) et ffus(ci, c2)=j=[t :r].
Une définition de la jointure maximale selon une stratégie de fusion telle que
Figure imgf000021_0001
f fusion of∞mp :E xE->Eu{ E xE} est donc donnée par la formulation suivante :
Définition : Soit H la généralisation commune des graphes Gi et G2 la plus générale, Pi et P2 sont deux projections compatibles de H sur Gi et G2 selon une stratégie de fusion notée strategiefusiorv Pi et P2 sont maximalement étendues.
Si deux graphes contiennent des projections compatibles d'une généralisation commune H, ces projections peuvent être étendues en trouvant une généralisation commune plus grande (contenant plus de concepts et/ou relations), contenant H comme sous graphe. Deux projections compatibles sont dites maximalement étendues si elles n'ont pas de telle extension.
Soit H une généralisation commune des graphes Gi et G2. Soient Pi et P2 deux projections compatibles selon une fonction fCOmp telles que Pi : H->Gi et
P2 : H->G2 Pi et P2 sont étendues de manière maximale si et seulement s'il n'existe pas de généralisation commune H' de Gi et G2 telle que H est un sous graphe de H'.
Soit H la généralisation commune des graphes Gi et G2 la plus générale. Pi et P2 sont deux projections compatibles de H sur Gi et G2 selon une stratégie de fusion notée strategiefUsion- Pi et P2 sont maximalement étendues. Une jointure selon une stratégie de fusion strategiefusion sur les projections étendues est appelée jointure maximale selon strategiefusion.
Une jointure selon une stratégie de fusion strategiefusion sur ces projections étendues est appelée jointure maximale selon strategiefusion Stratégies de fusion
La stratégie de fusion fait appel à des notions définies ci-après. Une similarité ou dissimilarité est une application à valeurs numériques qui permet de mesurer le lien entre les individus d'un même ensemble. Pour une similarité le lien est d'autant plus fort que sa valeur est grande. Un indice de similarité ou plus simplement une similarité sur un ensemble E est une application sim : E xE->R+ qui vérifie les deux conditions suivantes : (k-i) v(e, e')e ExE ; sim(e, e')=sim(e', e) (symétrie)
(k2) V(e, e')e ExE avec e différent de e' ; sim(e, e)=sim(e', e')>sim(e, e')
Un indice de similarité est une application diss qui satisfait à la condition ki ci-dessus, et à la condition suivante :
(k'2) Ve G E diss(e, e) = 0
L'indice de similarité entre deux éléments d'un ensemble peut être normalisé. Dans ce cas, l'application simn0rm : ExE -> [0, 1 ] vérifie les deux conditions k-i et k2 ainsi que la condition suivante : (KO Ve e E simnorm (e, e) =1
Une distance est un indice de dissimilarité qui vérifie en plus les deux propriétés suivantes :
(k-0 dist(e, e')=0 =>e=e'
(k5) dist(e, e')≤dist(e, e") +dist(e", e') Ve, e', e" e E (inégalité triangulaire)
Définition de la compatibilité
La fonction de compatibilité mise en œuvre dans le procédé selon l'invention peut être définie par rapport à un critère à respecter pour déclarer deux informations « compatibles » pour une ou plusieurs valeurs. Par exemple, pour fixer les idées, la fonction de compatibilité pourra être définie soit en fonction de la distance entre deux valeurs, soit en fonction de toute autre fonction de similarité définie par des experts du domaine d'application. La fonction de compatibilité entre deux nœuds est de la forme suivante : f∞mp : E x E->{vrai, faux} x E xE où E est l'ensemble des nœuds concepts définis sur un support S et Gi et G2 sont deux graphes conceptuels définis sur S à comparer. V( C1 , C2) G E xE, 3v=fCOmp( C1 , C2) G V et v=(b, C1 , C2) où v c{vrai, faux} x E x E et bG Jvrai, faux} où b est une valeur logique
La compatibilité entre deux éléments d'un même ensemble peut être calculée, soit par rapport à la similarité existant entre ces deux éléments, soit par rapport à la distance le séparant. La suite de la description donne deux exemples de définition de la fonction de compatibilité selon la mesure de la similarité et la mesure de la distance. Chacune des approches est illustrée sur un cas concret concernant la fusion de description de programmes télévisés. Selon la similarité, la compatibilité de deux éléments peut être définie en fonction de la proportion de constituants identiques entre ces deux éléments. Il sera donc utilisé, dans un premier temps, une mesure de similarité normalisée pour tester la compatibilité de deux concepts, en vue de leur fusion. Cette mesure de similarité est déterminée par un expert du domaine d'application et doit respecter les conditions (k-i), (k2) et (k3) rappelées ci-avant. La fonction de compatibilité f∞mp est donc de la forme suivante : f∞mp^, C^=SJm(C1, c2)>seuilsim où C1 et C2 sont des nœuds concepts à comparer, C1G E et C2G E où E est l'ensemble des nœuds concepts définis sur un support S, la valeur seuilsim est une valeur fixée en fonction du domaine de l'application de l'invention.
Figure imgf000023_0001
Selon la distance, la compatibilité de deux éléments peut être testée en fonction de la distance séparant ces deux éléments. La mesure de distance est déterminée par un expert du domaine d'application et doit respecter les conditions (k-i), (k'2), (k4) et (k5) rappelées ci-avant. Une fois la distance entre deux éléments calculée, elle est comparée à un seuil de compatibilité défini lui aussi par un expert du domaine d'application. La fonction de compatibilité a alors la forme suivante :
FComp(ci , c2)=dist(ci , c2)<seuildist où c-i et C2 sont des nœuds concepts à comparer, c-|G E et C2G E où E est l'ensemble des nœuds concepts définis sur un support S, la valeur pour seuildst est fixée par rapport à une application donnée.
Figure imgf000024_0001
La fonction de compatibilité appliquée par le procédé étant définie, l'étape suivante du procédé est d'exécuter une étape de fusion qui va mettre en œuvre une fonction de fusion explicitée ci-après.
La fonction de fusion permet, pour tout couple de nœuds concept de calculer s'il existe, le nœud concept correspondant à la fusion des nœuds initiaux. Si les nœuds initiaux ne sont pas compatibles, la fonction de fusion aura pour résultat les nœuds initiaux. La fonction de fusion de deux nœuds concepts est de la forme suivante : ffusion :{vrai, faux} xE xE-> Eu{ E xE} où E est l'ensemble des nœuds concepts définis sur un support S et Gi et G2 sont deux graphes conceptuels définis sur S à fusionner.
Par ailleurs :
ffusbn (vrai, c-i , C2) = ffus(ci , c2)=c I ffaux (vrai, Ci , C2) = Id(Ci , C2)= (ci , C2) où
- ffus : E xE->E est une fonction définie par un expert du domaine d'application
- c e E est le concept résultant de la fusion de ci et C2
- Id est la fonction identité définie sur E xE
II est parfois nécessaire de connaître le contexte de deux observations pour déterminer si elles sont compatibles ou non, et pour déterminer ensuite le résultat de leur fusion. Dans ce cas, les fonctions de compatibilité et de fusion définies par les experts du domaine vont prendre en compte les nœuds concepts et les relations se trouvant dans le voisinage des nœuds concepts étudiés.
Appliqué aux données acquises dans le cadre de la réalisation d'une interface intelligente pour la télévision numérique, la mise en œuvre de l'étape de comparaison et de l'étape de fusion est décrite en relation avec trois stratégies données à titre d'exemple. o Une première stratégie peut être d'étendre la notion de compatibilité entre les dates. Deux dates sont compatibles si la différence entre les deux est inférieure à une valeur seuil donnée, par exemple 5 minutes. Si deux dates sont compatibles mais différentes, la date la plus petite sera choisie s'il s'agit de la date de début de programme, sinon la date la plus tardive sera choisie. o Selon une deuxième stratégie, les notions de compatibilités sont étendues entre les dates et les titres. La compatibilité entre deux dates est calculée comme pour la première stratégie. Deux titres sont compatibles si l'un d'entre eux est contenu dans l'autre. o Selon une troisième stratégie, la notion de compatibilité est aussi étendue entre les dates et les titres. La compatibilité entre deux dates est calculée comme pour la première stratégie. Selon cette stratégie, deux titres sont compatibles si la longueur des sous chaînes communes aux deux titres excède un seuil donné.
L'illustration va être donnée en testant la compatibilité de deux nœuds concepts de type Titre en mettant en œuvre la fonction de compatibilité utilisée dans la troisième stratégie.
La fonction de compatibilité f∞mp est définie sur Eτ xEτ ->{vrai, faux} xEτxEτ La valeur d'un concept de type Titre est une chaîne de caractères représentant le titre du programme décrit. La fonction de similarité s'appuie sur la longueur cumulée des sous-chaînes de caractères communes entre les deux titres et elle est définie comme suit :
Soit Eτ l'ensemble des nœuds de type Titre, ni et n2 deux nœuds Titres tels que ni = [Titre :t1 ] et n2= [Titre : t2]. Pour le calcul de la similarité entre deux nœuds Titre, on définit la fonction de similarité sim : EτxEτ->[0, 1 ] telle que : sim([Titre : t1 ], [Titre : t2]) = simti,rθ(t1 , t2) Avec tailleSousChainesCommunes(t1 , t2) sim,itrθ(t1 , t2) = max(taille(t1 ), taille(t2))
Où
Figure imgf000026_0001
L'exemple numérique qui suit a été effectué en testant la compatibilité de nœuds concepts de type Date. Il s'agit en fait des horaires de début et de fin de diffusion des programmes. Intuitivement, il a été choisi de représenter le fait que deux horaires distants de moins de 5 minutes sont compatibles. Afin de manipuler ces horaires sous forme d'entiers et faciliter ainsi les comparaisons, une transformation simple est appliquée, préalablement à tout test de compatibilité, sur les horaires. Chaque horaire est donné sous la forme du nombre de secondes qui s'est écoulé depuis une date de référence. La fonction de compatibilité f∞mp est donc définie sur : EDx ED->{vrai, faux} xEDx E0, avec E0 l'ensemble des nœuds concepts de type Date. Soit ndi e E0 et nd2 e E0 deux nœuds Date, tels que nd-ι= [Date :d1 ] et nd2 = [Date :d2]. La distance dist :NxN ->{vrai, faux} est définie comme suit : dist([Date :di], [Date :d2] = distdate(di, d2) avec distdatθ(di, d2) = I I dr d21 I <300
Les horaires sont donnés en secondes et le seuil correspond à 5 minutes, soit 300 secondes.
Selon un autre mode de réalisation, l'invention s'applique aussi dans le domaine de la gestion de crise. Dans cette application, la définition du modèle du domaine est la toute première étape du processus de fusion.
Pour cela, on définit une ontologie du domaine, par exemple, la description d'une crise géopolitique.
Figure imgf000028_0001
On définit ensuite l'ensemble de situations que l'on souhaite rechercher à l'aide de graphes conceptuels canoniques non instanciés. Les relations potentiellement existantes dans le monde réel sont ainsi définies. L'exemple ci-dessous montre une situation abstraite à rechercher dans le monde réel. Il décrit un événement de type répression qui a lieu à une date donnée, a pour victime une entité qui soutient un certain groupe et est opposé à un autre. La répression est effectuée par un groupe de personnes qui lui aussi soutient un groupe et est opposé à un autre.
[Repression] -
-r_date->[DateCal] , -agent-> [GroupeDePersonnes] -
-soutient-> [GroupeDePersonnes : ?y] , -oppose_a-> [GroupeDePersonnes : ?x] ;
-victime-> [Entité] -
-soutient-> [GroupeDePersonnes : ?x] , -oppose_a-> [GroupeDePersonnes : ?y] ;
-consequence-> [Influence] -patient-> [GroupeDePersonnes : ?x] -consequence-> [Influence] -patient-> [GroupeDePersonnes : ?y]
Une fois la modélisation du domaine effectuée, il s'agit d'acquérir les observations qui se présentent sous la forme de dépêches journalistiques, de compte-rendu d'observation venant d'observateurs humains sur le terrain. Ceci correspond à des observations acquises grâce à un moteur d'extraction d'informations sur des données textuelles.
C'est sur ces données que le procédé va appliquer une étape de jointure maximale selon strategiefusion définie précédemment.
Utilisation de la jointure maximale comme opérateur de fusion
L'objectif du procédé étant de fusionner autant de paires de concepts compatibles possibles entre deux graphes (deux observations), nous utilisons l'opérateur de jointure maximale. Cet opérateur permet de fusionner des concepts non égaux mais compatibles. De plus, il permet de fusionner le plus de concepts possibles. Cet opérateur donne, lui aussi, plusieurs résultats en fonction des différentes hypothèses de fusion possible.
Dans le cas de données réelles bruitées, deux observations du même objet pourront avoir des valeurs légèrement différentes. Dans ce cas, l'opérateur de jointure maximale n'autorisera pas la fusion des deux observations, alors que, avec la connaissance du domaine, un expert pourra aisément dire qu'il était nécessaire de le fusionner car elle représentait différentes vues du même objet. Un exemple d'un tel cas est donné ci- dessous. La fusion de :
[Repression]-agent->[Police] Et de :
[Repression]-agent->[policiers]
En utilisant la jointure maximale résulterait en le graphe suivant : [Repression]-
-agent->[Police], -agent->[policiers],
Or la connaissance du domaine permet de savoir que les policiers travaillent au sein d'une institution nommée « Police » et que l'on pourrait donc fusionner ces deux concepts.
Le procédé va paramétrer ce dispositif, afin d'intégrer de la connaissance du métier, nécessaire au processus de fusion.
Utilisation de la projection comme opérateur de requêtes
Lorsque les observations concernant une situation sont acquises et stockées sous forme de graphes conceptuels (éventuellement après fusion de ces observations), il s'agit de pouvoir interroger la base de connaissances ainsi constituée et faciliter l'accès à l'information. Là encore, le stockage sous forme de graphes permet l'utilisation de tous les opérateurs définis sur de telles structures. En particulier, l'opérateur de projection est utilisé afin de formuler des requêtes et y soumettre la base de connaissances.
La projection permet de trouver les occurrences spécialisées d'un graphe requête. Par exemple, le graphe requête suivant :
[Répression : ?x]-agent->[GroupeDePersonnes : « rebelles »] permettra d'obtenir la liste des répressions ayant été rapportées par les différents capteurs (ou observateurs), et étant à l'initiative du groupe de personnes nommé « rebelles ». Les projections précises étant difficilement exploitables telles quelles, nous proposons, comme pour la fusion, d'utiliser des heuristiques afin d'utiliser des projections approchées. Ces heuristiques ont pour objectif d'intégrer de la connaissance métier dans l'opérateur de requêtes, ici, la projection.
Paramétrisation à l'aide d'heuristiques métier
Le procédé étant générique, il s'agit ensuite de pouvoir aisément le paramétrer afin de l'adapter au domaine étudié. Le procédé comprend donc un ensemble de règles issues des connaissances métier. L'utilisation de telles règles permet d'injecter de la connaissance métier dans la plateforme de fusion à l'aide d'heuristiques aussi appelées stratégies.
Les stratégies définies pour l'étape d'identification sont appelées stratégies de « choix » car elles permettent de choisir la description à renvoyer en réponse à la requête de fusion. Les stratégies utilisées lors de l'étape de fusion sont des « stratégies de fusion », celles utilisée pour les requêtes à la base de connaissance, des « stratégies de requête ».
Dans tous les cas, il s'agit de règles ou fonctions, intégrant de la connaissance métier vis à vis des observations effectuées. Pour les stratégies de choix, les prémisses de ces règles sont des graphes conceptuels représentant les observations, ainsi que des conditions sur les valeurs des concepts et relations de ces graphes (utilisation des métriques de distance). La conclusion est un graphe conceptuel correspondant à la réponse à envoyer concernant la requête d'identification de(-s) l'observation(-s) valide(-s) - qui devront éventuellement être fusionnées. En ce qui concerne les stratégies de fusion, les prémisses des règles sont les deux relations à fusionner. De façon à prendre en compte le contexte de chacune des observations, les conditions présentes dans les prémisses des règles peuvent porter à la fois sur les valeurs des relations et objets en relations à fusionner, mais aussi sur le graphe complet décrivant l'observation. La conclusion d'une stratégie de fusion est la relation fusionnée. Autrement dit, il s'agit des deux objets résultant de la fusion des deux couples d'objets observés. Ces deux objets étant eux-mêmes liés par la relation correspondant à la fusion des deux relations initialement observées.
L'avantage d'utiliser de telles stratégies de fusion est la possibilité d'associer, à ce procédé générique, des fonctions de fusion par ailleurs largement étudiées et testées dans des domaines. Différentes applications
Le système de fusion selon l'invention peut être mis en oeuvre au sein d'un réseau de communication composé de plusieurs processeurs (sur lesquels sont mis en œuvre les capteurs, les effecteurs et le système de fusion) liés entre eux.
Le stockage des informations (base de connaissances du domaine et base d'observations) peut être effectué sur des disques durs.
Un capteur, dans le cadre de cette invention peut être à la fois un dispositif physique (caméra, radar, micro...) et le dispositif de traitement des données correspondantes.
L'objet de l'invention présente notamment les avantages listés ci- après :la possibilité de fusionner des informations extraites d'un rapport d'observations fait par un humain avec des informations extraites de dépêches de journaux ou encore d'autres sources rendant compte du même événement.
Le procédé est appliqué pour des situations complexes composées de plusieurs acteurs ou objets interagissant. Il s'applique pour des fusions de données de haut niveau sémantique en utilisant des connaissances métiers qui ont un niveau sémantique encore plus élevé.
Plusieurs configurations des capteurs ou des données acquises via les capteurs, profiteront des avantages conférés par l'invention. Nous dressons ici une liste non exhaustive des ces configurations. Observation absente sur un des capteurs Lorsqu'un des capteurs est en panne, il se peut qu'il n'y ait qu'une seule observation. Cette observation doit donc être, à elle seule, le résultat de la requête de fusion. Dans un système gérant les certitudes et les confiances associées à chaque résultat de fusion, la reconnaissance de cette configuration est importante, car elle peut avoir une incidence sur la confiance générale associée au résultat fusionné. Objet non reconnu par un des capteurs
Ce cas doit amener, d'une part, à la reconnaissance par la plateforme de fusion du caractère inconnu de l'objet observé par un des capteurs. D'autre part, la plateforme doit renvoyer au système émetteur de la requête l'observation effectuée par le capteur ayant reconnu l'objet sans la fusionner avec quoi que ce soit.
Observations incompatibles de deux objets différents
Dans ce cas, la fusion des deux observations ne doit pas avoir lieu. La tentative de fusion doit échouer, mais il est parfois préférable aussi que la requête ayant amené à cette demande de fusion ne reste pas sans réponse. Pour cette raison, les deux observations doivent être étudiées afin de déterminer lequel des capteurs a observé le bon objet afin de renvoyer sa description au système émetteur de la requête de fusion. Différents niveaux de granularité sur les objets observés selon le capteur A cause de la différence de précision des capteurs, il se peut que deux observations paraissent incompatibles et donc non fusionnables, alors qu'il s'agit pourtant bien de deux observations du même objet. Ainsi, un objet pourra être observé dans son ensemble par un des capteurs, alors qu'un second n'observera qu'une partie de l'objet. Par ailleurs, le capteur n'observant qu'une partie de l'objet rendra compte, la plupart du temps, de plus de détails concernant cet objet. Il s'agira alors, pour la plateforme de fusion de comprendre qu'il s'agit d'une telle configuration des observations. De plus, il sera intéressant de tirer partie, à la fois de la portion très détaillée de l'information, mais aussi de la vision globale de l'objet. Observations du même objet avec des points de vue différents
Le point de vue ou vocabulaire du capteur peut aussi engendrer un autre cas de figure : deux observations concernent le même objet, mais la façon de l'exprimer est différente est différente selon le capteur étudié. Il s'agira alors de ne pas déclarer ces deux observations comme étant incompatibles, puisque la connaissance du domaine permet d'affirmer qu'il s'agit bien du même objet dans la réalité.
Ainsi, le procédé et le système selon l'invention permettent de fusionner des connaissances de façon homogène et indépendante des modalités sous lesquelles l'information est donnée. Par ailleurs, ces connaissances peuvent être issues des différents niveaux de fusion. Le procédé est générique et peut être appliqué quels que soient les capteurs délivrant l'observation et quelle que soit la situation observée.

Claims

REVENDICATIONS
1 - Procédé pour la fusion d'informations de haut niveau sémantique représentant des situations complexes composées de plusieurs objets ou données provenant de plusieurs capteurs ci, lesdites informations ou données pouvant être hétérogènes, ledit procédé étant exécuté sur un processeur (22) et comportant les étapes suivantes : o acquérir les différentes informations ou données issues d'au moins deux capteurs (20, 21 ) sous forme brutes et les transformer (22a, 22b) au sein dudit processeur (22) pour les mettre sous la forme de graphes conceptuels, un graphe conceptuel représentant plusieurs concepts et les relations qui existent entre eux, un graphe conceptuel étant composé de plusieurs nœuds ci entités et de nœuds relations, avec E l'ensemble des nœuds concepts définis sur un support S, Gi et G2 deux graphes conceptuels définis sur S, les graphes ainsi obtenus étant mémorisés dans une base de données (23), o définir une base de connaissance (27) contenant des informations propres au domaine d'application de la fusion de données et les règles appliquées dans ledit domaine d'application, et soumettre lesdites informations à une transformée au sein du processeur (22) afin de les présenter sous une forme de graphes conceptuels, le procédé étant caractérisé en ce qu'il comporte une étape où l'on détermine une stratégie de fusion notée
Figure imgf000035_0001
comme suit :
Figure imgf000035_0002
=f fusion ofcomp :E xE^Eu{ E xE} où ffusbn :{vrai, faux} xE xE->Eu{ E xE} est une fonction de fusion des nœuds concepts des graphes, et fcomp : E xE->{vrai, fauxjxE xE est une fonction de test de compatibilité entre deux nœuds concepts des graphes, et soit deux graphes conceptuels Gi et G2 ayant une généralisation commune H et soient les projections Pi :H->Gi et P2 :H->G2 , Pi et P2 sont compatibles selon la fonction f∞mp si, pour chaque concept c du graphe H, les conditions suivantes sont respectées :
• P-i ( c) et P2( c) ont un sous-type commun différent du type absurde,
• Les référents ou composants de P-ι( c) et P2( c) sont conformes à leur sous-type commun le plus général,
• Les référents de P-ι( c) et P2( c) sont soit égaux, soit l'un des deux est indéfini, soit fcomp(P1( c), P2( c)) = (vrai, P-ι( c), P2( c)). et en ce que le procédé comporte une étape au cours de laquelle ladite stratégie de fusion est appliquée aux différentes informations issues de la base de connaissance (27) et de la base d'observations (23) se présentant sous la forme des graphes, étape à l'issue de laquelle les données fusionnées sont transmises à un système de prise de décision.
2 - Procédé selon la revendication 1 , caractérisé en ce que l'on utilise comme fonction de compatibilité entre deux nœuds une fonction exprimée sous la forme suivante : fcomp : E x E->{vrai, faux} x E xE où E est l'ensemble des nœuds concepts définis sur un support S et G-i et G2 sont deux graphes conceptuels définis sur S à comparer. V( Ci , C2) G E XE, 3v=fCOmp( Ci , C2) G V et V=(b, Ci , C2)
Où v c{vrai, faux} x E x E et bG Jvrai, faux} où b est une valeur logique
3 - Procédé selon la revendication 1 , caractérisé en ce que l'on utilise une fonction de compatibilité fcomp entre deux nœuds concepts c-i, C2 desdits graphes G-i, G2 est déterminée par rapport à la similarité existant entre les deux éléments de deux graphes à fusionner avec fComP(ci, c2)=sim(c-ι, C2) supérieure ou égale à une valeur seuil.
4 - Procédé selon l'une des revendications 1 et 2, caractérisé en ce que l'on définit la compatibilité de deux éléments en fonction de la proportion de constituants identiques entre ces deux éléments, le procédé comporte une mesure de similarité normalisée respectant les conditions (k-ι), (k2) et (k3) suivantes :
(k-ι) V(e, e')e ExE ; sim(e, e')=sim(e', e) (symétrie)
(k2) V(e, e')e ExE avec e différent de e' ; sim(e, e)=sim(e', e')>sim(e, e')
(KO Ve e E simnorm (e, e) =1 avec E l'ensemble des nœuds concepts définis sur un support S, sim un indice de similarité défini sur ExE ->R+
5 - Procédé selon la revendication 1 , caractérisé en ce que l'on utilise une fonction de compatibilité f∞mp entre deux nœuds concepts c-i, C2 à comparer, un nœud concept étant associé à un graphe respectivement G-i, G2, est calculée en fonction d'une distance définie telle que fCOm(ci, c2)=dist(c-ι , C2) est inférieure ou égale à une valeur seuil.
6 - Procédé selon la revendication 5, caractérisé en ce que la mesure de distance est déterminée en fonction des données stockées dans la base de connaissance et vérifie les conditions (k-i), (k'2), (k4) et (k5)
(k-ι) V(e, e')e ExE ; sim(e, e')=sim(e', e) (symétrie)
(k'2) Ve G E diss(e, e) = 0
(k4) dist(e, e')=0 =>e=e'
(k5) dist(e, e')≤dist(e, e") +dist(e", e') Ve, e', e" G E (inégalité triangulaire)
7 - Procédé selon la revendication 1 , caractérisé en ce que la fonction de fusion est déterminée de la manière suivante : ffusion :{vrai, faux} xE xE-> Eu{ E xE} où E est l'ensemble des nœuds concepts définis sur un support S et Gi et
G2 sont deux graphes conceptuels définis sur S à fusionner. Par ailleurs : ffusbn (vrai, c-i , C2) = ffUS(Ci , c2)=c ffaux (vrai, Ci , C2) = Id(Ci , C2)= (ci , C2)
Figure imgf000038_0001
où ffus : E xE->E est une fonction définie par un expert du domaine d'application, c e E est le concept résultant de la fusion de Ci et C2 et Id est la fonction identité définie sur E xE.
8 - Système permettant la fusion d'informations de haut niveau sémantique représentant des situations complexes composées de plusieurs objets ou données provenant de plusieurs capteurs ci, caractérisé en ce qu'il comporte au moins les éléments suivants : o plusieurs capteurs Ci permettant l'observation des informations et des entrées (28), o une base de connaissance (27) comprenant des éléments caractéristiques de l'application de fusion et adaptés à paramétrer l'étape de fusion exécutée dans le procédé selon la revendication 1 , et une base d'informations (23) contenant toutes les données issues des capteurs, un processeur (22) adapté pour transformer des informations issues de la base de connaissance (27) et de la base d'informations (23) sous une forme de représentation de graphes conceptuels, lesdites informations mises en forme étant transmises à un processeur adapté à exécuter les étapes mises en œuvre au sein du procédé selon la revendication 1 ,
o au moins une sortie (29) en liaison avec des dispositifs de commande d'enregistrement et/ou d'affichage des résultats issus de la fusion de données. 9 - Système de fusion d'informations selon la revendication 4, caractérisé en ce que ledit système de fusion est associé un dispositif d'enregistrement (26a, 26b, 26c) de programmes TV et en ce qu'il comprend deux sources d'informations (20, 21 ) qui fournissent des données, traitées de façon à associer à chacune un graphe conceptuel, les informations issues de ces graphes étant fusionnées en tenant compte des préférences utilisateurs présentes dans la base de connaissance et en ce qu'il comporte un module adapté à associer à une émission TV une catégorie et un module émettant un signal représentatif ou encore un signal de commande audit dispositif d'enregistrement.
PCT/EP2009/067666 2008-12-19 2009-12-21 Procede et systeme pour la fusion de donnees ou d'information WO2010070142A2 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP09796723A EP2370938A2 (fr) 2008-12-19 2009-12-21 Procede et systeme pour la fusion de donnees ou d'information
US13/140,807 US8818929B2 (en) 2008-12-19 2009-12-21 Method and system for merging data or information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0807232 2008-12-19
FR0807232A FR2940487A1 (fr) 2008-12-19 2008-12-19 Procede et systeme pour la fusion de donnees ou d'informations

Publications (2)

Publication Number Publication Date
WO2010070142A2 true WO2010070142A2 (fr) 2010-06-24
WO2010070142A3 WO2010070142A3 (fr) 2010-12-16

Family

ID=40940421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/067666 WO2010070142A2 (fr) 2008-12-19 2009-12-21 Procede et systeme pour la fusion de donnees ou d'information

Country Status (4)

Country Link
US (1) US8818929B2 (fr)
EP (1) EP2370938A2 (fr)
FR (1) FR2940487A1 (fr)
WO (1) WO2010070142A2 (fr)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264592A1 (en) * 2010-04-27 2011-10-27 Sven Graupner Template-based technique for making a best practices framework actionable
CN105678382A (zh) * 2015-12-29 2016-06-15 惠州Tcl移动通信有限公司 一种基于子形式背景属性相似度的概念格合并方法及系统
CN105900117A (zh) * 2014-01-06 2016-08-24 思科技术公司 用于采集、规范、匹配和丰富数据的方法和系统
RU2608474C2 (ru) * 2011-06-17 2017-01-18 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Эффективное логическое слияние физически расходящихся потоков

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576035B2 (en) * 2011-06-29 2017-02-21 Nokia Technologies Oy Method and apparatus for providing integrated search and web browsing history
WO2013136718A1 (fr) * 2012-03-16 2013-09-19 日本電気株式会社 Dispositif de traitement de données chronologiques, procédé de traitement de données chronologiques et support de stockage de programme de traitement de données chronologiques
CN106021377A (zh) * 2016-05-11 2016-10-12 上海点荣金融信息服务有限责任公司 计算机实现的信息处理方法及装置
US11868445B2 (en) 2016-06-24 2024-01-09 Discovery Communications, Llc Systems and methods for federated searches of assets in disparate dam repositories
US10452714B2 (en) 2016-06-24 2019-10-22 Scripps Networks Interactive, Inc. Central asset registry system and method
US10296655B2 (en) 2016-06-24 2019-05-21 International Business Machines Corporation Unbounded list processing
US10372883B2 (en) 2016-06-24 2019-08-06 Scripps Networks Interactive, Inc. Satellite and central asset registry systems and methods and rights management systems
US10637814B2 (en) 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Communication routing based on physical status
US10437884B2 (en) 2017-01-18 2019-10-08 Microsoft Technology Licensing, Llc Navigation of computer-navigable physical feature graph
US10679669B2 (en) 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
US11094212B2 (en) 2017-01-18 2021-08-17 Microsoft Technology Licensing, Llc Sharing signal segments of physical graph
US10482900B2 (en) 2017-01-18 2019-11-19 Microsoft Technology Licensing, Llc Organization of signal segments supporting sensed features
US10606814B2 (en) 2017-01-18 2020-03-31 Microsoft Technology Licensing, Llc Computer-aided tracking of physical entities
US10635981B2 (en) 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Automated movement orchestration
US10365925B2 (en) * 2017-02-08 2019-07-30 Sap Se Merging applications
US11269929B2 (en) 2018-05-04 2022-03-08 International Business Machines Corporation Combining semantic relationship information with entities and non-entities for predictive analytics in a cognitive system
CN111522967B (zh) * 2020-04-27 2023-09-15 北京百度网讯科技有限公司 知识图谱构建方法、装置、设备以及存储介质
FR3117228A1 (fr) 2020-12-03 2022-06-10 Thales Procédé de tracage numérique de données

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR705528A (fr) 1929-11-13 1931-06-09 Prosperity Co Inc Appareil pour traiter les chapeaux par la vapeur

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005175A1 (en) * 2006-06-01 2008-01-03 Adrian Bourke Content description system
FR2919407B1 (fr) 2007-07-27 2009-11-20 Thales Sa Procede, dispositif et systeme pour la fusion d'informations provenant de plusieurs capteurs.

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR705528A (fr) 1929-11-13 1931-06-09 Prosperity Co Inc Appareil pour traiter les chapeaux par la vapeur

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Information fusion using conceptual graphs : a TV programs case study", PROCEEDING OF THE 16TH INTERNATIONAL CONFERENCE ON CONCEPTUAL STRUCTURES, 2008, pages 158 - 165
LAUDY ET AL.: "High-level fusion based on conceptual graphs", 10TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION, 2007

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264592A1 (en) * 2010-04-27 2011-10-27 Sven Graupner Template-based technique for making a best practices framework actionable
RU2608474C2 (ru) * 2011-06-17 2017-01-18 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Эффективное логическое слияние физически расходящихся потоков
US9965520B2 (en) 2011-06-17 2018-05-08 Microsoft Corporation Efficient logical merging over physically divergent streams
CN105900117A (zh) * 2014-01-06 2016-08-24 思科技术公司 用于采集、规范、匹配和丰富数据的方法和系统
US10223410B2 (en) 2014-01-06 2019-03-05 Cisco Technology, Inc. Method and system for acquisition, normalization, matching, and enrichment of data
CN105678382A (zh) * 2015-12-29 2016-06-15 惠州Tcl移动通信有限公司 一种基于子形式背景属性相似度的概念格合并方法及系统
CN105678382B (zh) * 2015-12-29 2018-05-08 惠州Tcl移动通信有限公司 一种基于子形式背景属性相似度的概念格合并方法及系统

Also Published As

Publication number Publication date
WO2010070142A3 (fr) 2010-12-16
US20120072402A1 (en) 2012-03-22
FR2940487A1 (fr) 2010-06-25
EP2370938A2 (fr) 2011-10-05
US8818929B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
WO2010070142A2 (fr) Procede et systeme pour la fusion de donnees ou d&#39;information
Sheth Citizen sensing, social signals, and enriching human experience
JP6305389B2 (ja) 人工知能によるヒューマン・マシン間の知能チャットの方法および装置
US10970334B2 (en) Navigating video scenes using cognitive insights
US20190005315A1 (en) Method of evaluating photographer satisfaction
Persia et al. An interactive framework for video surveillance event detection and modeling
Greco et al. On the use of semantic technologies for video analytics
Höferlin et al. Scalable video visual analytics
Rama et al. A large scale study of reader interactions with images on Wikipedia
EP2227755B1 (fr) Procede d&#39;analyse d&#39;un contenu multimedia, produit programme d&#39;ordinateur et dispositif d&#39;analyse correspondants
Laestadius et al. Instagram revisited
WO2008043392A1 (fr) Procede pour traiter des informations
CN114443916A (zh) 一种面向试验数据的供需匹配方法及系统
WO2021180441A1 (fr) Mises a jour de bases de donnees de navigation
Sobhani et al. An ontology framework for automated visual surveillance system
Abate et al. Significance. Stop Illicit Heritage Trafficking with Artificial Intelligence
FR2816793A1 (fr) Dispositif de traitement d&#39;information multimedia
Lee et al. A mobile picture tagging system using tree-structured layered Bayesian networks
Dimitriadis et al. A crowdsourcing approach to advance collective awareness and social good practices
Umair et al. Determining intent of changes to ascertain fake crowdsourced image services
Ghozia et al. Intelligence Is beyond Learning: A Context‐Aware Artificial Intelligent System for Video Understanding
US11907705B1 (en) Systems and methods for generating dynamically updated metadata using real-time artificial intelligence models
US20240121125A1 (en) Data analytics platform for stateful, temporally-augmented observability, explainability and augmentation in web-based interactions and other user media
Rafatirad et al. Contextual augmentation of ontology for recognizing sub-events
WO2010026150A2 (fr) Procede et systeme permettant de generer un dispositif de controle a partir de comportements redoutes specifies

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09796723

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009796723

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13140807

Country of ref document: US