WO2023139130A1 - Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens - Google Patents

Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens Download PDF

Info

Publication number
WO2023139130A1
WO2023139130A1 PCT/EP2023/051145 EP2023051145W WO2023139130A1 WO 2023139130 A1 WO2023139130 A1 WO 2023139130A1 EP 2023051145 W EP2023051145 W EP 2023051145W WO 2023139130 A1 WO2023139130 A1 WO 2023139130A1
Authority
WO
WIPO (PCT)
Prior art keywords
client
factor
server
model
computer
Prior art date
Application number
PCT/EP2023/051145
Other languages
English (en)
French (fr)
Inventor
Daniel SCHALL
Original Assignee
Siemens Ag Österreich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Ag Österreich filed Critical Siemens Ag Österreich
Priority to CN202380017781.2A priority Critical patent/CN118575182A/zh
Priority to US18/729,354 priority patent/US20250094843A1/en
Priority to EP23703702.3A priority patent/EP4430537A1/de
Publication of WO2023139130A1 publication Critical patent/WO2023139130A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the invention relates to a computer-implemented data structure and a use of the data structure by a client at the edge of a client-server system for operating a technical device connected to a client at the edge with a model based on federated learning.
  • the invention also relates to a computer-implemented method and a system for operating a technical device with a model based on federated learning.
  • the invention also relates to a computer program, an electronically readable data carrier and a data carrier signal.
  • FL Fusion Learning
  • Federated learning enables multiple actors to build a common, robust machine learning model without exchanging data, thereby addressing critical issues such as privacy, data security, data access rights, and access to heterogeneous data.
  • contributions from individual clients i.e. weights of locally trained models, are not always treated equally, but are weighted in an aggregation process.
  • client-server interactions data communications between a client and a server are referred to as client-server interactions, or interactions for short.
  • the data can be user data, such as sensor data, or control data for controlling a client or a device connected to a client.
  • the operating properties should not only take into account the initial operation, but also current operation and should therefore also include dynamic adjustments of the model for operating the device.
  • the object of the invention is achieved by a data structure of the type mentioned, comprising a trust factor for the device, which has a reliability factor, a response time factor and an information quality factor to take into account a data quality of the model for the data of the model, and the trust factor (T) is designed as a model in the form of a Bayesian network, the trust factor being intended to weight the model of the technical device by the client on the fly operation of the system.
  • trust can be defined as an agent's belief in attributes such as response time, reliability, and competence in terms of the quality of information provided by a trusted agent.
  • a na ⁇ ve Bayesian classifier approach is envisaged to model trust in a loT edge-based network.
  • a Bayesian network is a relational network that uses statistical methods to represent probabilistic relationships between different items, specifically conditional probabilities.
  • a Bayesian network or Bayesian network is a directed acyclic graph in which the nodes describe random variables and the edges describe conditional dependencies between the variables.
  • Each node of the network is assigned a conditional probability distribution of the random variable it represents, given the random variables at the parent nodes. They are described by probability tables. This distribution can be arbitrary, but discrete or normal distributions are often used.
  • Parents of a vertex v are those vertices from which an edge leads to v.
  • a Bayesian network serves to represent the common probability distribution of all variables involved as compactly as possible using known conditional independences. In doing so, the conditional (in)dependence of subsets of the variables is combined with a priori knowledge.
  • a data structure based on a Bayesian network is therefore particularly favorable in order to store probabilities as compactly as possible. This is particularly favorable when the data is transmitted or stored in a data network, such as between client and server.
  • a naive Bayesian network is a simple Bayesian network, i.e. a directed graph representing conditional dependencies. It consists of a root node and several leaf nodes.
  • a naive Bayesian network is used to favorably represent the trust between two nodes, such as between a server and a client.
  • trust in loT node Three trust aspects are taken into account in a trust factor (“trust in loT node”), namely reliability, response time and information quality.
  • the term "factor” is used in the present context for the sake of simplicity, although the trust factor is a model in the form of a Bayesian network and is therefore not a scalar in the present context. Alternatively, the term “trust factor” can also be used equivalently to the term “trust model”.
  • the trust factor describes a server's trust in a client and can change dynamically during the operation of the client-server system.
  • the confidence factor describes the confidence for the device in the form of a numerical, weighting factor.
  • the trust factor can be calculated by a corresponding computing device in a client or in the server, with calculation in the server being advantageous since the same included computing device can be used for a number of clients and the system is therefore simpler overall.
  • a client's trust factor can change over time, for example if the data connection deteriorates during system operation and the information quality factor is adversely affected as a result.
  • a client can also take active measures, for example to improve the response time after the Client himself has found that trust a
  • Reliability is the ability of a system or component to function under specified conditions for a specified period of time. It is important for an accurate ML model that IoT nodes provide services that are available and can be relied on. This includes, for example, the availability of a client to join a federation.
  • the reliability factor describes the reliability of a client towards a server, based on the network communication behavior between client and server.
  • the reliability factor describes the reliability of the device in the form of a numerical, weighting factor.
  • the reliability factor is advantageously calculated in the server, since the same included computing device in the server can be used for a number of clients and the system is therefore simpler overall.
  • Response time is the time difference between requesting information and receiving a response to the request. It is important for an accurate ML model that loT nodes respond to requests in a timely manner.
  • the reaction time factor describes the temporal behavior of a client towards a server, based on the network communication behavior between client and server.
  • the response time factor describes the behavior of the device over time in the form of a numerical, weighting factor.
  • the calculation of the reaction time factor is advantageously carried out on the server, since the same calculation Device can be used in the server and the system is therefore simpler overall.
  • Information quality is understood to mean, for example, the accuracy, completeness, consistency, topicality, validity and uniqueness of the information. It is important for an accurate ML model that the models are trained using high quality data.
  • the information quality factor describes the information quality of a client's data delivered to a server.
  • the information quality factor describes the information quality of data supplied by the device in the form of a numerical, weighting factor.
  • the information quality factor is advantageously calculated in the server, with the metrics used for this being determined on the basis of raw data in the client.
  • These metrics can be transmitted to the server, which then calculates the information quality factor using an included computing device.
  • a model based on this advantageous approach in the form of a computer-implemented data structure is very simple and easy to implement, as well as being quick and particularly compact in terms of low memory requirements and favorable access properties. This allows it to be implemented on various embedded, resource-constrained devices in particular.
  • a model based on this approach is highly scalable as it scales linearly with the number of predictors and data points, which is an important property to support computations on IoT nodes.
  • the weighting of the model of the device is dynamically re-determined over time during operation of the system.
  • the data structure according to the invention is computer-implemented in a client of the client-server system.
  • conditional probabilities can be stored which characterize interactions of a client-server system.
  • Interactions can be recorded, for example, by data loggers.
  • the content of a data transmission can be recorded, but transmission properties can also be determined, such as latency, transmission error rate, transmission bandwidth, time stamp information of data packets, data loss rates, number of transmission repetitions, etc.
  • the interactions can take place both in the server and in a
  • Clients are recorded and evaluated, as previously explained, for example, using a data logger or fe Simple statistical evaluations of data transmissions carried out between one or more clients and the server.
  • the client has the opportunity to derive measures for the client himself from the recorded and evaluated interactions, for example to take measures that directly improve the parameters and thus be able to offer "better" interactions to the server.
  • this trust factor can be transmitted to the relevant client so that the client is informed about the status of his trust factor and can take appropriate measures to change it.
  • the trust factor can be transmitted to a client periodically or, for example, be initiated by a change above a predefined threshold value.
  • the reliability factor is based on the availability of the technical device when the system is in operation.
  • reaction time factor is based on the time difference between requesting information and receiving an answer to the request for the device while the system is operating.
  • the information quality factor is based at least on the accuracy, completeness, consistency, topicality, validity or uniqueness of the information for the technical device in the operation of the system.
  • the object according to the invention is achieved by using the data structure for a computer-implemented method for operating a technical device by a client of a client-server system with a model based on federated learning.
  • the internal processes of the FL client-server architecture can be improved by the data structure, in that favorable system properties are increasingly used and unfavorable system properties are accordingly suppressed.
  • the object of the invention is also achieved by a computer-implemented method for operating a technical device, which is connected to a client of a client-server system, the client-server system comprising a server and connected clients and the clients interacting at least temporarily with the server, which is recorded as interactions, with a model based on federated learning, the following steps being carried out: System is based, and which is determined from the interactions recorded in step a), b) detecting a reaction time factor, which is based on the time difference between requesting information and receiving an answer to the request for the Device in the operation of the system is based, and which is determined from the interactions recorded in step a), c) recording an information quality factor, which is based at least on the accuracy, completeness, consistency, timeliness, validity or uniqueness of the information for the technical device in the operation of the system, and which is determined from the recorded interactions in step a), d) determining a respective trust factor, which is a model in the form of a Bayes is formed, for the client,
  • the respective trust factor during operation of the System is determined again and chronologically younger recorded data with regard to the reliability factor, the reaction time factor and the information quality factor are considered more weighted than chronologically older.
  • the object according to the invention is achieved by a system of the type mentioned at the beginning, comprising a server and connected clients, which are each connected to technical devices, and the system is set up to carry out the method according to the invention.
  • the object according to the invention is achieved by a computer program comprising instructions which, when executed by a computer, cause the computer to carry out the method according to the invention on a system according to the invention.
  • the object according to the invention is achieved by an electronically readable data carrier with readable control information stored thereon, which comprises at least the computer program according to the invention and is designed in such a way that when the data carrier is used in a computing device, they carry out the method according to the invention.
  • the object according to the invention is achieved by a data carrier signal which transmits the computer program according to the invention.
  • Fig. 1 a prior art FL loop
  • 2 shows an example of a trust factor data structure according to the invention
  • FIG. 6 shows an example of federated averaging in the form of a pseudo code.
  • Clients ED1-ED3, EDK with connected devices FE1-FE3, FEK (“front end”) have corresponding weights within respective local models MLM1-MLM3, MLMK, which are transmitted to a server S1.
  • the server S1 performs an aggregation of those models MLM1-MLM3, MLMK received from the clients ED1-ED3, EDK with a federated averaging algorithm and creates a global model MLMG with appropriate weights.
  • the server S1 distributes the resulting averaged weights back to the clients ED1-ED3, EDK.
  • the clients can now control or operate the connected technical devices ED1-ED3, EDK using the new ML model, for example to carry out predictive maintenance on the device.
  • This loop is repeated for N rounds of communication.
  • Contributions of individual clients i.e. weights of locally trained models, are not treated equally, but are weighted in an aggregation process.
  • This aspect ⁇ Ixt is shown in the figure, where n is the number of data samples and n k is the number of data samples of client k.
  • Fig. 2 graphically represents an example of a trust factor data structure according to the invention, which is applied in a FL model.
  • a trust factor T is determined by a reliability factor R, a response time factor RT and an information quality factor Qol.
  • Fig. 3 shows an example of a device according to the invention with a server S and clients C1-C3, which are set up to interact with the respective technical devices D1-D3.
  • Each client C1-C3 also referred to as an edge device, has a computer-implemented data structure in the form of a confidence factor T1-T3 according to the previous figure, and of course a respective local trained ML model for operating the respective connected device D1-D3.
  • the server S has an aggregated global ML model GM, which is provided to the clients C1-C3.
  • the trust factors T1-T3 are determined by the server from interactions, such as data transactions between the server S and clients C1-C3, and are stored in the server.
  • the trust factors T1-T3 can also be stored in the clients C1-C3, with the trust factors T1-T3 each being transmitted with the trained local models M1-M3 in order to then be aggregated in the server S to form the global model GM.
  • the trust factor TI and the local model M1 and the technical device D1 are therefore assigned to the client CI.
  • the trust factor T2 and the local model M2 and the technical device D2 are assigned to the client C2.
  • the trust factor T3 and the local model M3 and the technical device D3 are assigned to the client C3.
  • Fig. 4 shows an exemplary embodiment of the method according to the invention for the operation of a technical device D1-D3, which is connected to a client C1-C3 of a client-server system, the client-server system comprising a server S and connected clients C1-C3 and the clients C1-C3 interacting at least temporarily with the server S, which is recorded as interactions, with a model based on federated learning, in which the following steps are carried out : a) detection of a reliability factor R, which is based on the availability of the technical device D1-D3 in the operation of the system, and which is determined from the detected interactions, by the client C1-C3, b) detection of a reaction time factor RT, which is based on the time difference between requesting information and receiving an answer to the request for the device in the operation of the system, and which is determined from the detected interactions, by the client C1 -C3, c) detection of an information quality factor Qol, which is based at least on the accuracy, completeness, consistency, timeline
  • the information quality factor Qol can be determined using further metrics CRT (“conditional probability table”), which includes conditional probabilities in the form of a table, with each leaf node being linked via the metric elements in the form of a table.
  • CRT conditional probability table
  • steps a) to d) can also be carried out independently of steps e) and f) in terms of time, ie also in parallel, as shown.
  • the interaction of a client with the server is understood as communication or data transport, for example, to communicate data from a terminal connected to a client in the form of a sensor to the server.
  • a client can also be viewed as a root node.
  • Each trust factor T1-T3 can have two values as the root node, namely “1” for “satisfactory” and “0” for “unsatisfactory”.
  • a value P(T) represents the server's total trust in a client, i.e. an IoT node, in the ability to provide actionable knowledge in the form of trained weights.
  • the value is determined by the ratio of "satisfactory" interactions to the total number of interactions.
  • the node of the information quality factor Qol represents a number of different data quality matrices DQM (“Data Quality Metrics”).
  • the information quality factor Qol includes three metric values:
  • CPL completeness refers to the completeness of data with regard to all values as a part and as a whole. Accordingly, there should be no data gaps and none
  • Timeliness TLN Data should be up-to-date at the intended retrieval time and be available through the server, and corresponding access should also be possible.
  • Validity refers to how accurately a method measures what it is supposed to measure. This means that it produces results that correspond to real-world properties, properties and variations in the physical world.
  • the data quality matrices DQM are determined in the client from raw data from an IoT device connected to the client, transmitted to the server and can, for example, form the information quality factor Qol by summation, which is calculated in the server.
  • the information quality factor Qol thus itself comprises a Bayesian network through the data quality matrices DQM.
  • Table 1 shows examples of data quality matrices DQM.
  • 5 shows an example for calculating the confidence factor in the form of a pseudo code.
  • the result of this calculation provides a trust value for an IoT node between 0 and 1 .
  • Each node has a threshold value s_t for a "satisfactory" interaction.
  • Fig. 6 shows an example of federated averaging in the form of a pseudo-code "FederatedAveraging".
  • This exemplary embodiment shows an advantageous extension of the approach, with a possibility for "aging" of the trust factor being provided.
  • This property is particularly relevant and advantageous for a dynamic loT environment.
  • the sensor measuring device connected to an IoT node can be renewed and improved and thus provide more accurate estimates, which leads to a favorable influence on the information quality factor Qol.
  • the ability of individual IoT nodes to provide valuable information may well change, depending on environmental factors.
  • This aging can be applied to the metrics for the information quality factor Qol, the response time factor RT and the reliability factor R either individually or all together, for example by applying a higher weighting to more recent data and a lower weighting to older data.
  • the set of favorable interactions between the server S and a client C1-C3 in the same time window t is characterized by the ratio num_satisf ying/num_interactions.
  • An aging factor is between 0 and 1, with younger interactions or their degree of "satisfaction" being weighted higher than older interactions.
  • an adaptive weighting scheme AWS is used in the federated averaging algorithm “FederatedAveraging”.
  • the weight term weights w ⁇ +1 is marked.
  • the set of weights w ⁇ +1 of a model of a client k is multiplied by the trust weight w T , where the trust weight w T can be determined by the computeTrust ( ) function shown in the previous figure.
  • MLM1-MLM3 MLMK, M1-M3 ML model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)

Abstract

Computer-implementiertes Verfahren für den Betrieb eines technischen Geräts, welches mit einem Klienten eines Klienten-Server-Systems verbunden ist, wobei das Klienten-Server-System einen Server und verbundene Klienten umfasst und die Klienten zumindest vorübergehend mit dem Server interagieren, was als Interaktionen erfasst wird, mit einem Modell auf Basis föderierten Lernens, wobei folgende Schritte ausgeführt werden: a) Erfassen eines Zuverlässigkeits-Faktors (R), b) Erfassen eines Reaktionszeit-Faktors (RT), c) Erfassen eines Informations-Qualitäts-Faktors (QoI), d) Bestimmen eines jeweiligen Vertrauens-Faktors (T1-T3), welcher als bayessches Netz ausgebildet ist, für die Klienten, welcher aus dem Zuverlässigkeits-Faktor (R), dem Reaktionszeit-Faktor (RT) und dem Informations-Qualitäts-Faktor (QoI) mithilfe von Faktoren für jeweilige Wahrscheinlichkeiten gebildet wird, e) Trainieren lokaler Modelle (M1-M3) in den jeweiligen Klienten, f) Übermitteln der trainierten lokalen Modelle von den jeweiligen Klienten an den Server, g) Aggregieren der übermittelten lokalen Modelle (M1-M3) der jeweiligen Klienten zu einem globalen Modell (GM) unter Anwendung des jeweiligen Vertrauens-Faktors (T1-T3) auf das jeweilige lokale Modell, h) Übermitteln des globalen Modells vom Server an den Klienten und Ansteuern des technischen Geräts mithilfe des globalen Modells (GM).

Description

Computer- Implementierte Datenstruktur , Verfahren und System zum Betrieb eines technischen Geräts mit einem Modell auf Basis föderierten Lernens
Die Erfindung betri f ft eine computer-implementierte Datenstruktur und eine Verwendung der Datenstruktur einem Klienten an der Edge eines Klienten-Server-Systems zum Betrieb eines mit einem Klienten an der Edge verbundenen technischen Geräts mit einem Modell auf Basis föderierten Lernens .
Außerdem betri f ft die Erfindung ein computer-implementiertes Verfahren und ein System für den Betrieb eines technischen Geräts mit einem Modell auf Basis föderierten Lernens .
Ferner betri f ft die Erfindung ein Computerprogramm, einen elektronisch lesbaren Datenträger und ein Datenträgersignal .
„Federated Learning" ( FL ) ist eine maschinelle Lerntechnik, welche über mehrere dezentrale Edge-Geräte hinweg einen Algorithmus trainiert , welche lokale Datensamples enthalten, ohne diese Daten selbst aus zutauschen .
Dieser Ansatz steht im Gegensatz zu herkömmlichen zentralisierten maschinellen Lerntechniken, bei denen alle lokalen Datensätze auf einen Server hochgeladen werden .
Föderiertes Lernen ermöglicht es mehreren Akteuren, ein gemeinsames , robustes Modell für maschinelles Lernen auf zubauen, ohne Daten aus zutauschen, wodurch kritische Themen wie Datenschutz , Datensicherheit , Datenzugri f fsrechte und Zugri f f auf heterogene Daten angegangen werden können .
Im föderierten Lernen ist eine Viel zahl von Geräten erforderlich, um ihre erlernten Modellaktualisierungen häufig aus zutauschen, wodurch ein erheblicher Kommunikationsaufwand entsteht . Dies stellt eine große Heraus forderung in FL gegenüber realistischen Netzwerken dar, die hinsichtlich Rechen- und Kommunikationsressourcen begrenzt sind . Daher wird häufig eine Teilmenge von Klienten ausgewählt , um die an FL-Aufgaben teilnehmenden Geräte zu minimieren .
Frühere Arbeiten konzentrierten sich vor allem auf den Nicht- I ID-Fall ( engl . „Independent and Identically Distributed" ) , bei dem die Trainingsdaten eines bestimmten Klienten, wie beispielsweise ein Mobiltelef on, typischerweise auf der Nutzung des Mobilgeräts durch einen bestimmten Benutzer basieren, und daher ist das lokale Dataset eines Benutzers nicht repräsentativ für eine Bevölkerungsverteilung .
Mit anderen Worten werden Beiträge einzelner Klienten, also Gewichte lokal trainierter Modelle , nicht immer gleichbehandelt , sondern in einem Aggregationsprozess gewichtet .
Bestehende Systeme und frühere Arbeiten befassen sich nicht mit Datenqualitätsproblemen oder der Auswahl von Geräten basierend auf früheren Client-Server- Interaktionen oder Vertrauen .
Als Client-Server- Interaktionen, kurz Interaktionen, werden beispielsweise Daten-Kommunikationen zwischen einem Klienten und einem Server bezeichnet . Die Daten können Nutzer-Daten, wie Sensor-Daten, oder Steuer-Daten zur Steuerung eines Klienten oder eines mit einem Klienten verbundenen Geräts sein .
In der Veröf fentlichung AMIT PORTNOY ET AL : " Towards Federated Learning With Byzantine-Robust Client Weighting" , ARXIV . ORG, CORNELL UNIVERS ITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERS ITY ITHACA, NY 14853 , 18 . Mai 2021 ( 2021- 05- 18 ) , XP081949237 ist ein Klienten-Server-System zum Betrieb eines Geräts mit einem Modell auf Basis föderierten Lernens gezeigt , umfassend einen Vertrauens-Faktor für das Gerät , welcher einen Zuverlässigkeits-Faktor und einen Informations- Qualitäts-Faktor . Jedoch weist der Vertrauens-Faktor nur eine geringe Informationsdichte auf und wird zentral bestimmt und gespeichert . Daher führt die Lösung nur eine geringe Verbesserung ein .
In der Publikation THOMAS HIESSL ET AL : " Industrial Federated Learning - Requirements and System Design" , ARXIV . ORG, CORNELL UNIVERS ITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERS ITY ITHACA, NY 14853 , 14 . Mai 2020 ( 2020- 05- 14 ) , XP081673589 , betri f ft ein Verfahren für den Betrieb eines Geräts an einem Klienten eines Klienten-Server-Systems mit einem Modell auf Basis föderierten Lernens . Jedoch berücksichtigt das System keine dynamischen Änderungen in den Modellen im Rahmen des föderierten Lernens und ist daher unzureichend .
Es ist daher die Aufgabe der Erfindung, den Aggregationspro- zess für Daten bei föderiertem Lernen weiter zu verbessern und Betriebseigenschaften der Klienten zu berücksichtigen .
Die Betriebseigenschaften sollen nicht nur den initialen Betrieb, sondern auch einen aktuellen Betrieb berücksichtigen und sollen daher auch dynamische Anpassungen des Modells zum Betrieb des Geräts umfassen .
Die erfindungsgemäße Aufgabe wird durch eine Datenstruktur eingangs genannter Art gelöst , umfassend einen Vertrauens- Faktor für das Gerät , welcher einen Zuverlässigkeits-Faktor, einen Reaktions zeit-Faktor und einen Informations-Qualitäts- Faktor zur Berücksichtigung einer Daten-Qualität des Modells für die Daten des Modells aufweist , und der Vertrauens-Faktor ( T ) als Modell in Form eines Bayes ' sehen Netzes ausgebildet ist , wobei der Vertrauens-Faktor dazu vorgesehen ist , eine Gewichtung des Modells des technischen Geräts durch den Klienten im laufenden Betrieb des Systems anzuwenden .
Der Begri f f „Vertrauen" kann als der Glaube eines Agenten an Attribute wie Reaktions zeit , Zuverlässigkeit und Kompetenz im Sinne der Qualität von Informationen definiert werden, welche von einem vertrauenswürdigen Agenten bereitgestellt werden . Um Vertrauen in einem loT-Edge-basierten Netzwerken zu modellieren, ist ein naiver Bayes-Klassi fikator-Ansatz vorgesehen .
Ein Bayes-Netzwerk ist ein Beziehungsnetzwerk, das statistische Methoden verwendet , um Wahrscheinlichkeitsbeziehungen zwischen verschiedenen Elementen darzustellen, insbesondere bedingte Wahrscheinlichkeiten .
Ein bayessches Netz oder Bayes ' sches Netz ist ein gerichteter azyklischer Graph, in dem die Knoten Zufallsvariablen und die Kanten bedingte Abhängigkeiten zwischen den Variablen beschreiben . Jedem Knoten des Netzes ist eine bedingte Wahrscheinlichkeitsverteilung der durch ihn repräsentierten Zufallsvariable , gegeben die Zufallsvariablen an den Elternknoten, zugeordnet . Sie werden durch Wahrscheinlichkeitstabellen beschrieben . Diese Verteilung kann beliebig sein, j edoch wird häufig mit diskreten oder Normalverteilungen gearbeitet . Eltern eines Knotens v sind diej enigen Knoten, von denen eine Kante zu v führt .
Ein bayessches Netz dient dazu, die gemeinsame Wahrscheinlichkeitsverteilung aller beteiligten Variablen unter Ausnutzung bekannter bedingter Unabhängigkeiten möglichst kompakt zu repräsentieren . Dabei wird die bedingte (Un) abhängigkeit von Untermengen der Variablen mit dem A-priori-Wissen kombiniert .
Eine auf einem bayesschen Netz basierende Datenstruktur ist daher besonders günstig, um möglichst kompakt Wahrscheinlichkeiten zu speichern . Dies ist dann besonders günstig, wenn die Daten in einem Datennetz , wie zwischen Klienten und Server, übertragen oder gespeichert werden .
Ein naives Bayes-Netzwerk ist ein einfaches Bayes-Netzwerk, also ein gerichteter Graph, der bedingte Abhängigkeiten repräsentiert . Es besteht aus einem Wurzelknoten und mehreren Blattknoten .
Um das Vertrauen zwischen zwei Knoten, wie zwischen einem Server und einem Klienten günstig darzustellen, wird ein naives Bayes-Netzwerk verwendet .
Dabei werden drei Vertrauens-Aspekte in einem Vertrauens-Faktor ( engl . „trust in loT node" ) berücksichtigt , nämlich die Zuverlässigkeit ( engl . „reliability" ) , die Reaktionszeit ( engl . „response time" ) und Informations-Qualität ( engl . „quality of information" ) .
Es wird darauf hingewiesen, dass der Begri f f „Faktor" im vorliegenden Zusammenhang der Einfachheit halber verwendet wird, wenngleich der Vertrauens-Faktor ein Modell in Form eines bayesschen Netzes ist und somit im vorliegenden Zusammenhang kein Skalar ist . Alternativ kann für den Begri f f „Vertrauens- Faktor" auch der Begri f f „Vertrauens-Modell" äquivalent verwendet werden .
Der Vertrauens-Faktor beschreibt das Vertrauen eines Servers in einen Klienten und kann sich dynamisch während des Betriebs des Klienten-Server-Systems ändern .
Der Vertrauens-Faktor beschreibt das Vertrauen für das Gerät in Form eines numerischen, bewertenden Faktors .
Der Vertrauens-Faktor kann durch eine entsprechende Rechenvorrichtung in einem Klienten oder im Server berechnet werden, wobei eine Berechnung im Server vorteilhaft ist , da für mehrere Klienten dieselbe umfasste Rechen-Vorrichtung verwendet werden kann und das System daher insgesamt einfacher ist .
Der Vertrauens-Faktor eines Klienten kann sich über die Zeit ändern, beispielsweise wenn sich die Daten-Verbindung während des Betriebs des Systems verschlechtert und dadurch der Informations-Qualitäts-Faktor ungünstig beeinflusst wird .
Ein Klient kann auch aktiv Maßnahmen ergrei fen, beispielsweise um die Reaktions zeit zu verbessern, nachdem der Klienten selbst festgestellt hat , dass das Vertrauen eines
Servers zu gering ist , indem eine alternative Daten-Verbin- dung mit niedriger Reaktions zeit aufgebaut wird .
Die Zuverlässigkeit ist die Fähigkeit eines Systems oder einer Komponente , unter festgelegten Bedingungen für einen bestimmten Zeitraum zu funktionieren . Es ist für ein genaues ML-Modell wichtig, dass IoT-Knoten Dienste bereitstellen, die verfügbar sind und auf die man sich verlassen kann . Darunter wird beispielsweise die Verfügbarkeit eines Klienten verstanden, einer Föderation bei zutreten .
Der Zuverlässigkeits-Faktor beschreibt die Zuverlässigkeit eines Klienten gegenüber einem Server, basierend auf dem Netzwerk-Kommunikationsverhalten zwischen Client und Server .
Der Zuverlässigkeits-Faktor beschreibt die Zuverlässigkeit des Geräts in Form eines numerischen, bewertenden Faktors .
Die Berechnung des Zuverlässigkeits-Faktors erfolgt vorteilhaft im Server, da für mehrere Klienten dieselbe umfasste Rechen-Vorrichtung im Server verwendet werden kann und das System daher insgesamt einfacher ist .
Die Reaktions zeit ist die Zeitdi f ferenz zwischen dem Anfordern von Informationen und dem Erhalten einer Antwort auf die Anfrage . Es ist für ein genaues ML-Modell wichtig, dass loT- Knoten rechtzeitig auf Anfragen reagieren .
Der Reaktions zeit-Faktor beschreibt das zeitliche Verhalten eines Klienten gegenüber einem Server, basierend auf dem Netzwerk-Kommunikationsverhalten zwischen Client und Server .
Der Reaktions zeit-Faktor beschreibt das zeitliche Verhalten des Geräts in Form eines numerischen, bewertenden Faktors .
Die Berechnung des Reaktions zeit-Faktors erfolgt vorteilhaft im Server, da für mehrere Klienten dieselbe umfasste Rechen- Vorrichtung im Server verwendet werden kann und das System daher insgesamt einfacher ist .
Unter der Informations-Qualität wird beispielweise die Genauigkeit , Vollständigkeit , Konsistenz , Aktualität , Gültigkeit und Einzigartigkeit der Informationen verstanden . Es ist für ein genaues ML-Modell wichtig, dass die Modelle mithil fe qualitativ hochwertiger Daten trainiert werden .
Der Informations-Qualitäts-Faktor beschreibt die Informations-Qualität an einen Server gelieferten Daten eines Klienten .
Der Informations-Qualitäts-Faktor beschreibt die Informations-Qualität von Daten, welche vom Gerät geliefert werden in Form eines numerischen, bewertenden Faktors .
Die Berechnung des Informations-Qualitäts-Faktors erfolgt vorteilhaft im Server, wobei die dafür herangezogenen Metriken anhand von Rohdaten im Klienten bestimmt werden .
Diese Metriken können an den Server übermittelt werden, welcher dann den Informations-Qualitäts-Faktor durch eine umfasste Rechen-Vorrichtung berechnet .
Weitere relevante Aspekte können später im Bayes-Netzwerk hinzugefügt werden, um zukünftige Präferenzen zu berücksichtigen .
Ein auf diesem vorteilhaften Ansatz basierendes Modell in Form einer computer-implementierten Datenstruktur ist sehr einfach und leicht zu implementieren, sowie in der Aus führung schnell und besonders kompakt hinsichtlich geringen Speicherbedarfes und günstiger Zugri f fseigenschaften . Dadurch kann es insbesondere auf verschiedenen eingebetteten, ressourcenbeschränkten Geräten implementiert werden .
Ferner werden weniger Trainingsdaten benötigt . Im Stand der Technik werden bei anderen ML-Techniken wie SVM, RF, NN, DNN typischerweise große Datenmengen und Modelle benötigt und müssen daher meist in der Cloud trainiert werden, da nur dort entsprechende Ressourcen vorhanden sind . Durch den neuen Ansatz können die Modelle nun direkt auf dem Edge-Gerät trainiert und aktualisiert werden .
Außerdem ist ein auf diesem Ansatz basierendes Modell hoch skalierbar, das es linear mit der Anzahl der Prädiktoren und Datenpunkte skaliert , was eine wichtige Eigenschaft ist , um Berechnungen auf IoT-Knoten zu unterstützen .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die Gewichtung des Modells des Geräts im Betrieb des Systems zeitlich dynamisch erneut bestimmt wird .
Dadurch wird erreicht , dass stets ein aktuelles Modell im j eweiligen Klienten vorliegt , sowie Interaktionen stets neu bewertet werden können und damit ein globales Modell für föderiertes Lernen aktuell gehalten werden kann .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die erfindungsgemäße Datenstruktur in einem Klienten des Kli- enten-Server-Systems computer-implementiert ist .
Dadurch wird erreicht , dass sehr kompakt bedingte Wahrscheinlichkeiten gespeichert werden können, welche Interaktionen eines Klienten-Servers-Systems charakterisieren .
Interaktionen können beispielsweise durch Daten-Logger erfasst werden . Dabei kann der Inhalt einer Daten-Übertragung erfasst werden, aber auch Überragungseigenschaf ten festgestellt werden, wie Latenz , Übertragungs-Fehlerrate , Übertragungs-Bandbreite , Zeitstempel- Informationen von Datenpaketen, Daten-Verlustraten, Anzahl an Übertragungs-Wiederholungen etc .
Die Interaktionen können sowohl im Server als auch in einem
Klienten erfasst und ausgewertet werden, wie vorher ausgeführt beispielsweise mithil fe eines Daten-Loggers oder einfacher statistischer Auswertungen von durchgeführten Da- ten-Übertragungen zwischen einem oder mehreren Klienten und dem Server .
Wenn ein j eweiliger Vertrauens-Faktor in einem Klienten bestimmt wird, so hat der Klient die Möglichkeit aus den erfassten und ausgewerteten Interaktionen Maßnahmen für den Klienten selbst abzuleiten, um beispielsweise Maßnahmen zu setzen, welche dazu führen die Parameter direkt zu verbessern und somit „bessere" Interaktionen dem Server anbieten zu können .
Wird der Vertrauens-Faktor eines Klienten im Server bestimmt , so kann dieser Vertrauens-Faktor an den entsprechenden Klienten übermittelt werden, damit der Klient über den Status seines Vertrauens-Faktors informiert ist und dementsprechende Maßnahmen zur Änderung setzen kann .
Die Übermittlung des Vertrauens-Faktors an einen Klienten kann periodisch erfolgen, oder beispielsweise durch eine Änderung über einem vordefinierten Schwellwert initiiert werden .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass der Zuverlässigkeits-Faktor auf der Verfügbarkeit des technischen Geräts im Betrieb des Systems beruht .
Damit wird erreicht , dass nur verfügbare Klienten beziehungsweise deren verbundene Geräte das globale Modell beeinflussen können .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass der Reaktions zeit-Faktor auf der Zeitdi f ferenz zwischen dem Anfordern von Informationen und dem Erhalten einer Antwort auf die Anfrage für das Gerät im Betrieb des Systems beruht .
Damit kann erreicht werden, dass Klienten mit entsprechend niedriger Latenz das globale Modell in einem stärkeren Ausmaß beeinflussen können als langsame Klienten . In einer Weiterbildung der Erfindung ist es vorgesehen, dass der Informations-Qualitäts-Faktor zumindest auf der Genauigkeit , der Vollständigkeit , der Konsistenz , der Aktualität , der Gültigkeit oder der Einzigartigkeit der Informationen für das technischen Gerät im Betrieb des Systems beruht .
Damit kann erreicht werden, dass Klienten mit entsprechend hoher Daten-Qualität das globale Modell in einem stärkeren Ausmaß beeinflussen können als ungenauere Klienten .
Die erfindungsgemäße Aufgabe wird durch eine Verwendung der Datenstruktur für ein computer-implementiertes Verfahren zum Betrieb eines technischen Geräts durch einen Klienten eines Klienten-Server-Systems mit einem Modell auf Basis föderierten Lernens gelöst .
Durch die Datenstruktur können die internen Abläufe der FL- Klienten-Server-Architektur verbessert werden, indem günstige Systemeigenschaften verstärkt verwendet werden und ungünstige Systemeigenschaften dementsprechend unterdrückt werden .
Die erfindungsgemäße Aufgabe wird auch durch computer-implementiertes Verfahren für den Betrieb eines technischen Geräts gelöst , welches mit einem Klienten eines Klienten-Server-Systems verbunden ist , wobei das Klienten-Server-System einen Server und verbundene Klienten umfasst und die Klienten zumindest vorübergehend mit dem Server interagieren, was als Interaktionen erfasst wird, mit einem Modell auf Basis föderierten Lernens , wobei folgende Schritte ausgeführt werden : a) Erfassen eines Zuverlässigkeits-Faktors , welcher auf der Verfügbarkeit des technischen Geräts im Betrieb des Systems beruht , und welcher aus den erfassten Interaktionen im Schritt a ) ermittelt wird, b) Erfassen eines Reaktions zeit-Faktors , welcher auf der Zeitdi f ferenz zwischen dem Anfordern von Informationen und dem Erhalten einer Antwort auf die Anfrage für das Gerät im Betrieb des Systems beruht , und welcher aus den erfassten Interaktionen im Schritt a ) ermittelt wird, c) Erfassen eines Informations-Qualitäts-Faktors , welcher zumindest auf der Genauigkeit , der Vollständigkeit , der Konsistenz , der Aktualität , der Gültigkeit oder der Einzigartigkeit der Informationen für das technischen Gerät im Betrieb des Systems beruht , und welcher aus den erfassten Interaktionen im Schritt a ) ermittelt wird, d) Bestimmen eines j eweiligen Vertrauens-Faktors , welcher als Modell in Form eines bayesschen Netzes ausgebildet ist , für die Klienten, welcher aus dem Zuverlässigkeits- Faktor, dem Reaktions zeit-Faktor und dem Informations- Qualitäts-Faktor mithil fe von Faktoren für j eweilige Wahrscheinlichkeiten gebildet wird, durch den Klienten, e ) Trainieren lokaler Modelle in den j eweiligen Klienten, f ) Übermitteln der im vorhergehenden Schritt trainierten lokalen Modelle von den j eweiligen Klienten an den Server, g) Aggregieren der im vorhergehenden Schritt übermittelten lokalen Modelle der j eweiligen Klienten zu einem globalen Modell unter Anwendung des j eweiligen Vertrauens-Faktors auf das j eweilige lokale Modell durch den Server, h) Übermitteln des globalen Modells vom Server an den Klienten und Ansteuern des technischen Geräts mithil fe des globalen Modells .
Dadurch kann ein sehr ef fi zienter Betrieb des technischen Geräts erreicht werden, ohne dass umfangreiches lokales Training durchgeführt werden muss . Es kann ein genaues und vorteilhaftes globales Modell verwendet werden, auch wenn ein neuer Klient im System berücksichtigt wird .
Die Vorteile der erfindungsgemäßen Datenstruktur werden im erfindungsgemäßen Verfahren gleichermaßen erhalten .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass der j eweilige Vertrauens-Faktor im laufenden Betrieb des Systems erneut bestimmt wird und zeitlich j ünger erfasste Daten hinsichtlich des Zuverlässigkeits-Faktors , dem Reaktionszeit-Faktors und des Informations-Qualitäts-Faktors stärker gewichtet berücksichtigt werden als zeitlich ältere .
Dadurch können neue , aktuelle Daten entsprechend höheren Einfluss auf das globale Modell nehmen und ältere Daten werden wieder aus dem System entfernt . Dadurch reagiert das FL- System sehr dynamisch auf aktuelle Änderungen .
Die erfindungsgemäße Aufgabe wird durch ein System eingangs genannter Art gelöst , umfassend einen Server und verbundenen Klienten, welche j eweils mit technischen Geräten verbunden sind, und das System dazu eingerichtet ist , das erfindungsgemäße Verfahren aus zuführen .
Die erfindungsgemäße Aufgabe wird durch ein Computerprogramm gelöst , umfassend Befehle , welche bei deren Aus führung durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auf einem erfindungsgemäßen System aus zuführen .
Die erfindungsgemäße Aufgabe wird durch einen elektronisch lesbaren Datenträger mit darauf gespeicherten lesbaren Steuerinformationen gelöst , welche zumindest das erfindungsgemäße Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das erfindungsgemäße Verfahren durchführen .
Die erfindungsgemäße Aufgabe wird durch ein Datenträgersignal gelöst , welches das erfindungsgemäße Computerprogramm überträgt .
Die Erfindung wird nachfolgend anhand eines in den beigeschlossenen Zeichnungen dargestellten Aus führungsbeispiels näher erläutert . In den Zeichnungen zeigt :
Fig . 1 eine FL-Schlei fe nach dem Stand der Technik, Fig. 2 ein Beispiel für eine erfindungsgemäße Vertrau- ens-Faktor-Datenstruktur,
Fig. 3 ein Beispiel für eine erfindungsgemäße Vor-rich- tung,
Fig. 4 ein Ausführungsbeispiel für ein erfindungsgemäßes Verfahren,
Fig. 5 ein Beispiel zur Berechnung des Vertrauens-Faktors in Form eines Pseudo-Codes,
Fig. 6 ein Beispiel für ein föderiertes Mitteln in Form eines Pseudo-Codes.
Fig. 1 zeigt eine FL-Schleife nach dem Stand der Technik.
Dabei weisen Klienten ED1-ED3, EDK mit verbundenen Geräten FE1-FE3, FEK (engl. „front end") entsprechende Gewichte innerhalb jeweiliger lokaler Modelle MLM1-MLM3, MLMK auf, welche an einen Server S1 übertragen werden.
Der Server S1 führt eine Aggregation von jenen, von den Klienten ED1-ED3, EDK empfangenen, Modellen MLM1-MLM3, MLMK mit einem föderierten Mittelwert-Algorithmus durch und bildet ein globales Modell MLMG mit entsprechenden Gewichten durch.
Der Server S1 verteilt die resultierenden gemittelten Gewichte an der Klienten ED1-ED3, EDK zurück.
Die Klienten können nun die verbundenen technischen Geräte ED1-ED3, EDK mithilfe des neuen ML-Modells ansteuern beziehungsweise betreiben, beispielsweise um eine vorausschauende Wartung des Geräts durchzuführen.
Diese Schleife wird für N Kommunikationsrunden wiederholt.
Beiträge einzelner Klienten, also Gewichte lokal trainierter Modelle werden nicht gleichbehandelt, sondern in einem Aggre- gationsprozess gewichtet. Dieser Aspekt ^Ixt ist in der Figur dargestellt , wobei n die Anzahl der Datenbeispiele und nk die Anzahl der Daten-Bei- spiele des Klienten k ist .
Fig . 2 stellt ein Beispiel für eine erfindungsgemäße Vertrau- ens-Faktor-Datenstruktur graphisch dar, welches in einem FL- Modell angewandt wird .
Ein Vertrauens-Faktor T ( engl . „trust in loT node" ) ist durch einen Zuverlässigkeits-Faktor R ( engl . „reliability" ) , einen Reaktions zeit-Faktor RT ( engl . „response time" ) und einen Informations-Qualitäts-Faktor Qol ( engl . „quality of information" ) bestimmt .
Fig . 3 zeigt ein Beispiel für eine erfindungsgemäße Vorrichtung mit einem Server S und Klienten C1-C3 , welche dazu eingerichtet sind, mit j eweiligen technischen Geräten D1-D3 zu interagieren .
Jeder Klient C1-C3 , auch als Edge-Gerät bezeichnet , weist eine computerimplementierte Datenstruktur in Form eines Vertrauens-Faktors T1-T3 entsprechend der vorhergehenden Figur auf , und natürlich ein j eweiligen lokales trainiertes ML- Modell zum Betrieb des j eweils verbundenen Geräts D1-D3 .
Der Server S weist ein aggregiertes globales ML-Modell GM auf , welches den Klienten C1-C3 bereitgestellt wird .
Die Vertrauens-Faktoren T1-T3 werden vom Server aus Interaktionen, wie Daten-Transaktionen zwischen Server S und Klienten C1-C3 ermittelt und im Server gespeichert .
Alternativ kann j edoch auch eine Speicherung der Vertrauens- Faktoren T1-T3 in den Klienten C1-C3 erfolgen, wobei die Vertrauens-Faktoren T1-T3 j eweils mit den trainierten lokalen Modellen M1-M3 mit übertragen werden, um im Server S dann zum globalen Modell GM aggregiert zu werden . Es ist also der Vertrauens-Faktor TI sowie das lokale Modell Ml und das technische Gerät Dl dem Klienten CI zugeordnet .
Der Vertrauens-Faktor T2 sowie das lokale Modell M2 und das technische Gerät D2 ist dem Klienten C2 zugeordnet .
Der Vertrauens-Faktor T3 sowie das lokale Modell M3 und das technische Gerät D3 ist dem Klienten C3 zugeordnet .
Fig . 4 zeigt ein Aus führungsbeispiel für das erfindungsgemäßen Verfahren für den Betrieb eines technischen Geräts D1-D3 , welches mit einem Klienten C1-C3 eines Klienten-Server-Sys- tems verbunden ist , wobei das Klienten-Server-System einen Server S und verbundene Klienten C1-C3 umfasst und die Klienten C1-C3 zumindest vorübergehend mit dem Server S interagieren, was als Interaktionen erfasst wird, mit einem Modell auf Basis föderierten Lernens , bei welchem folgende Schritte ausgeführt werden : a) Erfassen eines Zuverlässigkeits-Faktors R, welcher auf der Verfügbarkeit des technischen Geräts D1-D3 im Betrieb des Systems beruht , und welcher aus den erfassten Interaktionen ermittelt wird, durch den Klienten C1-C3 , b) Erfassen eines Reaktions zeit-Faktors RT , welcher auf der Zeitdi f ferenz zwischen dem Anfordern von Informationen und dem Erhalten einer Antwort auf die Anfrage für das Gerät im Betrieb des Systems beruht , und welcher aus den erfassten Interaktionen ermittelt wird, durch den Klienten C1-C3 , c) Erfassen eines Informations-Qualitäts-Faktors Qol , welcher zumindest auf der Genauigkeit , der Vollständigkeit , der Konsistenz , der Aktualität , der Gültigkeit oder der Einzigartigkeit der Informationen für das technischen Gerät D1-D3 im Betrieb des Systems beruht , und welcher aus den erfassten Interaktionen ermittelt wird, durch den Klienten C1-C3 , d) Bestimmen eines j eweiligen Vertrauens-Faktors T1-T3 , welcher als Modell in Form eines bayesschen Netzes ausgebildet ist , für die Klienten C1-C3 , welcher aus dem Zuverlässigkeits-Faktor R, dem Reaktions zeit-Faktor RT und dem Informations-Qualitäts-Faktor Qol mithil fe von Faktoren für j eweilige Wahrscheinlichkeiten CRT gebildet wird, durch den Klienten C1-C3 , e ) Trainieren lokaler Modelle M1-M3 in den j eweiligen Klienten C1-C3 , f ) Übermitteln der im vorhergehenden Schritt trainierten lokalen Modelle von den j eweiligen Klienten C1-C3 an den Server S , g) Aggregieren der im vorhergehenden Schritt übermittelten lokalen Modelle M1-M3 der j eweiligen Klienten C1-C3 zu einem globalen Modell GM unter Anwendung des j eweiligen Vertrauens-Faktors T1-T3 auf das j eweilige lokale Modell durch den Server S , h) Übermitteln des globalen Modells vom Server S an den Klienten CI und Ansteuern des technischen Geräts Dl mithil fe des globalen Modells GM .
Im Schritt d) kann der Informations-Qualitäts-Faktor Qol mithil fe weiterer Metriken CRT ( engl . „conditional probability table" ) bestimmt werden, welcher bedingte Wahrscheinlichkeiten in Form einer Tabelle umfasst , wobei j eder Blatt-Knoten über die Metrik-Elemente in Form einer Tabelle verknüpft wird .
Aus der Figur ist erkennbar, dass die Schritte a ) bis d) auch zeitlich unabhängig von den Schritten e ) und f ) ausgeführt werden können, also auch parallel , wie dargestellt .
Unter dem Interagieren eines Klienten mit dem Server wird eine Kommunikation oder eine Datentransport verstanden, beispielsweise um Daten von einem mit einem Klienten verbundenen Endgerät in Form eines Sensors an den Server zu kommuni zieren . Ein Klient kann auch als Wurzel-Knoten angesehen werden .
Jeder Vertrauens-Faktor T1-T3 kann als Wurzel-Knoten zwei Werte aufweisen, nämlich „1" für „zufriedenstellend" beziehungsweise „0" für „nicht zufriedenstellend" .
Ein Wert P ( T ) repräsentiert das gesamte Vertrauen des Servers in einen Klienten, das heißt einen IoT-Knoten, in die Fähigkeit verwertbares Wissen in Form von trainierten Gewichten bereitzustellen .
Der Wert wird durch das Verhältnis von „zufriedenstellenden" Interaktionen zur gesamten Anzahl an Interaktionen bestimmt .
Ein Wert P ( T=1 ) bedeutet , dass „nur zufriedenstellende" Interaktionen ermittelt wurden .
Ein Wert P ( T=0 ) bedeutet , dass „keine zufriedenstellenden" Interaktionen ermittelt wurden .
Im Weiteren wird gezeigt , dass die Tabelle CPT des Informations-Qualitäts-Faktors Qol , die des Reaktions zeit-Faktors RT und des Zuverlässigkeits-Faktors R ähnlich definiert sind .
Der Knoten des Informations-Qualitäts-Faktors Qol stellt eine Menge verschiedener Daten-Quality-Matriken DQM ( engl . „Data Quality Metrics" ) dar .
In diesem Aus führungsbeispiel umfasst der Informations-Qualitäts-Faktors Qol drei Metrik-Werte :
• Vollständigkeit CPL ( engl . „completeness" ) : bezieht sich auf die Vollständigkeit von Daten hinsichtlich sämtlicher Werte als Teil sowie insgesamt . Es sollen dementsprechend keine Daten-Lücken vorhanden sein, sowie keine
Informationen fehlen . Mit anderen Worten sollen die Daten absolut alle vorgesehenen Informationen aufweisen . • Rechtzeitigkeit TLN (engl. „timeliness") : Daten sollen zum vorgesehenen Abruf Zeitpunkt aktuell sein und durch den Server verfügbar sein, sowie ein entsprechender Zugriff auch möglich sein.
• Gültigkeit VAL (engl. „validity") : Validität bezieht sich darauf, wie genau eine Methode das misst, was sie messen soll. Das bedeutet, dass es Ergebnisse liefert, die den realen Eigenschaften, Eigenschaften und Variationen in der physikalischen Welt entsprechen.
Die Daten-Quality-Matriken DQM werden im Klienten aus Rohdaten eines mit dem Klienten verbundenen loT-Geräts bestimmt, an den Server übertragen und können beispielsweise durch Summierung den Informations-Qualitäts-Faktor Qol bilden, welcher im Server berechnet wird.
Auch andere Daten-Aggregationen sind möglich, welche beispielsweise Gewichtungen einzelner Metriken berücksichtigen.
Der Informations-Qualitäts-Faktors Qol umfasst durch die Da- ten-Qualitäts-Matriken DQM somit selbst ein bayessches Netz.
Tabelle 1 zeigt Beispiele für Daten-Qualitäts-Matriken DQM.
Figure imgf000020_0001
Tabelle 1: Daten-Qualitäts-Matriken DQM
Fig. 5 zeigt ein Beispiel zur Berechnung des Vertrauens-Faktors in Form eines Pseudo-Codes.
Es werden Daten-Qualitäts-Matriken DQM durch den Zusammenhang
P (T=l |RT,R,QoI) =
= P(T=1) * P(RT|T=1) * P(RT|T=1) * P(QoI |T=l) berechnet .
Der Einfachheit halber wird über alle Metriken, wie CPL, TLN und VAL gemittelt .
Das Ergebnis dieser Berechnung liefert einen Vertrauens-Wert für einen IoT-Knoten zwischen 0 und 1 .
Es wird eine Funktion computeTrust ( ) definiert , welche einen Gesamten Grad an „Zufriedenstellung" s mit einer Interaktion zwischen dem Server S und einem Klienten C1-C3 liefert , und über den Zusammenhang s = wl * s (RT ) + w2 * s (R) + w3* s ( QoI ) bestimmt wird, wobei wl + w2 + w3 = 1 .
Jeder Knoten weist einen Schwellwert s_t für eine „zufriedenstellende" Interaktion auf .
Falls s < s_t ist die Interaktion „nicht zufriedenstellend" , anderenfalls ist die Interaktion „zufriedenstellend" .
Fig . 6 zeigt ein Beispiel für eine föderierte Mittelwertbildung in Form eines Pseudo-Codes „FederatedAveraging" .
Dieses Aus führungsbeispiel zeigt eine vorteilhafte Erweiterung des Ansatzes , wobei eine Möglichkeit zur „Alterung" des Vertrauens-Faktors vorgesehen wird .
Analog zum menschlichen Gedächtnis können gewisse Kenntnisse „vergessen" werden, beispielsweise über die Zeit . Mit anderen Worten kann Wissen bezüglich des Vertrauens also altern .
Diese Eigenschaft ist insbesondere für eine dynamische loT- Umgebung relevant und vorteilhaft .
Beispielsweise kann die mit einem IoT-Knoten verbundene Sensor-Messvorrichtung erneuert und verbessert werden und somit genauere Schätzwerte liefern, was zu einem günstigen Einfluss auf den Informations-Qualitäts-Faktor Qol führt . Daher kann sich die Fähigkeit , einzelner IoT-Knoten wertvolle Informationen zu liefern, abhängig von Umgebungs faktoren, durchaus ändern .
Durch die Änderungen in der Umgebung kann es vorteilhaft sein das genannte „Alterungs-" Konzept anzuwenden und historisch ältere Werte zu vergessen, also aus eines Berechnungsmenge oder einem Datensatz wieder zu entfernen .
Diese Alterung kann auf die Metriken für den Informations- Qualitäts-Faktor Qol , den Reaktions zeit-Faktor RT und den Zuverlässigkeits-Faktor R entweder einzeln oder auf alle gemeinsam angewandt werden, beispielsweise durch Anwendung einer höheren Gewichtung zeitlich neuerer Daten und einer niedrigeren Gewichtung zeitlich älterer Daten .
Die Berechnung für P ( T=1 ) kann durch folgenden Zusammenhang erfolgen :
P ( T=1 ) = (num_satis f ying/num_interactions ) t +
+ ( 1-a) * (num_satis f ying/num_interactions ) t-i +
+ ( 1-a) 2* (num_satis f ying/ num_interactions ) t-2
Die Menge an günstigen Interaktionen zwischen dem Server S und einem Klienten C1-C3 zum selben Zeitfenster t ist durch das Verhältnis von num_satis f ying/num_interactions gekennzeichnet .
Der Wert „num_satis f ying" bezeichnet die Anzahl der „zufriedenstellenden" Interaktionen und der Wert „num_interactions" die Anzahl der Interaktionen selbst .
Ein Alterungs faktor liegt zwischen 0 und 1 , wobei j üngere Interaktionen beziehungsweise deren Grad an „Zufriedenstellung" wird dabei höher gewichtet als ältere Interaktionen .
Daher wird ein adaptives Gewichtungs-Schema AWS ( engl . „adaptive weighting schema" ) im föderieren Mittelungs-Algorithmus „FederatedAveraging" angewandt . In der Figur ist der Gewichts-Term Gewichten w^+1 markiert .
Die Menge an Gewichten w^+1 eines Modells eines Klienten k wird mit dem Vertrauens-Gewicht wT multipli ziert , wobei das Vertrauens-Gewicht wT durch die in der vorhergehenden Figur dargestellten Funktion computeTrust ( ) bestimmt werden kann .
Bezugszeichenliste :
AWS adaptives Gewichtungs-Schema (engl.
„adaptive weighting schema")
C1-C3, ED1-ED3, EDK Klient, Edge-Gerät
D1-D3, FE1-FE3 technisches Gerät, Frontend
MLMG, GM globales ML-Modell
MLM1-MLM3, MLMK, M1-M3 ML-Modell
Qol Qualität der Information (engl. „quality of information")
R Zuverlässigkeit (engl. „reliability")
RT Reaktionszeit (engl. „response time")
S, S1 Server
Vertrauens-Faktor (engl. „trust in loT node")

Claims

Patentansprüche
1. Computer-implementierte Datenstruktur für einem Klienten an der Edge eines Klienten-Server-Systems zum Betrieb eines mit einem Klienten an der Edge verbundenen technischen Geräts (D1-D3) mit einem Modell auf Basis föderierten Lernens, umfassend einen Vertrauens-Faktor (T) für das Gerät, welcher einen Zuverlässigkeits-Faktor (R) , einen Reaktionszeit-Faktor (RT) und einen Informations-Qualitäts-Faktor (Qol) zur Berücksichtigung einer Daten-Qualität des Modells für die Daten des Modells aufweist, und der Vertrauens-Faktor (T) als Modell in Form eines bayesschen Netzes ausgebildet ist, wobei der Vertrauens-Faktor (T) dazu vorgesehen ist, eine Gewichtung des Modells des technischen Geräts (D1-D3) durch den Klienten (C1-C3) im laufenden Betrieb des Systems anzuwenden.
2. Computer-implementierte Datenstruktur nach dem vorhergehenden Anspruch, wobei die Gewichtung des Modells des Geräts im Betrieb des Systems zeitlich dynamisch erneut bestimmt wird .
3. Computer-implementierte Datenstruktur nach einem der vorhergehenden Ansprüche, wobei die Datenstruktur in einem Klienten des Klienten-Server-Systems computer-implementiert ist .
4. Computer-implementierte Datenstruktur nach einem der vorhergehenden Ansprüche, wobei der Zuverlässigkeits-Faktor (R) auf der Verfügbarkeit des technischen Geräts (D1-D3) im Betrieb des Systems beruht.
5. Computer-implementierte Datenstruktur nach einem der vorhergehenden Ansprüche, wobei der Reaktionszeit-Faktor (RT) auf der Zeitdifferenz zwischen dem Anfordern von Informationen und dem Erhalten einer Antwort auf die Anfrage für das Gerät im Betrieb des Systems beruht.
6. Computer-implementierte Datenstruktur nach einem der vorhergehenden Ansprüche, wobei der Informations-Qualitäts- Faktor (Qol) zumindest auf der Genauigkeit, der Vollständigkeit, der Konsistenz, der Aktualität, der Gültigkeit oder der Einzigartigkeit der Informationen für das technischen Gerät (D1-D3) im Betrieb des Systems beruht.
7. Verwendung der Datenstruktur nach einer der vorhergehenden Ansprüche für ein computer-implementiertes Verfahren zum Betrieb eines technischen Geräts (D1-D3) durch einen Klienten eines Klienten-Server-Systems mit einem Modell auf Basis föderierten Lernens.
8. Computer-implementiertes Verfahren für den Betrieb eines technischen Geräts (D1-D3) , welches mit einem Klienten (GIGS) eines Klienten-Server-Systems verbunden ist, wobei das Klienten-Server-System einen Server (S) und verbundene Klienten (C1-C3) umfasst und die Klienten (C1-C3) zumindest vorübergehend mit dem Server (S) interagieren, was als Interaktionen erfasst wird, mit einem Modell auf Basis föderierten Lernens, wobei folgende Schritte ausgeführt werden: a) Erfassen eines Zuverlässigkeits-Faktors (R) , welcher auf der Verfügbarkeit des technischen Geräts (D1-D3) im Betrieb des Systems beruht, und welcher aus den erfassten Interaktionen ermittelt wird, durch den Klienten (C1-C3) , b) Erfassen eines Reaktionszeit-Faktors (RT) , welcher auf der Zeitdifferenz zwischen dem Anfordern von Informationen und dem Erhalten einer Antwort auf die Anfrage für das Gerät im Betrieb des Systems beruht, und welcher aus den erfassten Interaktionen ermittelt wird, durch den Klienten (C1-C3) , c) Erfassen eines Informations-Qualitäts-Faktors (Qol) , welcher zumindest auf der Genauigkeit, der Vollständigkeit, der Konsistenz, der Aktualität, der Gültigkeit oder der Einzigartigkeit der Informationen für das technischen Gerät (D1-D3) im Betrieb des Systems beruht, und welcher aus den erfassten Interaktionen ermittelt wird, durch den Klienten (C1-C3) , d) Bestimmen eines jeweiligen Vertrauens-Faktors (T1-T3) , welcher als Modell in Form eines bayesschen Netzes ausgebildet ist, für die Klienten (C1-C3) , welcher aus dem Zuverlässigkeits-Faktor (R) , dem Reaktionszeit-Faktor (RT) und dem Informations-Qualitäts-Faktor (Qol) mithilfe von Faktoren für jeweilige Wahrscheinlichkeiten (CRT) gebildet wird, durch den Klienten (C1-C3) , e) Trainieren lokaler Modelle (M1-M3) in den jeweiligen Klienten (C1-C3) , f) Übermitteln der im vorhergehenden Schritt trainierten lokalen Modelle von den jeweiligen Klienten (C1-C3) an den Server ( S ) , g) Aggregieren der im vorhergehenden Schritt übermittelten lokalen Modelle (M1-M3) der jeweiligen Klienten (C1-C3) zu einem globalen Modell (GM) unter Anwendung des jeweiligen Vertrauens-Faktors (T1-T3) auf das jeweilige lokale Modell durch den Server (S) , h) Übermitteln des globalen Modells vom Server (S) an den Klienten (Gl) und Ansteuern des technischen Geräts (Dl) mithilfe des globalen Modells (GM) .
9. Verfahren nach dem vorhergehenden Anspruch, wobei der Vertrauens-Faktor (T1-T3) im laufenden Betrieb des Systems erneut bestimmt wird und zeitlich jünger erfasste Daten hinsichtlich des Zuverlässigkeits-Faktors (R) , dem Reaktionszeit-Faktors (RT) und des Informations-Qualitäts-Faktors (Qol) stärker gewichtet berücksichtigt werden als zeitlich ältere.
10. System für den Betrieb eines technischen Geräts (Dl) mit einem Modell auf Basis föderierten Lernens, umfassend einen Server (S) und verbundenen Klienten (C1-C3) , welche jeweils mit technischen Geräten (D1-D3) verbunden sind, und das System dazu eingerichtet ist, das Verfahren nach Anspruch 8 oder 9 auszuführen.
11. Computerprogramm, umfassend Befehle, welche bei deren
Ausführung durch einen Computer diesen veranlassen, das Verfahren nach Anspruch 8 oder 9 auf einem System nach dem vorhergehenden Anspruch auszuführen.
12. Elektronisch lesbarer Datenträger mit darauf gespeicher- ten lesbaren Steuerinformationen, welche zumindest das Computerprogramm nach dem vorhergehenden Anspruch umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das Verfahren nach Anspruch 8 oder 9 durchführen.
13. Datenträgersignal, welches das Computerprogramm nach Anspruch 11 überträgt.
PCT/EP2023/051145 2022-01-18 2023-01-18 Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens WO2023139130A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380017781.2A CN118575182A (zh) 2022-01-18 2023-01-18 用于利用基于联邦学习的模型来运行技术设备的计算机实现的数据结构、方法和系统
US18/729,354 US20250094843A1 (en) 2022-01-18 2023-01-18 Computer-Implemented Data Structure, Method and System for Operating a Technical Device with a Model Based on Federated Learning
EP23703702.3A EP4430537A1 (de) 2022-01-18 2023-01-18 Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EPPCT/EP2022/051043 2022-01-18
PCT/EP2022/051043 WO2023138756A1 (de) 2022-01-18 2022-01-18 Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens

Publications (1)

Publication Number Publication Date
WO2023139130A1 true WO2023139130A1 (de) 2023-07-27

Family

ID=80682710

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/EP2022/051043 WO2023138756A1 (de) 2022-01-18 2022-01-18 Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens
PCT/EP2023/051145 WO2023139130A1 (de) 2022-01-18 2023-01-18 Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/051043 WO2023138756A1 (de) 2022-01-18 2022-01-18 Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens

Country Status (4)

Country Link
US (1) US20250094843A1 (de)
EP (1) EP4430537A1 (de)
CN (1) CN118575182A (de)
WO (2) WO2023138756A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021118452A1 (en) * 2019-12-10 2021-06-17 Agency For Science, Technology And Research Method and server for federated machine learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021118452A1 (en) * 2019-12-10 2021-06-17 Agency For Science, Technology And Research Method and server for federated machine learning

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AMIT PORTNOY ET AL: "Towards Federated Learning With Byzantine-Robust Client Weighting", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 18 May 2021 (2021-05-18), XP081949237 *
KANG JIAWEN ET AL: "Reliable Federated Learning for Mobile Networks", IEEE WIRELESS COMMUNICATIONS, 14 October 2019 (2019-10-14), US, pages 1 - 8, XP055835834, ISSN: 1536-1284, DOI: 10.1109/MWC.001.1900119 *
SHENGHUI LI ET AL: "Auto-weighted Robust Federated Learning with Corrupted Data Sources", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 31 March 2021 (2021-03-31), XP081901753 *
THOMAS HIESSL ET AL.: "Industrial Federated Learning - Requirements and System Design", 14 May 2020, CORNELL UNIVERSITY LIBRARY
THOMAS HIESSL ET AL: "Industrial Federated Learning -- Requirements and System Design", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 14 May 2020 (2020-05-14), XP081673589 *

Also Published As

Publication number Publication date
EP4430537A1 (de) 2024-09-18
CN118575182A (zh) 2024-08-30
WO2023138756A1 (de) 2023-07-27
US20250094843A1 (en) 2025-03-20

Similar Documents

Publication Publication Date Title
DE202017007517U1 (de) Aggregatmerkmale für maschinelles Lernen
DE69324052T2 (de) Neuronalnetzwerk-Lernsystem
DE112021004908T5 (de) Computerbasierte systeme, rechenkomponenten und rechenobjekte, die eingerichtet sind, dynamische ausreisser-verzerrungs-verringerung bei maschinenlernmodellen zu implementieren
DE102021004591A1 (de) Für Graphen vorgesehene neuronale Netzwerke für Datensätze mit Heterophilie
DE102017125256A1 (de) Suche nach einer neuronalen Architektur
DE112021003908T5 (de) Föderales maschinenlernen durch verwenden von ortsabhängigem hashing
DE112019006156T5 (de) Erkennung und behandlung von unsachgemässen eingaben durch neuronale netzwerke
DE112021004174T5 (de) Föderiertes lernen zur anomalieerkennung
DE102019007340A1 (de) Technik zum Einrichten und Betreiben eines neuronalen Netzwerks
EP3901713B1 (de) Verfahren und system zum betrieb einer technischen anlage mit einem optimalen modell
DE102022132540A1 (de) Adaptive modellbereinigung zum verbessern der leistung von föderalem lernen
DE112016007411T5 (de) Fuzzy-eingabe für autoencoder
DE112015005501T5 (de) Alterungsprofilbildungsmaschine für physikalische Systeme
DE102021000450A1 (de) Empfehlungssystem auf Grundlage einer Trendsetter-Inferenz
WO2020126168A1 (de) Verfahren zur zusammenarbeit von mehreren geräten eines lokalen netzwerks
EP4430537A1 (de) Computer-implementierte datenstruktur, verfahren und system zum betrieb eines technischen geräts mit einem modell auf basis föderierten lernens
DE112021000619T5 (de) Adaptive zustandsverwaltung für statusunabhängige services
DE10252445A1 (de) Verfahren und Computer-Anordnung zum Bereitstellen von Datenbankinformation einer ersten Datenbank und Verfahren zum rechnergestützten Bilden eines statistischen Abbildes einer Datenbank
WO2001065421A1 (de) Verfahren und anordnung zur modellierung eines systems
DE102022131760A1 (de) Modellgenerierungsverfahren, modellgenerierungsprogramm, modellgenerierungsvorrichtung und datenverarbeitungsvorrichtung
EP4399646A1 (de) Computer-implementiertes verfahren und system zur anomalie-erkennung in sensordaten
EP4405869A1 (de) Computer-implementiertes verfahren zum betrieb eines technischen geräts mit einem modell
DE102024212013A1 (de) Verfahren und vorrichtung zur modellaggregation im föderierten lernen
EP4513391A1 (de) Computer-implementiertes verfahren und system zum betrieb eines technischen geräts
EP3507943A1 (de) Verfahren zur kommunikation in einem kommunikationsnetzwerk

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23703702

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023703702

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023703702

Country of ref document: EP

Effective date: 20240611

WWE Wipo information: entry into national phase

Ref document number: 18729354

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380017781.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: 2023703702

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 18729354

Country of ref document: US