LU601246B1 - Methods and systems for interpreting artificial intelligence model algorithms - Google Patents

Methods and systems for interpreting artificial intelligence model algorithms

Info

Publication number
LU601246B1
LU601246B1 LU601246A LU601246A LU601246B1 LU 601246 B1 LU601246 B1 LU 601246B1 LU 601246 A LU601246 A LU 601246A LU 601246 A LU601246 A LU 601246A LU 601246 B1 LU601246 B1 LU 601246B1
Authority
LU
Luxembourg
Prior art keywords
causal
features
interpretation
subset
multimodal
Prior art date
Application number
LU601246A
Other languages
German (de)
Inventor
Hui Li
Qiang Suo
Yan Pan
Qiwen Cao
Luyao Liu
Yongfeng Ni
Roujia TAO
Zhipeng Wang
Tianyu Yu
Zhou Ren
Original Assignee
Shanghai Prothentic Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Prothentic Tech Co Ltd filed Critical Shanghai Prothentic Tech Co Ltd
Priority to LU601246A priority Critical patent/LU601246B1/en
Application granted granted Critical
Publication of LU601246B1 publication Critical patent/LU601246B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/045Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die vorliegende Erfindung stellt ein Verfahren und System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz zur Verfügung und bezieht sich auf das Gebiet der interpretierbaren Technologie der künstlichen Intelligenz. Das Verfahren und System zur Interpretation des Modellalgorithmus der künstlichen Intelligenz umfasst S1: Modellierung intermodaler Merkmalsassoziationen auf den Eingabedaten auf der Grundlage multimodaler Eingabedaten unter Verwendung eines Algorithmus zum Abgleich der crossmodalen Aufmerksamkeit, Quantifizierung des Beitrags jedes modalen Merkmals zur Ausgabe des Modells mittels einer Gradientenklassen-Aktivierungskarte mit einer lokal interpretierbaren modellunabhängigen Interpretation und Erzeugung von Ergebnissen der Analyse der Bedeutung der multimodalen Merkmale. Durch die Konstruktion der Korrelationsmatrix zwischen lokalen Bildregionen und Texteinbettungen, die Kombination von gradientenähnlichen Aktivierungskarten mit der Berechnung des Beitrags von Textmerkmalen, die Quantifizierung der crossmodalen Interaktionsgewichte, um eine genaue Positionierung der multimodalen Merkmalsbedeutungsanalyse zu erreichen, das Screening der Teilmenge von Merkmalen, die kausal mit dem Modelloutput verbunden sind, basierend auf dem Kausalentdeckungsalgorithmus, und die Verwendung eines kontrafaktischen Stichprobengenerators, um die nicht-kausalen Merkmale zu stören, um die Robustheit der Merkmale zu validieren und Pseudokorrelationsstörungen auszuschließen.The present invention provides a method and system for interpreting artificial intelligence model algorithms and relates to the field of interpretable artificial intelligence technology. The method and system for interpreting the artificial intelligence model algorithm comprises: S1: modeling intermodal feature associations on the input data based on multimodal input data using an algorithm for matching crossmodal attention; quantifying the contribution of each modal feature to the model output by means of a gradient class activation map with a locally interpretable, model-independent interpretation; and generating results of the analysis of the meaning of the multimodal features. By constructing the correlation matrix between local image regions and text embeddings, combining gradient-like activation maps with the calculation of the contribution of text features, quantifying the crossmodal interaction weights to achieve accurate positioning of the multimodal feature meaning analysis, screening the subset of features causally related to the model output based on the causal detection algorithm, and using a counterfactual sample generator to perturb the non-causal features in order to validate the robustness of the features and exclude pseudocorrelation perturbations.

Description

Verfahren und System zur Interpretation von Modellalgorithmen der künstlichen LU601246Method and system for interpreting model algorithms of artificial intelligence LU601246

Intelligenzintelligence

Technischer BereichTechnical area

Die vorliegende Erfindung bezieht sich auf das technische Gebiet der interpretierbaren künstlichen Intelligenz, insbesondere auf das Verfahren und System zur Interpretation vonThe present invention relates to the technical field of interpretable artificial intelligence, in particular to the method and system for interpreting

Modellalgorithmen der künstlichen Intelligenz.Artificial intelligence model algorithms.

Technologie im HintergrundTechnology in the background

Interpretierbare KI ist ein wichtiger Zweig der KI, dessen Hauptziel darin besteht, dieInterpretive AI is an important branch of AI whose main goal is to...

Entscheidungslogik komplexer Modelle für den Menschen transparent und verständlich zu machen. In diesem Bereich werden die internen Arbeitsmechanismen von Modellen durchTo make the decision logic of complex models transparent and understandable for humans. In this area, the internal working mechanisms of models are explored through

Algorithmenentwurf, Visualisierungstools und interaktive Interpretationssysteme offengelegt und die Glaubwürdigkeits- und Compliance-Probleme von Black-Box-Modellen in Szenarien mit hohem Zuverlässigkeitsbedarf gelöst, z. B. bei der medizinischen Diagnose, der Kontrolle von Finanzrisiken und dem automatischen Fahren. Die Interpretationsmethode und das System für KI-Modellalgorithmen bezieht sich auf die Lösung, die die Entscheidungslogik des Modells dynamisch offenlegt und seine Konsistenz durch die Techniken der multimodalenAlgorithm design, visualization tools, and interactive interpretation systems were disclosed, and the credibility and compliance problems of black-box models in scenarios with high reliability requirements, such as medical diagnosis, financial risk management, and autonomous driving, were solved. The interpretation method and system for AI model algorithms refers to the solution that dynamically reveals the model's decision logic and ensures its consistency through multimodal techniques.

Merkmalskorrelationsanalyse, der kausalen Modifikation, der semantisiertenFeature correlation analysis, causal modification, semanticized

Inferenzkettenextraktion und der hierarchischen Interpretationserzeugung überwacht. Ziel ist es, eine transparente Entscheidungshilfe für die medizinische Bildanalyse, die Bewertung finanzieller Risiken und andere Szenarien zu bieten, den MNutzern zu helfen, dieInference chain extraction and hierarchical interpretation generation are monitored. The goal is to provide transparent decision support for medical image analysis, financial risk assessment, and other scenarios, helping users to...

Schlüsselmerkmale und Argumentationspfade zu verstehen, auf die sich die Modelle stützen, die Fairness und Robustheit der Algorithmen zu überprüfen und die langfristige Zuverlässigkeit der Interpretationsergebnisse während des Modell-Iterationsprozesses sicherzustellen.to understand key features and lines of reasoning on which the models are based, to verify the fairness and robustness of the algorithms, and to ensure the long-term reliability of the interpretation results during the model iteration process.

Bestehende Verfahren konzentrieren sich auf die Berechnung des Beitrags von unimodalenExisting methods focus on calculating the contribution of unimodal

Merkmalen bei der multimodalen Merkmalsanalyse, und es fehlt eine quantitative Modellierung der Gewichte der intermodalen Interaktion, was zu einer unzureichenden Genauigkeit bei derFeatures in multimodal feature analysis, and a quantitative modeling of the weights of intermodal interaction is lacking, leading to insufficient accuracy in the

Identifizierung der Relevanz von Schlüsselmerkmalen in Szenarien mit Datenfusion aus mehreren Quellen führt. Bei der Merkmalsauswahl wird nicht streng zwischen statistischerIdentifying the relevance of key features in scenarios involving data fusion from multiple sources. Feature selection does not strictly distinguish between statistical and statistical criteria.

Korrelation und Kausalität unterschieden, wodurch pseudokorrelierte Merkmale erhalten bleiben und die Glaubwürdigkeit der Entscheidungslogik beeinträchtigt wird. Die Generierung der Interpretation beruht auf der direkten Abbildung der versteckten Schicht des Modells und wird nicht mit der Abbildung des Domänenwissens kombiniert, was zu einem geringen Grad anCorrelation and causality are distinguished, thereby preserving pseudo-correlated features and impairing the credibility of the decision logic. The generation of the interpretation relies on the direct mapping of the hidden layer of the model and is not combined with the mapping of domain knowledge, resulting in a low degree of

Semantisierung der Interpretationsergebnisse führt, was es schwierig macht, die Anforderungen an die Argumentation und Validierung in professionellen Szenarien zu erfüllen. Die einheitlicheSemanticization of the interpretive results leads to difficulties in meeting the requirements for argumentation and validation in professional scenarios. The uniformity

Ausgabegranularitit der Erklärungsinhalte kann sich nicht an die kognitiven Unterschiede vonThe output granularity of the explanatory content cannot be adapted to the cognitive differences of

Nutzern mit unterschiedlichem Fachwissen anpassen, was den praktischen Anwendungswert der Erklärungsinformationen verringert.adapting to users with different levels of expertise reduces the practical application value of the explanatory information.

Inhalt der ErfindungContent of the invention

Mit Blick auf die Unzulänglichkeiten des Standes der Technik stellt die vorliegendeIn view of the shortcomings of the state of the art, the present

Erfindung ein Verfahren und ein System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz bereit, das das Problem löst, dass der Stand der Technik sich auf dieThe invention provides a method and a system for interpreting model algorithms of artificial intelligence, which solves the problem that the prior art is limited to the

Berechnung des unimodalen Merkmalsbeitrags in der multimodalen Merkmalsanalyse konzentriert und die quantitative Modellierung der crossmodalen Interaktionsgewichte vermissen lässt, was zu einer unzureichenden Genauigkeit bei der Identifizierung der Relevanz von Schlüsselmerkmalen im Szenario der Datenfusion aus mehreren Quellen führt.The calculation of the unimodal feature contribution in the multimodal feature analysis is concentrated, and the quantitative modeling of the crossmodal interaction weights is lacking, leading to insufficient accuracy in identifying the relevance of key features in the scenario of data fusion from multiple sources.

Um den oben genannten Zweck zu erreichen, wird die vorliegende Erfindung durch di&-U601246 folgende technische Losung erreicht: ein Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz, das die folgenden Schritte umfasst:To achieve the above-mentioned purpose, the present invention is achieved by the following technical solution: a method for interpreting artificial intelligence model algorithms, comprising the following steps:

S1: Auf der Grundlage der multimodalen Eingabedaten wird die Korrelationsmatrix zwischen den lokalen Regionen des Bildes und der Textworteinbettung konstruiert, dieS1: Based on the multimodal input data, the correlation matrix between the local regions of the image and the text word embedding is constructed, which

Schlüsselregionen des Bildes werden lokalisiert, der Beitrag der Textmerkmale wird berechnet, die multimodale Merkmalswichtigkeit wird gewichtet und die Ergebnisse der multimodalenKey regions of the image are located, the contribution of the text features is calculated, the multimodal feature importance is weighted, and the results of the multimodal analysis are presented.

Merkmalswichtigkeitsanalyse werden erstellt;Feature importance analyses are created;

S2: Auf der Grundlage der Ergebnisse der multimodalen Merkmalsgewichtsanalyse wird die Teilmenge der Merkmale herausgefiltert, die eine kausale Beziehung zur Modellausgabe haben, die nicht-kausalen Merkmale werden gestort, um Vergleichsproben zu erzeugen, dieS2: Based on the results of the multimodal feature weight analysis, the subset of features that have a causal relationship to the model output is filtered out; the non-causal features are skewed to generate comparison samples.

Robustheit der Merkmale wird überprüft, die pseudo-relevanten Stôrelemente werden herausgefiltert, und die Teilmenge der kausalen Korrekturmerkmale wird erzeugt;The robustness of the features is checked, the pseudo-relevant disturbance elements are filtered out, and the subset of causal correction features is generated;

S3: Auf der Grundlage der Teilmenge der Kausalkorrekturmerkmale wird die Darstellung der verborgenen Schicht des Modells mit dem Einbettungsraum des Domänenwissensgraphen abgeglichen, die Assoziationspfade zwischen den Schlüsselneuronen, die imS3: Based on the subset of causal correction features, the representation of the hidden layer of the model is aligned with the embedding space of the domain knowledge graph, which represents the association paths between the key neurons in the

Entscheidungsprozess des Modells aktiviert werden, und den Knoten des Wissensgraphen extrahiert und die semantisierte Entscheidungspfad-Zuordnungstabelle erstellt;The model's decision process is activated, and the node of the knowledge graph is extracted and the semanticized decision path mapping table is created;

S4: Auf der Grundlage der semantisierten Entscheidungspfad-Zuordnungstabelle trainierenS4: Train based on the semanticized decision path assignment table

Sie das Kompetenzbewertungsmodell, passen die Ausgabegranularität entsprechend der primären, mittleren und Expertenebene an und erzeugen adaptive hierarchischeThey adapt the competency assessment model, adjust the output granularity according to the primary, intermediate, and expert levels, and generate adaptive hierarchical

Interpretationsinhalte;Interpretive content;

SS: Auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts dieSS: Based on the adaptive hierarchical interpretation content, the

JS-Dispersion derselben Stichprobe vor und nach der Modelliteration berechnen, die neueCalculate JS dispersion of the same sample before and after model literation, which new

Teilmenge von Daten ausfindig machen, die dazu führt, dass die Differenz den Schwellenwert überschreitet, ihre kausale Beziehung mit der Parameteraktualisierung korrelieren und denIdentify the subset of data that causes the difference to exceed the threshold, correlate its causal relationship with the parameter update, and the

Bericht zur Uberwachung der Interpretationskonsistenz erstellen.Prepare a report on monitoring the consistency of interpretations.

Vorzugsweise umfasst die Erzeugung der Ergebnisse der multimodalenPreferably, the generation of the results of the multimodal process includes

Merkmalsgewichtsanalyse auf der Grundlage der Ergebnisse der multimodalenFeature weight analysis based on the results of the multimodal

Merkmalsgewichtsanalyse in S1 die folgenden Schritte:Feature weight analysis in S1 involves the following steps:

S101: Basierend auf den multimodalen FEingabedaten, Konstruieren einerS101: Based on the multimodal input data, constructing a

Assoziationsmatrix von lokalen Bildregionen und Textworteinbettungen, Quantifizieren von intermodalen Interaktionsgewichten und Erzeugen einer crossmodalen Assoziationsmatrix;Association matrix of local image regions and text word embeddings, quantification of intermodal interaction weights and generation of a crossmodal association matrix;

S102: basierend auf der cross-modalen Korrelationsmatrix, Lokalisieren derS102: based on the cross-modal correlation matrix, localizing the

Bild-Schlüsselregion, Fusionieren der Textmerkmal-Beitragsberechnung, Gewichtung des ausgegebenen multimodalen Merkmals-Bedeutungs-Scores, und Erzeugen des multimodalenImage key region, merging the text feature contribution calculation, weighting the output multimodal feature meaning score, and generating the multimodal

Merkmals-Bedeutungs-Analyse-Ergebnisfeldes.Feature-meaning-analysis-result field.

Vorzugsweise umfasst das Erzeugen einer Teilmenge von kausalen Korrekturmerkmalen auf der Grundlage von S2 die folgenden Schritte:Preferably, generating a subset of causal correction features based on S2 comprises the following steps:

S201: Basierend auf den Ergebnissen der multimodalen Merkmalsbedeutungsanalyse wird eine Teilmenge von kausalen Merkmalen durch einen bedingten Unabhängigkeitstest und kausales Graphenstrukturlernen gescreent, und eine Teilmenge von kausalenS201: Based on the results of the multimodal feature meaning analysis, a subset of causal features is screened using a conditional independence test and causal graph structure learning, and a subset of causal

Merkmalskandidaten wird erzeugt;Feature candidates are generated;

S202: Basierend auf der Untergruppe der kausalen Merkmalskandidaten werdenS202: Based on the subgroup of causal feature candidates,

Vergleichsproben erzeugt, um die Robustheit der Merkmale zu verifizieren, pseudorelevanteComparative samples were generated to verify the robustness of the features, pseudo-relevant

Interferenzterme herausgefiltert und eine Untergruppe kausaler Korrekturmerkmale erzeugt. LU601246Interference terms were filtered out and a subset of causal correction features was generated. LU601246

Vorzugsweise umfasst die Erzeugung einer semantisiertenPreferably, the generation of a semanticized

Entscheidungspfad-Abbildungstabelle auf der Grundlage der semantisiertenDecision path mapping table based on the semanticized

Entscheidungspfad-Abbildungstabelle in S3 die folgenden Schritte:Decision path mapping table in S3 the following steps:

S301: Basierend auf einer Teilmenge von Kausalkorrekturmerkmalen, Ausrichten derS301: Based on a subset of causal correction features, aligning the

Darstellung der verborgenen Schicht des Modells mit dem Einbettungsraum derRepresentation of the hidden layer of the model with the embedding space of the

Wissensgraphenentität, Minimieren des semantischen Abstands und Erzeugen derKnowledge graph entity, minimizing semantic distance and generating the

Abbildungstabelle der verborgenen Schicht und der Wissensentität;Figure table of the hidden layer and the knowledge entity;

S302: auf der Grundlage des Abgleichs der Abbildungstabelle Extrahieren derS302: Extracting the data based on the comparison of the figure table

Assoziationspfade zwischen Schlüsselneuronen und Wissensgraphknoten, Erzeugen der semantisierten Entscheidungspfad-Abbildungstabelle.Association paths between key neurons and knowledge graph nodes, generating the semanticized decision path mapping table.

Vorzugsweise umfasst die Erzeugung des adaptiven hierarchischen Interpretationsinhalts auf der Grundlage des Inhalts in S4 die folgenden Schritte:Preferably, the generation of the adaptive hierarchical interpretation content based on the content in S4 comprises the following steps:

S401: basierend auf der semantisierten Entscheidungspfad-Mapping-Tabelle, Trainieren des Professionalitäts-Scoring-Modells durch die historischen Interaktionsdaten des Benutzers, um das Benutzer-Professionalitäts-Portrait zu erzeugen;S401: based on the semanticized decision path mapping table, training the professionalism scoring model through the user's historical interaction data to generate the user professionalism portrait;

S402: auf der Grundlage des Porträts der Benutzerprofessionalität, Anpassen derS402: based on the user professionalism profile, customizing the

Ausgabegranularität nach Primär-, Zwischen- und Expertenebene, um den adaptiven hierarchischen Interpretationsinhalt zu erzeugen.Output granularity according to primary, intermediate and expert levels to generate the adaptive hierarchical interpretation content.

Vorzugsweise umfasst das Erzeugen eines Berichts zur Überwachung derPreferably, generating a report for monitoring the

Erklärungskonsistenz auf der Grundlage von S5 die folgenden Schritte:Explanatory consistency based on S5 involves the following steps:

S501: auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts, Berechnen der Differenz in der Interpretationsverteilung derselben Probe vor und nach derS501: Based on the adaptive hierarchical interpretation content, calculating the difference in the interpretation distribution of the same sample before and after the

Modellaktualisierung und Erzeugen einer Interpretationsdiskrepanzskala;Model update and generation of an interpretation discrepancy scale;

S502: basierend auf der Erklärungsdiskrepanz-Scoring-Tabelle, Lokalisieren des hinzugefügten Datenteilsatzes, Assoziieren seiner kausalen Beziehung mit derS502: Based on the explanation discrepancy scoring table, locating the added data subset, associating its causal relationship with the

Parameteraktualisierung und Erzeugen des Erklärungskonsistenz-Überwachungsberichts.Parameter update and generation of the explanation consistency monitoring report.

Das System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz, wobei das Interpretationssystem für den Algorithmus des künstlichen Intelligenzmodells die folgendenThe system for interpreting artificial intelligence model algorithms, wherein the interpretation system for the artificial intelligence model algorithm comprises the following

Module umfasst: ein multimodales Kausalanalysemodul, ein semantisches hierarchischesThe module includes: a multimodal causal analysis module, a semantic hierarchical

Interpretationsmodul und ein Modul zur Überwachung der Konsistenz der Interpretation;Interpretation module and a module for monitoring the consistency of the interpretation;

Das multimodale Kausalanalysemodul konstruiert eine Assoziationsmatrix von Bildern und Text, quantifiziert Merkmalsbeiträge, filtert eine Teilmenge von kausalen Merkmalen, filtert pseudorelevantes Rauschen und erzeugt eine Teilmenge von kausalenThe multimodal causal analysis module constructs an association matrix of images and text, quantifies feature contributions, filters a subset of causal features, filters out pseudo-relevant noise, and generates a subset of causal

Korrekturmerkmalen;Correction features;

Das multimodale Kausalanalysemodul, das ein Untermodul für den crossmodalenThe multimodal causal analysis module, which is a submodule for the crossmodal

Abgleich und ein Untermodul für die kausale Korrektur enthält;Includes matching and a sub-module for causal correction;

Das semantische hierarchische Interpretationsmodul, das die verborgene Schicht desThe semantic hierarchical interpretation module, which represents the hidden layer of the

Modells mit der Entität des Wissensgraphen abgleicht, die Entscheidungsinferenzkette extrahiert, den Grad des Fachwissens des Benutzers identifiziert, die Interpretation nach Ebene ausgibt und adaptive hierarchische Interpretationsinhalte erzeugt;The model compares with the entity of the knowledge graph, extracts the decision inference chain, identifies the user's level of expertise, outputs the interpretation by level, and generates adaptive hierarchical interpretation content;

Das semantische hierarchisches Interpretationsmodul, das ein semantischesThe semantic hierarchical interpretation module, which is a semantic

Mapping-Untermodul und ein hierarchisches Generierungs-Untermodul enthält;It contains a mapping sub-module and a hierarchical generation sub-module;

Das Modul zur Überwachung der Interpretationskonsistenz, um die Unterschiede in derThe module for monitoring interpretation consistency, in order to detect differences in the

Verteilung der Interpretation zu quantifizieren, die neuen Datenteilmengen zu lokalisieren,To quantify the distribution of interpretations and to locate the new data subsets,

Parameter zuzuordnen, um die Kausalität zu aktualisieren, und den Bericht zur Überwachung 601246 der Interpretationskonsistenz zu erzeugen; das Modul zur Überwachung derto assign parameters to update causality and generate the monitoring report 601246 for interpretation consistency; the module for monitoring the

Interpretationskonsistenz umfasst das Untermodul für die Diskrepanzmetrik und dasInterpretation consistency includes the submodule for the discrepancy metric and the

Untermodul für die Rückverfolgbarkeit der Drift.Submodule for drift traceability.

Vorzugsweise konstruiert ein Untermodul für den cross-modalen Abgleich einePreferably, a submodule for cross-modal matching constructs a

Assoziationsmatrix aus lokalen Regionen des Bildes und Text-Worteinbettungen und erzeugt eine cross-modale Assoziationsmatrix;Association matrix from local regions of the image and text/word embeddings, generating a cross-modal association matrix;

Das Untermodul für kausale Korrekturen, das die Schlüsselregionen des Bildes lokalisiert, den Beitrag der Textmerkmale berechnet, die Teilmenge der kausalen Merkmale filtert, das pseudorelevante Rauschen filtert und die Teilmenge der kausalen Korrekturmerkmale erzeugt.The submodule for causal corrections locates the key regions of the image, calculates the contribution of the text features, filters the subset of causal features, filters the pseudo-relevant noise, and generates the subset of causal correction features.

Vorzugsweise das semantische Mapping-Submodul, das die Repräsentation der verborgenen Schicht des Modells mit dem Einbettungsraum des Wissensgraphen abgleicht, die verborgene Schicht und die Wissensentitäts-Mapping- Tabelle erzeugt;Preferably the semantic mapping submodule that matches the representation of the hidden layer of the model with the embedding space of the knowledge graph, generates the hidden layer and the knowledge entity mapping table;

Das Untermodul für die hierarchische Erzeugung, das semantisierte Inferenzketten extrahiert, das Fachwissen des Benutzers identifiziert, dynamisch hierarchischeThe submodule for hierarchical generation extracts semanticized inference chains, identifies the user's expertise, and dynamically creates hierarchical

Erklärungsinhalte erzeugt und adaptive hierarchische Erklärungsinhalte erzeugt.Explanatory content is generated, and adaptive hierarchical explanatory content is generated.

Vorzugsweise ein Untermodul für die Diskrepanzmetrik, das den Unterschied in derPreferably a submodule for the discrepancy metric that accounts for the difference in the

Verteilung der Erklärungen vor und nach der Modellaktualisierung berechnet und einThe distribution of explanations before and after the model update was calculated, and a

Bewertungsblatt für die Erklärungsdiskrepanz erstellt;Evaluation sheet created for the explanation discrepancy;

Das Untermodul für die Rückverfolgbarkeit der Drift, das die hinzugefügte Teilmenge vonThe drift traceability submodule, which includes the added subset of

Daten lokalisiert, Parameter korreliert, um die Kausalität zu aktualisieren, und einen Bericht zurData localized, parameters correlated to update causality, and a report on

Überwachung der Erklärungskonsistenz erstellt.Monitoring of the consistency of the declarations was created.

Die vorliegende Erfindung stellt das Verfahren und System zur Interpretation vonThe present invention presents the method and system for the interpretation of

Modellalgorithmen der künstlichen Intelligenz bereit.Artificial intelligence model algorithms are ready.

Sie hat die folgenden vorteilhaften Auswirkungen:It has the following beneficial effects:

Die vorliegende Erfindung quantifiziert cross-modale Interaktionsgewichte durch dieThe present invention quantifies cross-modal interaction weights by the

Konstruktion einer Assoziationsmatrix von lokalen Bildregionen und Textworteinbettungen, dieConstruction of an association matrix of local image regions and text word embeddings that

Kombination von Gradientenklassen-Aktivierungskarten mit der Berechnung des Beitrags vonCombination of gradient class activation maps with calculation of the contribution of

Textmerkmalen und die Realisierung einer genauen Positionierung für die Analyse derText features and the realization of precise positioning for the analysis of

Bedeutung multimodaler Merkmale. Basierend auf dem Kausalerkennungsalgorithmus überprüfen wir die Teilmenge der Merkmale, die eine kausale Beziehung zur Modellausgabe haben, und verwenden den Generator für kontrafaktische Stichproben, um die nicht kausalenSignificance of multimodal features. Based on the causal detection algorithm, we examine the subset of features that have a causal relationship to the model output and use the counterfactual sampling generator to identify the non-causal features.

Merkmale zu stören, um die Robustheit der Merkmale zu überprüfen und dieto disrupt features in order to test the robustness of the features and the

Pseudokorrelationsstörung zu beseitigen, um so die Zuverlässigkeit der Merkmalsauswahl und die Glaubwürdigkeit der Entscheidungslogik zu verbessern. Anpassung der Darstellung der verborgenen Schicht des Modells an den Einbettungsraum des Domänenwissensgraphen,To eliminate pseudocorrelation errors, thereby improving the reliability of feature selection and the credibility of the decision logic. Adapting the representation of the hidden layer of the model to the embedding space of the domain knowledge graph.

Extraktion der Assoziationspfade zwischen Schlüsselneuronen und Wissensknoten undExtraction of association pathways between key neurons and knowledge nodes and

Konstruktion der semantisierten Inferenzkette, um die Verständlichkeit und dieConstruction of the semanticized inference chain to improve comprehensibility and the

Anpassungsfähigkeit der Interpretationsergebnisse zu verbessern. Durch das Training desTo improve the adaptability of the interpretation results. Through training the

Modells zur Bewertung der Benutzerexpertise wird die Granularität des Erklärungsinhalts dynamisch angepasst, um den Bedürfnissen von Benutzern mit unterschiedlichem beruflichemIn the model for assessing user expertise, the granularity of the explanatory content is dynamically adjusted to meet the needs of users with different professional backgrounds.

Hintergrund gerecht zu werden und den praktischen Nutzen der Erklärungsinformationen zu verbessern. Wir berechnen die Verteilungsdifferenz der Interpretationsergebnisse vor und nach der Modelliteration, ermitteln die kausale Beziehung zwischen der neuen Datenuntermenge und der Parameteraktualisierung und überwachen kontinuierlich die Konsistenz der Interpretation,To do justice to the background and improve the practical usefulness of the explanatory information, we calculate the distribution difference of the interpretation results before and after model literatureation, determine the causal relationship between the new data subset and the parameter update, and continuously monitor the consistency of the interpretation.

um die Stabilität der Interpretationslogik während des langfristigen Iterationsprozesse4 V601 246 sicherzustellen. Die Verarbeitungslogik lôst systematisch die Probleme der Verzerrung derto ensure the stability of the interpretation logic during the long-term iteration process4 V601 246. The processing logic systematically solves the problems of distortion of the

Merkmalsinterpretation, der Pseudokorrelationsinterferenz, der semantischen Trennung und der dynamischen Anpassungsfähigkeit in multimodalen Szenarien durch cross-modale Fusion, 5 kausale Modifikation, Einbettung von Wissensgraphen, hierarchische Generierung und inkrementelle Überwachung.Feature interpretation, pseudocorrelation interference, semantic separation and dynamic adaptability in multimodal scenarios through cross-modal fusion, causal modification, knowledge graph embedding, hierarchical generation and incremental monitoring.

Beschreibung der beigefügten ZeichnungenDescription of the attached drawings

Bild 1 zeigt ein Blockdiagramm des Systems der vorliegenden Erfindung;Figure 1 shows a block diagram of the system of the present invention;

Bild 2 zeigt ein schematisches Diagramm der wichtigsten Schritte der vorliegendenFigure 2 shows a schematic diagram of the main steps of the present

Erfindung;Invention;

Bild 3 zeigt ein schematisches Diagramm der S1-Veredelung der vorliegenden Erfindung;Figure 3 shows a schematic diagram of the S1 refinement of the present invention;

Bild 4 zeigt ein schematisches Diagramm der S2-Veredelung der vorliegenden Erfindung;Figure 4 shows a schematic diagram of the S2 refining process of the present invention;

Bild 5 zeigt ein schematisches Diagramm der S3-Veredelung der vorliegenden Erfindung;Figure 5 shows a schematic diagram of the S3 refinement of the present invention;

Bild 6 zeigt ein schematisches Diagramm der S4-Verfeinerung der vorliegendenFigure 6 shows a schematic diagram of the S4 refinement of the present

Erfindung;Invention;

Bild 7 zeigt ein schematisches Diagramm der S5-Verfeinerung der vorliegendenFigure 7 shows a schematic diagram of the S5 refinement of the present

Erfindung.Invention.

Detaillierte BeschreibungDetailed description

Die technischen Lösungen in den Ausführungsformen der vorliegenden Erfindung werden im Folgenden in Verbindung mit den beigefügten Zeichnungen in den Ausführungsformen der vorliegenden Erfindung klar und vollständig beschrieben, und es ist offensichtlich, dass die beschriebenen Ausführungsformen nur einen Teil der Ausführungsformen der vorliegendenThe technical solutions in the embodiments of the present invention are clearly and completely described below in conjunction with the accompanying drawings, and it is obvious that the described embodiments represent only a part of the embodiments of the present invention.

Erfindung und nicht alle Ausführungsformen darstellen. Ausgehend von denThis does not represent the invention, but rather all its embodiments. Based on the

Ausführungsformen der vorliegenden Erfindung fallen alle anderen Ausführungsformen, die von einem Fachmann ohne schôpferische Arbeit erreicht werden, in den Schutzbereich der vorliegenden Erfindung.In the present invention, all other embodiments that can be achieved by a person skilled in the art without creative work fall within the scope of protection of the present invention.

Ausführungsformembodiment

Wie in Bilder 1-7 gezeigt, stellt eine Ausführungsform der vorliegenden Erfindung einAs shown in Figures 1-7, one embodiment of the present invention represents

Interpretationsverfahren eines Algorithmus für ein künstliches Intelligenzmodell bereit, das die folgenden Schritte umfasst:Interpretation procedure of an algorithm for an artificial intelligence model, comprising the following steps:

S1: Auf der Grundlage der multimodalen Eingabedaten wird eine Assoziationsmatrix von lokalen Bildregionen und Textworteinbettungen konstruiert, die Bildschlüsselregionen werden lokalisiert, der Textmerkmalsbeitragsgrad wird berechnet, die = multimodaleS1: Based on the multimodal input data, an association matrix of local image regions and text word embeddings is constructed, the image key regions are localized, the text feature contribution level is calculated, the = multimodal

Merkmalswichtigkeitspunkte werden gewichtet und die multimodalenFeature importance points are weighted and the multimodal

Merkmalswichtigkeitsanalyseergebnisse werden erzeugt;Feature importance analysis results are generated;

Auf der Grundlage der multimodalen Eingabedaten wird der Mechanismus der cross-modalen Aufmerksamkeit verwendet, um die Assoziationsmatrix zwischen lokalenBased on the multimodal input data, the mechanism of cross-modal attention is used to construct the association matrix between local

Bildregionen und Textworteinbettungen zu konstruieren, die Schlüsselregionen des Bildes durch gradientengewichtete Klassenaktivierungszuordnung zu lokalisieren, dento construct image regions and text word embeddings, to locate the key regions of the image through gradient-weighted class activation assignment, the

Textmerkmalsbeitrag auf der Grundlage des Shapley-Wertes zu berechnen und die Ausgabe der multimodalen Merkmalswichtigkeitspunkte zu gewichten, um die Ergebnisse der multimodalento calculate text feature contribution based on the Shapley score and to weight the output of the multimodal feature importance points to evaluate the results of the multimodal

Merkmalswichtigkeitsanalyse zu erzeugen.To generate a feature importance analysis.

S2: Auf der Grundlage der Ergebnisse der multimodalen Merkmalsbedeutungsanalyse wird die Teilmenge der Merkmale herausgefiltert, die eine kausale Beziehung zur Modellausgabe haben, die nicht kausalen Merkmale werden gestört, um Vergleichsproben zu erzeugen, dieS2: Based on the results of the multimodal feature meaning analysis, the subset of features that have a causal relationship to the model output is filtered out; the non-causal features are perturbed to generate comparison samples.

Robustheit der Merkmale wird überprüft, die pseudorelevanten Interferenzterme werdet+-V601 246 gefiltert und eine Teilmenge der kausalen Korrekturmerkmale wird erzeugt;The robustness of the features is checked, the pseudo-relevant interference terms are filtered out, and a subset of the causal correction features is generated;

Basierend auf den Ergebnissen von SI, verwenden Sie den kausalenBased on the results of SI, use the causal

Strukturlernalgorithmus, um die kausale Merkmalsuntermenge zu filtern, erzeugen Sie kontrafaktische Proben durch ein generatives adverses Netzwerk, um die Merkmalsrobustheit zu verifizieren, filtern Sie die pseudorelevanten Interferenzterme, und erzeugen Sie die kausaleStructural learning algorithm to filter the causal feature subset, generate counterfactual samples through a generative adverse network to verify feature robustness, filter the pseudorelevant interference terms, and generate the causal

Korrekturmerkmalsuntermenge.Correction feature subset.

S3: Auf der Grundlage der kausal modifizierten Merkmalsuntermenge wird dieS3: Based on the causally modified feature subset, the

Darstellung der verborgenen Schicht des Modells mit dem Einbettungsraum desRepresentation of the hidden layer of the model with the embedding space of the

Domänenwissensgraphen abgeglichen, die Assoziationspfade zwischen den imDomain knowledge graphs were compared, identifying association paths between the data in the

Entscheidungsprozess des Modells aktivierten Schlüsselneuronen und den Knoten desThe decision-making process of the model activated key neurons and the nodes of the

Wissensgraphen extrahiert und die semantisierte Entscheidungspfad-Zuordnungstabelle erstellt;Knowledge graphs extracted and the semanticized decision path mapping table created;

Auf der Grundlage der Teilmenge S2 wird der Algorithmus zur Einbettung desBased on the subset S2, the algorithm for embedding the

Wissensgraphen verwendet, um die Darstellung der verborgenen Schicht des Modells mit derKnowledge graphs are used to represent the hidden layer of the model with the

Entität des Wissensgraphen abzugleichen, und die Assoziationspfade zwischen dento match the entity of the knowledge graph, and the association paths between the

Schlüsselneuronen und den Wissensknoten werden durch die Pfadsuche des neuronalen Netzes des Graphen extrahiert, um die semantisierte Tabelle der Entscheidungspfadabbildung zu erzeugen.Key neurons and the knowledge node are extracted by pathfinding of the neural network of the graph to generate the semanticized table of the decision path mapping.

S4: Auf der Grundlage der semantisierten Entscheidungspfad-Zuordnungstabelle trainierenS4: Train based on the semanticized decision path assignment table

Sie das Professionalitätsbewertungsmodell, passen die Ausgabegranularität entsprechend derThey use the professionalism assessment model, adjusting the output granularity accordingly.

Primär-, Zwischen- und Expertenebene an und erzeugen adaptive hierarchischeprimary, intermediate, and expert levels are accessed and generate adaptive hierarchical

Interpretationsinhalte;Interpretive content;

Auf der Grundlage der S3-Zuordnungstabelle dasBased on the S3 assignment table, the

Support-Vector-Machine-Expertise-Bewertungsmodell trainieren, mit demTrain the Support Vector Machine Expertise Assessment Model with which

Multigranularitätsmodul zur Erzeugung natürlicher Sprache kombinieren, um die Granularität des Interpretationsinhalts dynamisch anzupassen, und den adaptiven hierarchischenCombine a multigranularity module for natural language generation to dynamically adjust the granularity of the interpreted content and the adaptive hierarchical

Interpretationsinhalt erzeugen.Generate interpretive content.

SS: Auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts wird dieSS: Based on the adaptive hierarchical interpretation content, the

JS-Dispersion derselben Probe vor und nach der Modelliteration berechnet, die neue Teilmenge von Daten lokalisiert, die dazu führt, dass die Differenz den Schwellenwert überschreitet, ihre kausale Beziehung mit der Parameteraktualisierung korreliert und der Bericht zur Überwachung der Interpretationskonsistenz erstellt.JS dispersion of the same sample before and after model literation is calculated, the new subset of data that causes the difference to exceed the threshold is located, its causal relationship is correlated with the parameter update, and the report for monitoring interpretation consistency is generated.

Basierend auf dem Inhalt von S4 wird der inkrementelle JS-Streuungsalgorithmus verwendet, um den Unterschied in der Interpretationsverteilung vor und nach derBased on the content of S4, the incremental JS scattering algorithm is used to determine the difference in the interpretation distribution before and after the

Modelliteration zu berechnen, die Teilmenge von Daten zu finden, die die Quelle desTo calculate model literation, find the subset of data that is the source of the

Unterschieds durch die Analyse der Merkmalsbedeutung ist, sie mit der kausalen Beziehung zurThe difference, through the analysis of the feature's meaning, lies in relating it to the causal relationship to

Parameteraktualisierung zu korrelieren und den Bericht zur Überwachung derto correlate parameter updates and the report for monitoring the

Interpretationskonsistenz zu erstellen.to create consistency in interpretation.

Die Erzeugung von Ergebnissen der multimodalen Merkmalsbedeutungsanalyse auf derThe generation of results from the multimodal feature meaning analysis on the

Grundlage von S1 umfasst die folgenden Schritte:The basis of S1 comprises the following steps:

S101: Auf der Grundlage der multimodalen Fingabedaten eine Assoziationsmatrix von lokalen Bildregionen und Texteinbettungen konstruieren, die intermodalen Interaktionsgewichte quantifizieren und eine crossmodale Assoziationsmatrix erzeugen;S101: Based on the multimodal input data, construct an association matrix of local image regions and text embeddings, quantify the intermodal interaction weights, and generate a crossmodal association matrix;

Konstruieren einer Bild-Text-Assoziationsmatrix unter Verwendung eines intermodalenConstructing an image-text association matrix using an intermodal

Aufmerksamkeitsausrichtungsalgorithmus, um die Interaktionsgewichte zu quantifizieren.Attention-direction algorithm to quantify interaction weights.

S102: Basierend auf der cross-modalen Korrelationsmatrix wird die Schlüsselregion des-V601246S102: Based on the cross-modal correlation matrix, the key region of the V601246 is identified.

Bildes lokalisiert, die Berechnung des Textmerkmalsbeitrags fusioniert, die multimodaleImage localized, calculation of text feature contribution merged, the multimodal

Merkmalswichtigkeit gewichtet und das Ergebnisfeld der multimodalenFeature importance weighted and the result field of the multimodal

Merkmalswichtigkeitsanalyse erzeugt.Feature importance analysis generated.

Basierend auf Grad-CAM, lokalisieren Sie die Schlüsselregionen des Bildes, fusionierenBased on Grad-CAM, locate the key regions of the image, fuse them.

Sie LIME, um den Textbeitrag zu berechnen, und geben Sie die multimodaleUse LIME to calculate the text contribution and enter the multimodal

Wichtigkeitsbewertung aus.Importance assessment.

Das Erzeugen einer Teilmenge von kausalen Modifikationsmerkmalen auf der Grundlage von S2 umfasst die folgenden Schritte:Generating a subset of causal modification features based on S2 involves the following steps:

S201: Erzeugen einer Teilmenge kausaler Merkmalskandidaten durch Screening derS201: Generating a subset of causal feature candidates by screening the

Teilmenge kausaler Merkmale durch bedingten Unabhängigkeitstest mit kausalemSubset of causal features tested using a conditional independence test with causal

Graphstrukturlernen auf der Grundlage der Ergebnisse der multimodalenGraph structure learning based on the results of multimodal

Merkmalsbedeutungsanalyse;Feature meaning analysis;

Screening der Teilmenge der kausalen Merkmalskandidaten durch einen bedingtenScreening the subset of causal feature candidates using a conditional

Unabhéngigkeitstest mit dem FCI-Algorithmus.Independence test using the FCI algorithm.

S202: Auf der Grundlage der Teilmenge der kausalen Merkmalskandidaten werdenS202: Based on the subset of causal candidate features,

Vergleichsproben erzeugt, um die Robustheit der Merkmale zu überprüfen, pseudorelevanteComparative samples were generated to verify the robustness of the features, pseudo-relevant

Interferenzbegriffe herauszufiltern und eine Teilmenge kausaler Korrekturmerkmale zu erzeugen.To filter out interference concepts and generate a subset of causal correction features.

Nicht-kausale ~GAN-Storungsmerkmale werden verwendet, um kontrafaktischeNon-causal ~GAN perturbation features are used to counterfactual

Stichproben zu erzeugen und die Interferenzterme zu filtern.to generate samples and filter the interference terms.

Die Erzeugung einer semantisierten Entscheidungspfad-Mapping-Tabelle auf derThe generation of a semanticized decision path mapping table on the

Grundlage von S3 umfasst die folgenden Schritte:The foundation of S3 comprises the following steps:

S301: Auf der Grundlage der Teilmenge der kausalen Korrekturmerkmale wird dieS301: Based on the subset of causal correction features, the

Darstellung der verborgenen Schicht des Modells an den Einbettungsraum derRepresentation of the hidden layer of the model in the embedding space of the

Wissensgraphenentität angepasst, die semantische Distanz minimiert und die Zuordnungstabelle zwischen verborgener Schicht und Wissensentität erstellt;Knowledge graph entity adapted, semantic distance minimized, and mapping table created between hidden layer and knowledge entity;

Ausrichten der Hidden-Layer-Darstellungen mit den Wissensabbildungsentitäten durch den TransE-Algorithmus, Minimieren des semantischen Abstands.Aligning the hidden layer representations with the knowledge mapping entities using the TransE algorithm, minimizing the semantic distance.

S302: Auf der Grundlage der Ausrichtungsabbildungstabelle werden die Assoziationspfade zwischen Schlüsselneuronen und Wissensgraphenknoten extrahiert und die semantisierteS302: Based on the alignment mapping table, the association paths between key neurons and knowledge graph nodes are extracted and the semanticized

Entscheidungspfadabbildungstabelle erzeugt.Decision path mapping table generated.

Extrahieren kritischer assoziierter Pfade auf der Grundlage der GNN-Pfadsuche undExtracting critical associated paths based on GNN pathfinding and

Erzeugen semantisierter Zuordnungstabellen.Generating semantic mapping tables.

Die Generierung adaptiver hierarchischer Interpretationsinhalte auf der Grundlage von S4 umfasst die folgenden Schritte:The generation of adaptive hierarchical interpretation content based on S4 includes the following steps:

S401: Basierend auf der semantisierten Entscheidungspfad-Abbildungstabelle, Trainieren des Professionalitätsbewertungsmodells mit Benutzerhistorie-Interaktionsdaten, um einS401: Based on the semanticized decision path mapping table, training the professionalism assessment model with user history interaction data to create a

Benutzerprofessionalitätsporträt zu erzeugen;To create a user professionalism profile;

Trainieren eines SVM-Expertise-Bewertungsmodells unter Verwendung vonTraining an SVM expertise assessment model using

Benutzerverlaufsdaten, um ein Benutzerporträt zu erzeugen.User history data is used to create a user portrait.

S402: Auf der Grundlage des Porträts der Benutzerprofessionalität wird dieS402: Based on the user professionalism profile, the

Ausgabegranularität entsprechend der primären, mittleren und Expertenebene angepasst, um adaptive hierarchische Interpretationsinhalte zu erzeugen.Output granularity is adjusted according to the primary, middle, and expert levels to generate adaptive hierarchical interpretation content.

Dynamische Erzeugung von multigranularen Erklärungsinhalten auf der Grundlage desDynamic generation of multigranular explanatory content based on the

NLG-Moduls. LU601246NLG module. LU601246

Das Erzeugen eines Berichts zur Überwachung der Interpretationskonsistenz auf derGenerating a report to monitor the consistency of interpretation on the

Grundlage von S5 umfasst die folgenden Schritte:The foundation of S5 comprises the following steps:

S501: Auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts Berechnung des Unterschieds in der Interpretationsverteilung derselben Probe vor und nach derS501: Based on the adaptive hierarchical interpretation content, calculation of the difference in the interpretation distribution of the same sample before and after the

Modellaktualisierung und Erzeugung einer Interpretationsdiskrepanz-Scoretabelle;Model update and generation of an interpretation discrepancy score table;

Berechnen der JS-Dispersion vor und nach der Modelliteration, Erzeugen einerCalculating the JS dispersion before and after model literatureation, generating a

Erklärungsdiskrepanz-Scoretabelle.Explanatory discrepancy score table.

S502: Auf der Grundlage der Tabelle für Erklärungsdiskrepanzen wird die neueS502: Based on the table for explanatory discrepancies, the new

Datenuntergruppe lokalisiert, ihre kausale Beziehung mit der Parameteraktualisierung korreliert und ein Bericht zur Überwachung der Erklärungskonsistenz erstellt.Data subset located, its causal relationship correlated with parameter updates, and a report created to monitor explanatory consistency.

Lokalisieren Sie die Quelldaten der Diskrepanz durch Backtracking-Analyse und korrelieren Sie die Kausalkette der Parameteraktualisierungen.Locate the source data of the discrepancy through backtracking analysis and correlate the causal chain of parameter updates.

Das System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz, wobei das Interpretationssystem für den Algorithmus des künstlichen Intelligenzmodells die folgendenThe system for interpreting artificial intelligence model algorithms, wherein the interpretation system for the artificial intelligence model algorithm comprises the following

Module umfasst: ein multimodales Kausalanalysemodul, ein semantisches hierarchischesThe module includes: a multimodal causal analysis module, a semantic hierarchical

Interpretationsmodul und ein Modul zur Überwachung der Konsistenz der Interpretation;Interpretation module and a module for monitoring the consistency of the interpretation;

Das multimodale Kausalanalysemodul konstruiert eine Assoziationsmatrix von Bildern und Text, quantifiziert Merkmalsbeiträge, filtert eine Teilmenge von kausalen Merkmalen, filtert pseudorelevantes Rauschen und erzeugt eine Teilmenge von kausalenThe multimodal causal analysis module constructs an association matrix of images and text, quantifies feature contributions, filters a subset of causal features, filters out pseudo-relevant noise, and generates a subset of causal

Korrekturmerkmalen;Correction features;

Das multimodale Kausalanalysemodul, das ein Untermodul für den crossmodalenThe multimodal causal analysis module, which is a submodule for the crossmodal

Abgleich und ein Untermodul für die kausale Korrektur enthält;Includes matching and a sub-module for causal correction;

Das semantische hierarchische Interpretationsmodul, das die verborgene Schicht desThe semantic hierarchical interpretation module, which represents the hidden layer of the

Modells mit der Entität des Wissensgraphen abgleicht, die Entscheidungsinferenzkette extrahiert, den Grad des Fachwissens des Benutzers identifiziert, die Interpretation nach Ebene ausgibt und adaptive hierarchische Interpretationsinhalte erzeugt;The model compares with the entity of the knowledge graph, extracts the decision inference chain, identifies the user's level of expertise, outputs the interpretation by level, and generates adaptive hierarchical interpretation content;

Das semantische hierarchische Interpretationsmodul umfasst ein semantischesThe semantic hierarchical interpretation module comprises a semantic

Mapping-Untermodul und ein hierarchisches Generierungs-Untermodul;Mapping submodule and a hierarchical generation submodule;

Das Modul zur Überwachung der Interpretationskonsistenz, um die Unterschiede in derThe module for monitoring interpretation consistency, in order to detect differences in the

Interpretationsverteilung zu quantifizieren, die hinzugefügten Datenteilmengen zu lokalisieren, die Parameter zu korrelieren, um die Kausalität zu aktualisieren, und den Bericht zurto quantify the distribution of interpretations, to locate the added data subsets, to correlate the parameters to update the causality, and to prepare the report for

Überwachung der Interpretationskonsistenz zu erstellen;To create a system for monitoring the consistency of interpretations;

Das Modul zur Überwachung der Interpretationskonsistenz umfasst ein Untermodul für dieThe module for monitoring interpretation consistency includes a submodule for the

Diskrepanzmetrik und ein Untermodul für die Rückverfolgbarkeit der Drift.Discrepancy metric and a submodule for drift traceability.

Vorzugsweise konstruiert das Untermodul für den cross-modalen Abgleich einePreferably, the submodule for cross-modal matching constructs a

Assoziationsmatrix aus lokalen Bildregionen und Textworteinbettungen und erzeugt eine cross-modale Assoziationsmatrix;Association matrix from local image regions and text word embeddings, generating a cross-modal association matrix;

Ein cross-modaler Aufmerksamkeitsmechanismus wird verwendet, um eineA cross-modal attention mechanism is used to...

Assoziationsmatrix von lokalen Bildregionen und Textworteinbettungen zu konstruieren, inter-modale Interaktionsgewichte zu quantifizieren und eine cross-modale Assoziationsmatrix zu erzeugen.To construct an association matrix of local image regions and text word embeddings, to quantify inter-modal interaction weights, and to generate a cross-modal association matrix.

Das Untermodul für kausale Korrekturen, Lokalisierung von Bild-Schlüsselregionen,The submodule for causal corrections, localization of image key regions,

Berechnung des Beitrags von Textmerkmalen, Filterung der Teilmenge kausaler Merkmale,Calculation of the contribution of text features, filtering of the subset of causal features,

Filterung von Pseudokorrelationsrauschen, Erzeugung einer Teilmenge kausalerFiltering of pseudocorrelation noise, generation of a subset of causal

Korrekturmerkmale. LU601246Correction features. LU601246

Basierend auf der cross-modalen Korrelationsmatrix, Lokalisierung der Schlüsselregion des Bildes durch gradientengewichtete Klassenaktivierungszuordnung, Fusion von lokal interpretierbaren, modellirrelevanten Interpretationen zur Berechnung desBased on the cross-modal correlation matrix, localization of the key region of the image by gradient-weighted class activation assignment, fusion of locally interpretable, model-irrelevant interpretations to calculate the

Textmerkmalsbeitrags, kombiniert mit dem Kausalerkennungsalgorithmus zur Filterung der kausalen Merkmalsuntermenge, Verwendung eines generativen adversen Netzwerks zurText feature contribution, combined with the causal recognition algorithm for filtering the causal feature subset, using a generative adverse network for

Störung der nicht-kausalen Merkmale zur Erzeugung kontrafaktischer Proben, Filterung des pseudorelevanten Rauschens und Erzeugung der kausalen Korrekturmerkmalsuntermenge.Disturbance of the non-causal features to generate counterfactual samples, filtering of the pseudo-relevant noise and generation of the causal correction feature subset.

Das semantische Mapping-Submodul, um die Darstellung der verborgenen Schicht desThe semantic mapping submodule, to represent the hidden layer of the

Modells mit dem Raum der Wissensgrapheneinbettung abzugleichen, um die verborgeneto align the model with the space of the knowledge graph embedding in order to uncover the hidden

Schicht und die Wissensentitätstabelle zu erzeugen;to generate the layer and the knowledge entity table;

Anwendung des Algorithmus zur Einbettung von Wissensgraphen, um die Darstellung der verborgenen Schicht des Modells mit dem Raum der Einbettung von Wissensgraphen abzugleichen, die semantische Distanz zu minimieren und die verborgene Schicht und dieApplication of the knowledge graph embedding algorithm to align the representation of the model's hidden layer with the knowledge graph embedding space, minimize the semantic distance, and align the hidden layer and the

Wissensentitätsabbildungstabelle zu erzeugen.To generate a knowledge entity mapping table.

Das Untermodul für die hierarchische Generierung, das semantisierte Inferenzketten extrahiert, das Fachwissen der Benutzer identifiziert, dynamisch hierarchischeThe submodule for hierarchical generation extracts semanticized inference chains, identifies user expertise, and dynamically creates hierarchical

Interpretationsinhalte generiert und adaptive hierarchische Interpretationsinhalte generiert.It generates interpretive content and generates adaptive hierarchical interpretive content.

Auf der Grundlage der Mapping-Tabelle wird die semantisierte Inferenzkette durch dieBased on the mapping table, the semanticized inference chain is processed by the

Pfadsuche des graphischen neuronalen Netzes extrahiert und mit dem durch denPath search of the graphical neural network extracted and combined with the data from the

Support-Vector-Machine-Klassifikator identifizierten Nutzer-Know-how-Porträt kombiniert.Support vector machine classifier identified user know-how portrait combined.

Das Modul zur Erzeugung natürlicher Sprache mit mehreren Granularitäten wird zur dynamischen Erzeugung von Interpretationsinhalten auf Primär-, Zwischen- und Expertenebene sowie zur Erzeugung adaptiver hierarchischer Interpretationsinhalte verwendet.The multi-granular natural language generation module is used for the dynamic generation of interpretation content at primary, intermediate and expert levels, as well as for the generation of adaptive hierarchical interpretation content.

Das Untermodul für die Diskrepanzmessung berechnet den Unterschied in der Verteilung der Erklärungen vor und nach der Modellaktualisierung und erstellt eine Tabelle für dieThe discrepancy measurement submodule calculates the difference in the distribution of explanations before and after the model update and creates a table for the

Erklärungsdiskrepanz;Explanatory discrepancy;

Auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts berechnet der inkrementelle JS-Dispersionsalgorithmus den Unterschied in der Interpretationsverteilung der gleichen Probe vor und nach der Modelliteration und erzeugt dieBased on the adaptive hierarchical interpretation content, the incremental JS dispersion algorithm calculates the difference in the interpretation distribution of the same sample before and after model literation and generates the

Interpretationsdiskrepanzskala.Interpretation discrepancy scale.

Das Drift-Traceability-Submodul lokalisiert neue Teilmengen von Daten, korreliertThe drift traceability submodule locates new subsets of data and correlates them.

Parameter, um die Kausalität zu aktualisieren, und erstellt Berichte zur Überwachung derParameters to update causality, and generates reports to monitor the

Interpretationskonsistenz.Consistency of interpretation.

Verwenden Sie den Algorithmus fiir die Analyse der Merkmalsbedeutung (FeatureUse the algorithm for analyzing feature meaning (feature)

Importance Backtracking), um die neue Datenuntergruppe zu finden, bei der die Differenz denImportance Backtracking) to find the new data subset where the difference is the

Schwellenwert überschreitet, kombinieren Sie die Methode zur Schätzung des kausalen Effekts, um die kausale Beziehung mit der Aktualisierung der Parameter zu verknüpfen, und erstellenIf the threshold is exceeded, combine the method for estimating the causal effect to link the causal relationship with the parameter update and create

Sie den Bericht zur Überwachung der Erklärungskonsistenz.See the report on monitoring the consistency of declarations.

Obwohl Ausführungsformen der vorliegenden Erfindung gezeigt und beschrieben wurden, wird der Fachmann erkennen, dass eine Vielzahl von Änderungen, Modifikationen, Ersetzungen und Variationen an diesen Ausführungsformen vorgenommen werden können, ohne vomAlthough embodiments of the present invention have been shown and described, the person skilled in the art will recognize that a multitude of changes, modifications, substitutions and variations can be made to these embodiments without altering the fundamental design.

Prinzip und Geist der vorliegenden Erfindung abzuweichen, deren Umfang durch die beigefügten Ansprüche und deren Äquivalente begrenzt ist.to deviate from the principle and spirit of the present invention, the scope of which is limited by the attached claims and their equivalents.

Claims (10)

Ansprüche LU601246Claims LU601246 1. Das Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: S1: Auf der Grundlage der multimodalen Eingabedaten Konstruieren einer Assoziationsmatrix von lokalen Bildregionen und Textworteinbettungen, Lokalisieren von Bild-Schlüsselregionen, Berechnen des Beitrags von Textmerkmalen, Gewichten der ausgegebenen multimodalen Merkmalswichtigkeitsbewertung und Erzeugen von Ergebnissen der multimodalen Merkmalswichtigkeitsanalyse; S2: Auf der Grundlage der Ergebnisse der Analyse der Wichtigkeit multimodaler Merkmale wird die Teilmenge der Merkmale gefiltert, die eine kausale Beziehung mit der Modellausgabe haben, die nicht-kausalen Merkmale werden gestört, um Vergleichsproben zu erzeugen, die Robustheit der Merkmale wird überprüft, die pseudo-relevanten Störelemente werden gefiltert, und die Teilmenge der kausalen Korrekturmerkmale wird erzeugt; S3: Auf der Grundlage der Teilmenge der Kausalkorrekturmerkmale wird die Darstellung der verborgenen Schicht des Modells mit dem Einbettungsraum des Domänenwissensgraphen abgeglichen, die Assoziationspfade zwischen den Schlüsselneuronen, die im Entscheidungsprozess des Modells aktiviert werden, und den Knoten des Wissensgraphen extrahiert und die semantisierte Entscheidungspfad-Zuordnungstabelle erstellt; S4: Auf der Grundlage der semantisierten Entscheidungspfad-Zuordnungstabelle trainieren Sie das Kompetenzbewertungsmodell, passen die Ausgabegranularität entsprechend der primären, mittleren und Expertenebene an und erzeugen adaptive hierarchische Interpretationsinhalte; SS: Auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts die JS-Dispersion derselben Stichprobe vor und nach der Modelliteration berechnen, die neue Teilmenge von Daten ausfindig machen, die dazu führt, dass die Differenz den Schwellenwert überschreitet, ihre kausale Beziehung mit der Parameteraktualisierung korrelieren und den Bericht zur Uberwachung der Interpretationskonsistenz erstellen.1. The procedure for interpreting artificial intelligence model algorithms, characterized in that it comprises the following steps: S1: Based on the multimodal input data, constructing an association matrix of local image regions and text word embeddings, locating key image regions, calculating the contribution of text features, weighting the output multimodal feature importance rating, and generating results of the multimodal feature importance analysis; S2: Based on the results of the analysis of the importance of multimodal features, the subset of features that have a causal relationship with the model output is filtered, the non-causal features are perturbed to generate comparison samples, the robustness of the features is checked, the pseudo-relevant perturbation elements are filtered, and the subset of causal correction features is generated; S3: Based on the subset of causal correction features, the representation of the hidden layer of the model is aligned with the embedding space of the domain knowledge graph, the association paths between the key neurons activated in the model's decision-making process and the nodes of the knowledge graph are extracted, and the semanticized decision path mapping table is created; S4: Based on the semanticized decision path mapping table, you train the competency assessment model, adjust the output granularity according to the primary, intermediate, and expert levels, and generate adaptive hierarchical interpretation content; SS: Based on the adaptive hierarchical interpretation content, you calculate the JS dispersion of the same sample before and after model literation, identify the new subset of data that causes the difference to exceed the threshold, correlate its causal relationship with the parameter update, and create the report for monitoring interpretation consistency. 2. Das Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: die Erzeugung eines Ergebnisses der Wichtigkeitsanalyse der multimodalen Merkmale auf der Grundlage der multimodalen Merkmale in S1 die folgenden Schritte umfasst: S101: Auf der Grundlage der multimodalen Eingabedaten eine Assoziationsmatrix von lokalen Bildregionen und Textworteinbettungen konstruieren, die intermodalen Interaktionsgewichte quantifizieren und eine crossmodale Assoziationsmatrix erzeugen; S102: Basierend auf der cross-modalen Korrelationsmatrix wird die Schlüsselregion des Bildes lokalisiert, die Textmerkmalsbeitragsberechnung fusioniert, die multimodale Merkmalsbedeutungsausgangsbewertung gewichtet und das multimodale Merkmalsbedeutungsanalyseergebnisfeld erzeugt.2. The method for interpreting artificial intelligence model algorithms according to claim 1, characterized in that: the generation of a result of the importance analysis of the multimodal features based on the multimodal features in S1 comprises the following steps: S101: Based on the multimodal input data, construct an association matrix of local image regions and text word embeddings, quantify the intermodal interaction weights, and generate a crossmodal association matrix; S102: Based on the cross-modal correlation matrix, the key region of the image is localized, the text feature contribution calculation is fused, the multimodal feature meaning output evaluation is weighted, and the multimodal feature meaning analysis result field is generated. 3. Das Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: das Erzeugen einer Teilmenge von kausalen Modifikationsmerkmalen auf der Grundlage der kausalen Modifikationsmerkmale in S2 die folgenden Schritte umfasst: S201: Basierend auf den Ergebnissen der multimodalen Merkmalsbedeutungsanalyse, Screening der Teilmenge von kausalen Merkmalen durch bedingten Unabhängigkeitstest und kausales Graphenstrukturlernen, und Erzeugen der Teilmenge von kausaler-V601246 Merkmalskandidaten; S202: Erzeugen einer Teilmenge kausaler Merkmalskandidaten auf der Grundlage der Teilmenge kausaler Merkmale, Erzeugen von Vergleichsproben zum Verifizieren der Merkmalsrobustheit, Filtern pseudorelevanter Interferenzterme und Erzeugen einer Teilmenge kausaler Korrekturmerkmale.3. The method for interpreting artificial intelligence model algorithms according to claim 1, characterized in that: generating a subset of causal modification features based on the causal modification features in S2 comprises the following steps: S201: Based on the results of the multimodal feature meaning analysis, screening the subset of causal features by conditional independence test and causal graph structure learning, and generating the subset of causal feature candidates; S202: Generating a subset of causal feature candidates based on the subset of causal features, generating comparison samples to verify feature robustness, filtering pseudo-relevant interference terms, and generating a subset of causal correction features. 4. Das Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: das Erzeugen einer semantisierten Entscheidungspfad-Abbildungstabelle auf der Grundlage der semantisierten Entscheidungspfad-Abbildungstabelle in S3 die folgenden Schritte umfasst: S301: Basierend auf der Teilmenge von Kausalkorrekturmerkmalen, Ausrichten der verborgenen Schichtdarstellung des Modells mit dem Wissensgraphenentitätseinbettungsraum, Minimieren der semantischen Distanz und Erzeugen der verborgenen Schicht, Wissensentitätsabbildungstabelle; S302: Auf der Grundlage des Abgleichs der Abbildungstabelle, Extrahieren der Assoziationspfade zwischen Schlüsselneuronen und Wissensgraphknoten, Erzeugen der semantisierten Entscheidungspfad-Abbildungstabelle.4. The method for interpreting artificial intelligence model algorithms according to claim 1, characterized in that: generating a semanticized decision path mapping table based on the semanticized decision path mapping table in S3 comprises the following steps: S301: Based on the subset of causal correction features, aligning the hidden layer representation of the model with the knowledge graph entity embedding space, minimizing the semantic distance, and generating the hidden layer knowledge entity mapping table; S302: Based on the alignment of the mapping table, extracting the association paths between key neurons and knowledge graph nodes, and generating the semantic decision path mapping table. 5. Das Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass: das Erzeugen adaptiver hierarchischer Interpretationsinhalte auf der Grundlage von S4 die folgenden Schritte umfasst: S401: Trainieren des Professionalitätsbewertungsmodells auf der Grundlage der semantisierten Entscheidungspfad-Abbildungstabelle durch die historischen Interaktionsdaten des Benutzers, um das Professionalitätsporträt des Benutzers zu erzeugen; S402: Anpassen der Ausgabegranularität nach Primär-, Zwischen- und Expertenebene auf der Grundlage des Benutzerprofessionalitätsportraits, um den adaptiven hierarchischen Interpretationsinhalt zu erzeugen.5. The method for interpreting artificial intelligence model algorithms according to claim 1, characterized in that: the generation of adaptive hierarchical interpretation content based on S4 comprises the following steps: S401: Training the professionalism assessment model based on the semanticized decision path mapping table using the user's historical interaction data to generate the user's professionalism portrait; S402: Adjusting the output granularity according to primary, intermediate, and expert levels based on the user's professionalism portrait to generate the adaptive hierarchical interpretation content. 6. Das Verfahren zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 1, dadurch gekennzeichnet, dass basierend auf: Erzeugen eines Berichts zur Überwachung der Konsistenz der Interpretation basierend auf in S5 die folgenden Schritte umfasst: S501: Berechnen der Differenz in der Interpretationsverteilung derselben Probe vor und nach der Modellaktualisierung auf der Grundlage des adaptiven hierarchischen Interpretationsinhalts und Erzeugen einer Interpretationsdiskrepanzskala; S502: Lokalisieren einer Teilmenge der hinzugefügten Daten, Zuordnen ihrer kausalen Beziehung zu der Parameteraktualisierung und Erzeugen eines Erklärungskonsistenz-Überwachungsberichts auf der Grundlage der Erklarungsdiskrepanz-Scoring-Tabelle.6. The method for interpreting artificial intelligence model algorithms according to claim 1, characterized in that, based on: generating a report for monitoring the consistency of the interpretation based on S5, comprises the following steps: S501: calculating the difference in the interpretation distribution of the same sample before and after the model update based on the adaptive hierarchical interpretation content and generating an interpretation discrepancy scale; S502: locating a subset of the added data, assigning its causal relationship to the parameter update, and generating an explanation consistency monitoring report based on the explanation discrepancy scoring table. 7. Das System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz, dadurch gekennzeichnet, dass das Interpretationssystem für den Algorithmus des künstlichen Intelligenzmodells die folgenden Module umfasst: ein multimodales Kausalanalysemodul, ein semantisches hierarchisches Interpretationsmodul und ein Modul zur Überwachung der Konsistenz der Interpretation; Das multimodale Kausalanalysemodul konstruiert eine Assoziationsmatrix von Bildern und Text, quantifiziert den Merkmalsbeitrag, filtert eine Teilmenge von kausalen Merkmalen, filtert Pseudokorrelationsrauschen und erzeugt eine Teilmenge von kausalen7. The system for interpreting artificial intelligence model algorithms, characterized in that the interpretation system for the artificial intelligence model algorithm comprises the following modules: a multimodal causal analysis module, a semantic hierarchical interpretation module, and a module for monitoring the consistency of the interpretation; The multimodal causal analysis module constructs an association matrix of images and text, quantifies the feature contribution, filters a subset of causal features, filters pseudocorrelation noise, and generates a subset of causal Korrekturmerkmalen; LU601246 Das multimodale Kausalanalysemodul, einschließlich eines Untermoduls für den cross-modalen Abgleich und eines Untermoduls für die Kausalkorrektur; Das semantische hierarchische Interpretationsmodul, das die verborgene Schicht des Modells mit der Entität des Wissensgraphen abgleicht, die Entscheidungsinferenzkette extrahiert, den Grad des Fachwissens des Benutzers identifiziert, die Interpretation nach Ebene ausgibt und einen adaptiven hierarchischen Interpretationsinhalt erzeugt; Das semantische hierarchische Interpretationsmodul, das ein semantisches Mapping-Untermodul und ein hierarchisches Generierungs-Untermodul enthält; Das Modul zur Uberwachung der Interpretationskonsistenz, um die Unterschiede in der Verteilung der Interpretation zu quantifizieren, die neuen Datenteilmengen zu lokalisieren, Parameter zuzuordnen, um die Kausalitit zu aktualisieren, und den Bericht zur Uberwachung der Interpretationskonsistenz zu erzeugen; das Modul zur Überwachung der Interpretationskonsistenz umfasst das Untermodul für die Diskrepanzmetrik und das Untermodul für die Rückverfolgbarkeit der Drift.Correction features; LU601246 The multimodal causal analysis module, including a sub-module for cross-modal matching and a sub-module for causal correction; The semantic hierarchical interpretation module, which matches the hidden layer of the model with the entity of the knowledge graph, extracts the decision inference chain, identifies the user's level of expertise, outputs the interpretation by level, and generates adaptive hierarchical interpretation content; The semantic hierarchical interpretation module, which includes a semantic mapping sub-module and a hierarchical generation sub-module; The interpretation consistency monitoring module to quantify differences in the distribution of interpretations, locate new data subsets, assign parameters to update causality, and generate the interpretation consistency monitoring report; The module for monitoring interpretation consistency includes the sub-module for the discrepancy metric and the sub-module for drift traceability. 8. Das System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 7, dadurch gekennzeichnet, dass: ein Untermodul für den cross-modalen Abgleich eine Assoziationsmatrix von lokalen Regionen des Bildes und Textworteinbettungen konstruiert und eine cross-modale Assoziationsmatrix erzeugt; Das Untermodul zur kausalen Korrektur, das Schlüsselregionen des Bildes lokalisiert, Beiträge von Textmerkmalen berechnet, eine Teilmenge von kausalen Merkmalen filtert, pseudokorreliertes Rauschen filtert und eine Teilmenge von kausalen Korrekturmerkmalen erzeugt.8. The system for interpreting model algorithms of artificial intelligence according to claim 7, characterized in that: a submodule for cross-modal matching constructs an association matrix of local regions of the image and text word embeddings and generates a cross-modal association matrix; the submodule for causal correction, which localizes key regions of the image, calculates contributions of text features, filters a subset of causal features, filters pseudocorrelated noise, and generates a subset of causal correction features. 9. Das System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 7, dadurch gekennzeichnet, dass: ein semantisches Abbildungsuntermodul, das die verborgene Schichtdarstellung des Modells mit dem Wissensgraphenentitätseinbettungsraum abgleicht, eine verborgene Schicht, Wissensentitätsabbildungstabelle erzeugt; Das Untermodul für die hierarchische Erzeugung, das eine semantisierte Inferenzkette extrahiert, das Fachwissen des Benutzers identifiziert, dynamisch einen hierarchischen Interpretationsinhalt erzeugt und einen adaptiven hierarchischen Interpretationsinhalt erzeugt.9. The system for interpreting model algorithms of artificial intelligence according to claim 7, characterized in that: a semantic mapping submodule that aligns the hidden layer representation of the model with the knowledge graph entity embedding space, generates a hidden layer, knowledge entity mapping table; the submodule for hierarchical generation that extracts a semanticized inference chain, identifies the user's expertise, dynamically generates a hierarchical interpretation content and generates an adaptive hierarchical interpretation content. 10. Das System zur Interpretation von Modellalgorithmen der künstlichen Intelligenz nach Anspruch 7, dadurch gekennzeichnet, dass: ein Untermodul für eine Diskrepanzmetrik, das den Unterschied in der Verteilung von Erklärungen vor und nach der Modellaktualisierung berechnet und eine Tabelle zur Bewertung der Erklärungsdiskrepanz erzeugt; Das Untermodul für die Rückverfolgbarkeit von Driften, das eine Teilmenge der hinzugefügten Daten lokalisiert, Parameter korreliert, um kausale Beziehungen zu aktualisieren, und einen Bericht zur Überwachung der Erklärungskonsistenz erzeugt.10. The system for interpreting artificial intelligence model algorithms according to claim 7, characterized in that: a submodule for a discrepancy metric that calculates the difference in the distribution of explanations before and after the model update and generates a table for evaluating the explanation discrepancy; the submodule for drift traceability that locates a subset of the added data, correlates parameters to update causal relationships, and generates a report for monitoring explanation consistency.
LU601246A 2025-04-22 2025-04-22 Methods and systems for interpreting artificial intelligence model algorithms LU601246B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
LU601246A LU601246B1 (en) 2025-04-22 2025-04-22 Methods and systems for interpreting artificial intelligence model algorithms

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
LU601246A LU601246B1 (en) 2025-04-22 2025-04-22 Methods and systems for interpreting artificial intelligence model algorithms

Publications (1)

Publication Number Publication Date
LU601246B1 true LU601246B1 (en) 2025-10-22

Family

ID=97406089

Family Applications (1)

Application Number Title Priority Date Filing Date
LU601246A LU601246B1 (en) 2025-04-22 2025-04-22 Methods and systems for interpreting artificial intelligence model algorithms

Country Status (1)

Country Link
LU (1) LU601246B1 (en)

Similar Documents

Publication Publication Date Title
CN103095494B (en) A kind of electric power telecommunication network risk assessment method
US20020165841A1 (en) Evidential reasoning system and method
CN119903909A (en) Learning assistance method, device and electronic device based on question bank knowledge graph
Hayek et al. Machine learning and external auditor perception: An analysis for UAE external auditors using technology acceptance model
Orobinskaya et al. Problems of interpretability and transparency of decisions made by AI
CN116957361B (en) Ship task system health state detection method based on virtual-real combination
US20020184140A1 (en) Computerized method for determining a credit line
Wang et al. Research on the training and management of industrializing workers in prefabricated building with machine vision and human behaviour modelling based on industry 4.0 era
LU601246B1 (en) Methods and systems for interpreting artificial intelligence model algorithms
CN109858550B (en) Machine identification method for potential process failure mode
DE112021001565B4 (en) SORTING DATA ELEMENTS OF A SPECIFIC SET OF DATA ELEMENTS
CN114153952A (en) Interviewer management system and scoring quality monitoring and analyzing method
Yang A study on the impact of corporate financial accounting management system on corporate innovation under sustainable development strategy
CN118967299A (en) Bank data analysis method based on XGBoost model local interpretable rule set construction
CN113962530B (en) An indicator early warning method and system based on data mining
CN116366325A (en) A Method of Building Anomaly Detection Model Based on Terminal Security Situation Data
LU600534B1 (en) Method and system for recognizing artificial intelligence algorithms
LU601419B1 (en) Methods and systems for evaluating the programmability of artificial intelligence algorithms
LU601247B1 (en) An industrial big data processing method and system based on artificial intelligence algorithms
Gilroy et al. The development and application of a rail human reliability assessment tool
Nasrollahi et al. Simultaneous interpretive structural modelling and weighting (SISMW)
Srimani et al. Regression model for Edu-data in technical education system: A linear approach
CN117994663B (en) A bridge disease detection and maintenance method and system based on Yolo algorithm
Daneshvartarigh et al. Study on factors affecting bim implementation in european renovation projects
Nurasiah et al. Development of a deep learning model for mental health classification and early screening through Draw A Person (DAP) test images

Legal Events

Date Code Title Description
FG Patent granted

Effective date: 20251022