LU102496B1 - Facial expression recognition method based on attention mechanism - Google Patents

Claims (9)

PATENTANSPRUCHE

1. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzierungsmechanismus, gekennzeichnet durch: zunächst Erstellen eines Gesichtsausdruckerkennungsmodells, dessen Struktur gemäß einer Bildeingabefolge wie folgt ist: ein Konvolutionsmodul, ein Maximum-Poolbildungsmodul, ein Referenzierungsrestgrößenmodul, ein Maximum-Poolbildungsmodul, ein Referenzierungsrestgrößenmodul, ein Maximum-Poolbildungsmodul und zwei vollständig vernetzte Schichten, und eine Softmax-Funktion, wobei ein konvergiertes Gesichtsausdruckvorhersageergebnis durch einen Endpunkt-zu-Endpunkt-Ablauf erlangt wird; wobei das Referenzierungsrestgrolenmodul ein Modul ist, in dem ein Selbstreferenzierungsmechanismus und ein Kanalreferenzierungsmechanismus auf Grundlage eines Restgrößennetzes addiert werden, um die Empfindlichkeit für nützliche Informationen in einem Eingabebild zu verbessern und nutzlose Informationen zu unterdrücken: ein Additionsablauf in einen seriellen Ablauf und einen parallelen Ablauf unterteilt ist, wobei der serielle Ablauf in das Durchführen von Selbstreferenzierung gefolgt von Kanalreferenzierung unterteilt ist, und die Kanalreferenzierung gefolgt von der Selbstreferenzierung durchgeführt wird, und der parallele Ablauf die Selbstreferenzierung und die Kanalreferenzierung parallel ausführt; und die Selbstreferenzierung dazu dient, einen gewichteten Mittelwert aller Positionspixel in einer eingegebenen Gesichtsausdruckmerkmalskarte zu berechnen, um die relative Wichtigkeit von Schlüsselpositionen in der Gesichtsausdruckmerkmalskarte zu berechnen, und die Schlüsselpositionen wichtige Positionen zum Erkennen eines Ausdrucks sind und insbesondere Positionen sind, die zum Erkennen des Ausdrucks in der Merkmalskarte einschließlich Mund und Augen wichtig sind; sodann Verwenden der Kanalreferenzierung zum Frlemen unterschiedlicher Merkmale in einer Kanaldomäne, um so eine Kanalreferenzierung zu erzeugen, um Interaktionsmerkmale in unterschiedliche Kanäle einzulernen, sodass ein Kanal der Merkmalskarte ein Ziel erfassen kann, um den Kanal an den Schlüsselpositionen der Merkmalskarte zu lokalisieren und dadurch Robustheit zu verbessern; und Zusammenführen des Selbstreferenzierungsmechanismus und des Kanalreferenzierungsmechanismus zum Fördern der Fähigkeit eines 1

Gesichtsausdruckerkennungsmodells, die Schlüsselpositionen in der Gesichtsausdruckmerkmalskarte als globale wichtige Merkmale zu extrahieren, und Verwenden des wiederholten Maximum-Poolbildungsmoduls und des ReferenzierungsrestgréBenmoduls zur Fehlerreduzierung und zum Ausgeben eines optimalen Erkennungsergebnisses durch einen Endpunkt-zu-Endpunkt-Finlernablauf.

2. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzierungsmechanismus nach Anspruch 1, dadurch gekennzeichnet, dass bei einem Erstellungsprozess des Gesichtsausdruckerkennungsmodells der Selbstreferenzierungsmechanismus auf Grundlage des verwendeten RestgrôBennetzwerks y = Fx, {W;}) + x eingebracht wird, wobei x und y Jeweils für Eingabe- und Ausgabeinformationen des Restgroflennetzwerks stehen und F(x, {W}) für RestgroBenzuordnung steht.

3. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzierungsmechanismus nach Anspruch 1, dadurch gekennzeichnet, dass ein Selbstreferenzierungsmodul beim Berechnen der Ausgabe der einzelnen Positionen auf der Merkmalskarte nichtlokale Rechenvorgänge bezüglich aller Signale im Zusammenhang mit einem aktuellen Ausdruck anwendet und eine Relevanzgewichtung ermittelt, um die Relevanz anderer Positionen und einer aktuellen zu berechnenden Position darzustellen, was wie folgt definiert ist: 1 yi = SZ f(x x; )g(xj) vy wobei i für eine beliebige Position auf einer Ausgabemerkmalskarte steht, j ein Index aller möglichen Positionen auf der Merkmalskarte ist, x eine Eingabemerkmalskarte ist, y die Ausgabemerkmalskarte ist, wobei sich Pixelwerte der Ausgabemerkmalskarte und der Eingabemerkmalskarte geändert haben und eine Dimension dieselbe wie bei der Eingabemerkmalskarte ist, f eine Funktion zum Berechnen der Relevanz zwischen zwei beliebigen Punkten ist, g eine Ein-Variablen-Funktion zur Informationstransformation ist und 2

C(x) eine Normierungsfunktion ist; wobei, da f und g beide allgemeine Formeln sind, in Verbindung mit einem neuronalen Netz eine spezifische Form zu berücksichtigen ist, wobei erstens g eine Ein-Variablen-Eingabe ist, die mittels !*1-Konvolution ersetzt wird, und die Form wie folgt ist: a(x) = W,x;, wobei beliebige zwei Punkte, dargestellt durch f, an zwei Positionen in einem Einbettungsraum eingesetzt werden, wobei eine Berechnungsformel lautet: f(x, x;) = eG wobei 6(x;) = Wyx;, b(x;) = Wax;, der Normierungsparameter C(x) = Xv; f(x; x;) hinsichtlich einer gegebenen Position i, wf (xx) Softmax wird, um alle Positionen j zu berechnen, und die erlangte Ausgabe einer Selbstreferenzierungsschicht lautet: y = softmax(xTWJ Wx) g(x)

unter der Annahme, dass eine Eingabemerkmalskarte eines Selbstreferenzierungsnetzes FHXWXC ist, eine Transformation in zwei Einbettungsräume mittels zwei Konvolutionsgewichtungen Wg und W,, erfolgt, um FHXWXC" und FHXWXC" zu erlangen, wobei allgemein C “ < €, wobei der Zweck darin besteht, die Anzahl von Kanälen und eine Menge an Berechnungen zu reduzieren; wobei zweitens ein Umformungsvorgang an der Ausgabemerkmalskarte durchgeführt wird, um sie in F HWxc' umzuwandeln, anschlieBend ein Transpositionsvorgang an einer Matrix durchgeführt wird, die durch die Wg-Transformation erlangt wurde, und dann eine Matrixmultiplikation durchgeführt wird, um Ahnlichkeiten zu berechnen und eine Ahnlichkeitsmatrix FFWX#W zu erlangen, woraufhin ein Softmax- Vorgang an einer letzten Dimensionalität durchgeführt wird, was dem Frlangen einer Normierungsrelevanz jedes Pixels und anderer Positionspixel in der aktuellen Merkmalskarte entspricht; wobei zuletzt g unter Dimensionalitätsreduzierung und dann mittels dem Umformungsvorgang verarbeitet wird und mit der Matrix F""XHW multipliziert wird, der Referenzierungsmechanismus auf alle Kanäle der Merkmalskarte angewandt wird und schließlich die Kanäle durch cine Konvolution von 1” 1 wiederhergestellt werden, um sicherzustellen, dass die Fingabe- und Ausgabedimensionen genau gleich sind;

3 wobei mathematisch betrachtet unter der Annahme, dass die Merkmalskarte einer vorhergehenden Schicht des Selbstreferenzierungsnetzes x € R°XN ist, sie zunächst in zwei Merkmalsräume f und g mappiert wird, wobei f = W,x, g = Wax Bji = os, = 0(x;)4(s;) wobei in der Formel f;; für den Beitrag einer i-ten Position zu einem j-ten Bereich steht, wenn der j-te Bereich der Merkmalskarte synthesisiert wird, C hier für die Anzahl Kanäle der Merkmalskarte der vorhergehenden Schicht steht und N für die Anzahl von Pixeln der Merkmalskarte der vorhergehenden Schicht steht; weshalb die Ausgabe der Selbstreferenzierungsschicht o = (oy, 02, … Oj, … ON) lautet, wobei:

N 0; = v (X b,19 x) i=1 wobei in der Formel Wy ERC*XC | W,ERC<C W, ER und W, € RC*C" Gewichtungen eines Konvolutionskerns sind und €’ ein Hyperparameter ist, und C < C; woraufhin eine RestgrôfBenverbindung eingebracht wird und die endgültige Ausgabe des Selbstreferenzierungsmoduls lautet: y; = yo; + x;, wobei Ÿ ein erlernbarer Hyperparameter ist und auf 0 initialisiert wird, und eine Gewichtung im Zuge eines Einlemprozesses allmählich erhôht wird.

4. Gesichtsausdruckserkennungsverfahren auf Grundlage cines Referenzierungsmechanismus nach Anspruch 1, dadurch gekennzeichnet, dass das Kanalreferenzierungsmodul dazu dient, auf einen Merkmalsdetektor einzuwirken, um die Kanalreferenzierung einzubringen und eine Gewichtungsverteilung zwischen den Kanälen zu erlernen, um Kanäle zu verstärken, die für die Ausdruckserkennungsaufgabe nützlich sind, und Kanäle zu schwächen, die für die Aufgabe irrelevant sind; wobei für jeden Kanal der intermediären Merkmalskarte, die geändert wurde. die Merkmalskarte durch globale Mittelwert-Poolbildungs- und globale Maximum-Poolbildungsvorgänge auf Grundlage von Höhe und Breite in zwei unterschiedliche Räume komprimiert wird, um zwei Merkmalskarten 4 zu erlangen, woraufhin die beiden erlangten Merkmalskarten in zwei Netze eingegeben werden, die einen gleichen Satz Parameter nutzen, also in ein vollständig vernetztes neuronales Netz mit gemeinsamen Parametern, wobei Ausgabevektoren der vollständig vernetzten Schicht anhand von entsprechenden Elementen summiert werden, die Merkmale der zwei Räume zusammengeführt werden und schließlich durch eine Signoidaktivierungsfunktion ein endgültiges Kanalgewicht erlangt wird, was spezifisch wie folgt ist: unter der Annahme, dass die Eingabemerkmalskarte FFXWXC ist wobei H,W,C jeweils eine Höhe, eine Breite und die Anzahl der Kanäle der Merkmalskarte sind, eine Maximum- Poolbildung-Merkmalskarte Frax € R'X"*XC und eine globaler-Mittelwert-Poolbildung- Merkmalskarte Fayg € RPC jeweils durch die Poolbildung erlangt werden und dann die beiden Merkmalskarten an das vollständig vernetzte neuronale Netz geschickt werden, das nur eine verborgene Schicht enthält, und der Berechnungsprozess wie folgt ist: M, = sigmoid (MLP(AvgPool(F)) + MLP(MaxPool(F))) wobei ferner: M, = sigmoid (ws (Wo(Favg)) + W, (Wo (Fran) wobei Wy, W, gemeinsame Gewichtungen der vollständig vernetzten Schichten sind und W, € RCW, € RE.

5. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzierungsmechanismus nach Anspruch 4, dadurch gekennzeichnet, dass der Selbstreferenzierungsmechanismus und der Kanalreferenzierungsmechanismus auf Grundlage des RestgrôBenmoduls addiert werden, um ein ReferenzierungsrestgrôBenmodul zu bilden, das eine Merkmalsextraktionsfähigkeit eines Gesichtsausdruckerkennungsmodellnetzes verbessert, wobei die Abhängigkeit zwischen langfristigen Merkmalen erfasst wird, die Empfindlichkeit des Modells für nützliche Informationen verbessert wird und unnütze Informationen unterdrückt werden; und wobei der Additionsablauf in einen seriellen Ablauf und einen parallelen Ablauf unterteilt ist. wobei der serielle in das Ausführen von Selbstreferenzierung gefolgt von Kanalreferenzierung und Ausführen von Kanalreferenzierung gefolgt von Selbstreferenzierung unterteilt ist.

6. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzicrungsmechanismus nach Anspruch 5, dadurch gekennzeichnet, dass der Additionsablauf der Selbstreferenzierung gefolgt von Kanalrcferenzierung im seriellen Ablauf spezifisch wie folgt ist: ein Modus des Ausführens von Selbstreferenzierung gefolgt von Kanalreferenzierung des seriellen Ablaufs: die vorhergehende Schicht wird Konvolution unterzogen, um eine Merkmalskarte F,, als eine Eingabe zu erlangen, eine Kanalreferenzierungskarte Fria wird mittels der Kanalreferenzierung M, erlangt und dann mit der Eingabemerkmalskarte als Eingabe der Selbstreferenzierung M, zusammengeführt, woraufhin die mittels M, erlangte Merkmalskarte mit Frmia zusammengefithrt wird. um die endgültige Ausgabe des Referenzierungsmoduls zu erlangen und die mathematisch Beschreibung wie folgt ist: Frida = Ma(Fin)®Fin Fout = Mc (Fria) ®Fmiq.

7. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzierungsmechanismus nach Anspruch 5, dadurch gekennzeichnet, dass der Additionsablauf der Kanalreferenzierung gefolgt von Selbstreferenzierung im seriellen Ablauf spezifisch wie folgt ist: ein Modus der Kanalreferenzicrung gefolgt von Selbstreferenzierung im seriellen Ablauf: die vorhergehende Schicht wird Konvolution unterzogen, um eine Merkmalskarte als Eingabe zu erlangen. jeweilige Merkmalskarten werden mittels der Selbstreferenzierung M, und der Kanalreferenzierung M, erlangt und dann mit der Eingabemerkmalskarte Fi, zusammengeführt, um jeweils eine Selbstreferenzierungskarte Fig und eine Kanalreferenzierungskarte Fe 74 erlangen, und schließlich Durchführen eines Summierungsvorgangs der entsprechenden Elemente an den erlangten Referenzierungskarten, um die endgültige Referenzierungskartenausgabe Four zu erlangen, wobei eine 6 mathematische Beschreibung wie folgt ist: Fria = M (Fin) Fin Fout = Ma (Fria) ®Fmia wobei @ besagt, dass die entsprechenden Elemente multipliziert werden.

8. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzterungsmechanismus nach Anspruch 5, dadurch gekennzeichnet, dass die Schritte des parallelen Additionsablaufs folgende sind: die vorhergehende Schicht wird Konvolution unterzogen, um eine Merkmalskarte als Eingabe zu erlangen, jeweilige Merkmalskarten werden mittels der Selbstreferenzierung M, und der Kanalreferenzierung M, erlangt, ein Multiplikationsvorgang der entsprechenden Elemente wird an der erlangten Merkmalskarte und der Eingabemerkmalskarte ausgeführt, um jeweils eine Selbstreferenzierungskarte F2; und eine Kanalreferenzierungskarte Ffia zu erlangen, und schließlich werden die entsprechenden Elemente der der beiden erlangten Referenzierungskarten addiert, um die endgültige Ausgabe Four Zu erlangen, wobei cine mathematische Beschreibung wie folgt ist: Fria = Mc (Fin)®Fin Fria = Ma(Fin)®Fin Four = Fria © Frnid wobei in der Formel & besagt, dass die entsprechenden Elemente addiert werden, und ® besagt, dass die entsprechenden Flemente multipliziert werden.

9. Gesichtsausdruckserkennungsverfahren auf Grundlage eines Referenzierungsmechanismus nach Anspruch 1, dadurch gekennzeichnet, dass Kanalreferenzierung und Selbstreferenzierung in einem Restgrößenmodul bereitgestellt werden, um ein Referenzierungsrestgrößenmodul zu bilden, das spezifisch in drei Strukturen unterteilt ist: separates Verwenden eines Selbstreferenzierungsmechanismus, separates Verwenden eines Kanalreferenzierungsmechanismus und gleichzeitiges Verwenden des Selbstreferenzierungs- und des Kanalreferenzierungsmechanismus; wobei das Referenzierungsrestgrößenmodul ein 7

Modul ist, bei dem der Referenzierungsmechanismus auf Grundlage eines anfänglichen RestgrôBenmoduls addiert wird. 8