WO2024256344A1

WO2024256344A1 - Steuern eines haushaltsgeräts

Info

Publication number: WO2024256344A1
Application number: PCT/EP2024/065965
Authority: WO
Inventors: Manuel KIRSCHNER
Original assignee: BSH Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2023-06-13
Filing date: 2024-06-10
Publication date: 2024-12-19
Anticipated expiration: 2025-12-13
Also published as: CN121336255A; EP4728506A1; DE102023205462A1

Abstract

Ein Verfahren (200) zum Steuern eines Haushaltsgeräts (105) umfasst Schritte des Erfassens (210) einer sprachlich formulierten Unterstützungsanforderung im Bereich des Haushaltsgeräts (105); des Umwandelns (215) der Unterstützungsanforderung in eine textuelle Repräsentation; des Bestimmens (220) einer Antwort in Textform mittels eines Sprachmodells (155); des Umwandelns (225) der Antwort in eine sprachliche Repräsentation; und des Ausgebens (230) der sprachlichen Repräsentation an dem Haushaltsgerät (105).

Description

Steuern eines Haushaltsgeräts

Die vorliegende Erfindung betrifft die Steuerung eines Haushaltsgeräts. Insbesondere betrifft die Erfindung eine verbesserte Benutzerführung bei der Steuerung des Haushaltsgeräts.

Ein Haushaltsgerät, beispielsweise eine Waschmaschine, umfasst Bedienelemente, mit denen ein Benutzer ein vorbestimmtes Programm auswählen, eine Option einstellen oder eine Information über das Gerät erfassen kann. Obwohl eine Benutzerführung in den meisten Fällen intuitiv ist, gibt es Fälle, in denen der Benutzer Unterstützung benötigt. Beispielsweise kann der Benutzer eine Frage zur korrekten Verwendung einer Option oder eines Programms haben, oder das Haushaltsgerät kann einen Fehler oder eine Warnung signalisieren, die nicht aus sich heraus verständlich ist.

Klassischerweise kann der Benutzer eine Bedienungsanleitung konsultieren, die zusammen mit dem Gerät ausgeliefert sein kann. Alternativ kann der Benutzer ein Hilfecenter oder einen Fachmann zu Rate ziehen. Eine weitere Informationsmöglichkeit umfasst ein Forum oder ein Dokumentationszentrum, das über das Internet erreichbar sein kann. Diese Informationsquellen haben gemein, dass sie in der Regel nicht vertrauenswürdig sind oder nicht auf das spezifische Problem bzw. die Fragestellung des Benutzers eingehen. Außerdem muss bei manchen Methoden eine längere Wartezeit für eine Antwort in Kauf genommen werden. Eine Nutzung mancher Quellen ist kostenpflichtig. Nicht in allen Fällen ist eine Antwort sachdienlich oder ungefährlich. Unter Umständen kann der Benutzer einen Rat befolgen und das Problem dadurch verschlimmern oder ein neues Problem verursachen.

Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Steuerung eines Haushaltsgeräts. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Steuern eines Haushaltsgeräts Schritte des Erfassens einer sprachlich formulierten Unterstützungsanforderung im Bereich des Haushaltsgeräts; des Umwandelns der Unterstützungsanforderung in eine textuelle Repräsentation; des Bestimmens einer Antwort in Textform mittels eines Sprachmodells; des Umwandelns der Antwort in eine sprachliche Repräsentation; und des Ausgebens der sprachlichen Repräsentation an dem Haushaltsgerät.

Verfahrensgemäß können ein Fachwissen und ein Sprachverständnis, das mittels eines Sprachmodells erreicht werden kann, dazu genutzt werden, eine spezifische Antwort auf eine Anforderung bereitzustellen, die ein Benutzer des Haushaltsgeräts formuliert. So kann eine sprachliche Interaktion zwischen dem Haushaltsgerät und dem Benutzer erfolgen, um ein bestehendes Problem zu lösen. Das Verfahren kann durch den Benutzer intuitiv gesteuert bzw. ausgelöst werden. Eine Antwort kann mit geringer oder ohne merkliche Verzögerung bereitgestellt werden. Das Sprachmodell kann lernfähig sein, sodass auf der Basis von Unterstützungsanforderungen eines oder mehrerer Benutzer im Lauf der Zeit zunehmend bessere Antworten gefunden werden können.

Das Sprachmodell umfasst bevorzugt ein Large Language Model (LLM), das auf einem künstlichen neuronalen Netzwerk (KNN) mit einer großen Vielzahl von Parametern realisiert ist. In einer typischen Ausführungsform können an einem allgemeinen LLM mehrere Milliarden Gewichte zwischen Neuronen bestimmt sein. Das Netzwerk kann auf einer großen Vielzahl ungekennzeichnetem (unlabelled) Text mittels selbstüberwachten Lernens (unsupervised learning) trainiert sein. Beispielhafte bekannte Sprachmodelle, die sich für den angegebenen Zweck eignen können, umfassen GPT-2, GPT-3, GPT-4, Minerva, PaLM oder LaMDA.

Das Sprachmodell kann von einem externen Dienstleister betrieben und für die Beantwortung der Unterstützungsanforderung bereitgestellt werden. Dabei kann die Qualität von bereitgestellten Antworten verbessert werden, indem eine oder mehrere Maßnahmen zur spezifischen Fortbildung oder Anpassung des Sprachmodells angewandt werden.

In einer Ausführungsform ist das Sprachmodell bezüglich auf das Haushaltsgerät bezogenen Vokabeln trainiert. So kann beispielsweise bezüglich einer Waschmaschine ein verbessertes technisches Verständnis für eine Komponente wie eine Wasserpumpe, einen Ökoverschluss oder einen Aquastop erreicht werden. Die Vokabeln können in das Sprachmodell eingebaut werden, sodass die Vokabeln nicht nur grammatikalisch, sondern auch bezüglich ihrer Bedeutung sinnvoll zu Sätzen in einem gegebenen Kontext zusammengebaut werden können.

In einer weiteren Ausführungsform ist das Sprachmodell bezüglich einer Bedienung des Haushaltsgeräts trainiert. Beispielsweise können Inhalte einer Bedienungsanleitung oder eines allgemeinen Bedienungsleitfadens für Haushaltsgeräte derselben Art oder Klasse als Trainingsdaten verwendet werden. Weitere Datenquellen können beispielsweise eine Diskussion in einem Forum oder Hintergrundinformationen umfassen, etwa aus einer wissenschaftlichen Veröffentlichung oder einem Testbericht. So kann der Benutzer beispielsweise bezüglich einer Waschmaschine in Erfahrung bringen, wie er eine bestimmte Verschmutzung aus einem vorliegenden Textil schonend entfernen kann.

In einer weiteren Ausführungsform ist das Sprachmodell bezüglich einer Funktion des Haushaltsgeräts trainiert. Dazu können beispielsweise Informationen aus einem Servicemanual oder einem allgemeinen Werk bezüglich der Funktion der vorliegenden Klasse von Haushaltsgeräten als Trainingsdaten verwendet werden.

In wieder einer weiteren Ausführungsform ist das Sprachmodell bezüglich einer Fehlerbehandlung des Haushaltsgeräts trainiert. Die Fehlerbehandlung kann Fehler umfassen, die vom Haushaltsgerät selbst gemeldet werden, oder Fehler, die der Benutzer durch eine mangelhafte Funktion bemerkt. Auch hierfür können beispielsweise Funktions- oder Instandsetzungsdokumentationen oder Forenunterhaltungen als Trainingsmaterial verwendet werden. Allgemein gilt, dass erzielbare Antworten des Sprachmodells an Qualität gewinnen können, wenn die genannten zusätzlichen Trainingsdaten möglichst genau und möglichst umfangreich sind.

Ein Betreiber eines Sprachmodells kann eine Schnittstelle anbieten, über die Spezialwissen beigesteuert bzw. dem Sprachmodell zugänglich gemacht werden kann. So können auf das Haushaltsgerät bezogene Trainingsdaten modular mit allgemeinen Trainingsdaten des Sprachmodells kombiniert werden. Die bereitgestellten Trainingsdaten können vom restlichen Komplex des Sprachmodells separierbar sein, sodass eine Vermischung oder Kombination nur unter vorbestimmten Bedingungen stattfindet. Beispielsweise kann sichergestellt sein, dass das Sprachmodell nur dann auf die zusätzlichen Informationen zugreift, wenn eine spezifische Schnittstelle, die der Betreiber dafür vorgesehen hat, genutzt wird. Ein Benutzer, der eine andere, insbesondere eine öffentliche Schnittstelle des Sprachmodells nutzt, kann Antworten erhalten, die nicht auf den spezifisch beigesteuerten Trainingsdaten basieren.

Es ist allgemein bevorzugt, dass zunächst ein vorbestimmtes Schlüsselwort oder eine Schlüsselphrase erkannt wird, das der Unterstützungsanforderung vorangestellt ist. So kann zunächst nur darauf geachtet werden, ob das Schlüsselwort in akustischen Daten im Bereich des Haushaltsgeräts erkannt werden kann, und nur wenn dies der Fall ist, kann eine weitere Prozessierung von Audiodaten gestartet werden. Eine Privatsphäre einer Person im Bereich des Haushaltsgeräts kann so verbessert geschützt sein. Außerdem kann eine Analyse von sprachlichen Äußerungen, die keine Unterstützungsanforderung umfassen, verhindert werden.

In einer weiter bevorzugten Ausführungsform erfolgt das Umwandeln der sprachlich formulierten Unterstützungsanforderung in eine textuelle Repräsentation unter Nutzung eines vorbestimmten Wortschatzes, der insbesondere auf das Haushaltsgerät bezogen ist. Eine Umsetzung gesprochener Sprache in geschriebenes Wort kann auf diese Weise verbessert treffsicher und fehlerarm sein. Ein Erkennungsmodell zur Umwandlung gesprochener Sprache kann zusätzlich zur Erkennung von Fachbegriffen und Eigennamen im Zusammenhang mit dem Haushaltsgerät trainiert werden. Dabei kann eine modulare Vorgehensweise, bei der die trainierten Fachbegriffe von einem allgemeinen Wortschatz trennbar sind, unterstützt werden. Die Vorgehensweise hierzu kann derjenigen bezüglich der Modularität von Lerninhalten beim Sprachmodell entsprechen.

Nach einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung zur Steuerung eines Haushaltsgeräts wenigstens ein Mikrofon im Bereich des Haushaltsgeräts, zur Erfassung einer sprachlich formulierten Unterstützungsanforderung; eine akustische Ausgabeeinrichtung im Bereich des Haushaltsgeräts; eine Kommunikationseinrichtung zur Kommunikation mit einem zum Haushaltsgerät externen Dienst; und eine Verarbeitungseinrichtung.

Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, einen Hinweis auf die Unterstützungsanforderung an den externen Dienst zu übermitteln; eine Antwort auf die Unterstützungsanforderung zu empfangen; und eine sprachliche Repräsentation der Antwort auszugeben.

Die Vorrichtung und insbesondere die von ihr umfasste Verarbeitungseinrichtung sind bevorzugt dazu eingerichtet, ein hierin beschriebenes Verfahren zumindest teilweise auszuführen. Das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.

Die Vorrichtung kann kostengünstig an einem Haushaltsgerät nachgerüstet werden, wenn dieses bereits eine oder mehrere der genannten Komponenten enthält. Die Kommunika- tionseinrichtung ist bevorzugt dazu eingerichtet, eine drahtgebundene oder drahtlose Verbindung über ein Daten- oder Kommunikationsnetzwerk zu dem externen Dienst bereitzustellen. Beispielsweise kann die Kommunikationseinrichtung zur Kommunikation mit einem Mobilfunknetz oder dem Internet eingerichtet sein.

In unterschiedlichen Ausführungsformen können noch weitere Komponenten, die zur Ausführung des Verfahrens eingesetzt werden, von der Vorrichtung umfasst sein. In einer Ausführungsform umfasst die Vorrichtung ferner eine Einrichtung zur Erfassung eines vorbestimmten Schlüsselworts, das der Unterstützungsanforderung vorangestellt ist. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, den Hinweis auf die Unterstützungsanforderung nur nach dem Erkennen des Schlüsselworts an den externen Dienst weiterzuleiten.

Auch die Umwandlung der Unterstützungsanforderung von einer akustischen in eine tex- tuelle Ausprägungsform kann durch die Vorrichtung erfolgen. In einer Ausführungsform umfasst die Vorrichtung eine Einrichtung zur Umwandlung der Unterstützungsanforderung in eine textuelle Repräsentation; wobei der Hinweis die textuelle Repräsentation umfasst. In einer anderen Ausführungsform kann die Umwandlung durch einen externen Dienst erfolgen, der über die Kommunikationseinrichtung kontaktiert wird. Der externe Dienst kann separat vom Sprachmodell oder mit ihm kombiniert ausgeführt sein.

In einer weiteren Ausführungsform wird die Antwort in Textform empfangen, wobei die Vorrichtung ferner eine Einrichtung zur Umwandlung der Antwort in eine sprachliche Repräsentation umfasst. So kann die Antwort in Textform nur geringen Umfang aufweisen und rasch an das Haushaltsgerät übermittelt werden. Eine Umwandlung in eine sprachliche Repräsentation erfolgt dann erst im Haushaltsgerät.

In einer weiteren Ausführungsform ist eine Schnittstelle zur Steuerung einer Funktion des Haushaltsgeräts in Abhängigkeit der Antwort vorgesehen. So kann beispielsweise eine optische Anzeigevorrichtung genutzt werden, um die Antwort in Textform auszugeben. In einer anderen Ausführungsform kann ein beispielsweise optischer Hinweis auf ein zu benutzendes Bedienelement des Haushaltsgeräts in Übereinstimmung mit der Antwort hervorgehoben werden.

Ein Haushaltsgerät umfasst eine hierin beschriebene Vorrichtung. Das Haushaltsgerät kann insbesondere zur Wäschepflege vorgesehen sein und eine Waschmaschine oder einen Trockner umfassen. Weitere beispielhafte Haushaltsgeräte, die mit der Vorrichtung ausgestattet sein können, umfassen eine Dunstabzugshaube oder einen Kaffeeautomaten.

Ein System zur Steuerung eines Haushaltsgeräts umfasst wenigstens ein Mikrofon im Bereich des Haushaltsgeräts, zur Erfassung einer sprachlich formulierten Unterstützungsanforderung; eine Einrichtung zur Bestimmung einer textuellen Repräsentation der Unterstützungsanforderung; ein Sprachmodell, das dazu eingerichtet ist, eine Antwort in Textform auf eine textuell repräsentierte Unterstützungsanforderung bereitzustellen; eine Einrichtung zur Bereitstellung einer sprachlichen Repräsentation einer in Textform repräsentierten Antwort; und eine akustische Ausgabeeinrichtung im Bereich des Haushaltsgeräts, um eine bereitgestellte sprachliche Repräsentation akustisch auszugeben.

Das System kann insbesondere ein hierin beschriebenes Haushaltsgerät und einen Dienst umfassen, der extern vom Haushaltsgerät ist. Weitere Dienste können zusätzliche Funktionalitäten realisieren. Es ist bevorzugt, dass das System zur Nutzung durch eine Vielzahl Haushaltsgeräte eingerichtet ist. Dabei können die Haushaltsgeräte beispielsweise einer gemeinsamen Geräteklasse angehören oder von demselben Hersteller gefertigt werden.

Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:

Figur 1 ein System; und

Figur 2 ein Ablaufdiagramm eines Verfahrens darstellt.

Figur 1 zeigt ein System 100 zum Steuern eines Haushaltsgeräts 105. Das Haushaltsgerät 105 ist dazu eingerichtet, einem vorbestimmten Zweck in einem Haushalt zu dienen. Dieser Zweck kann insbesondere eine Wäschepflege oder eine Aufgabe in einer Küche umfassen. Ein Benutzer oder eine Benutzerin 110 kann das Haushaltsgerät 105 nutzen. Im Folgenden wird rein beispielhaft und ohne spezifische Intention oder Einschränkung der männliche Genus für den Benutzer 110 verwendet.

Das Haushaltsgerät 105 umfasst eine Vorrichtung 112 zur Steuerung einer Interaktion mit dem Benutzer 110. Die Vorrichtung 112 umfasst wenigstens ein Mikrofon 115, das derart am Haushaltsgerät 105 angebracht ist, dass es eine Aufzeichnung gesprochener Wörter im Bereich des Haushaltsgeräts 105 abtasten kann. Die Mikrofone 115 können an unterschiedlichen Bereichen bzw. mit unterschiedlichen Ausrichtungen am Haushaltsgerät 105 angebracht sein. Außerdem ist eine Vorverarbeitung 120 vorgesehen, die dazu eingerichtet ist, ein erfasstes akustisches Signal aufzubereiten und zu verbessern. Dazu kann beispielsweise eine Rauschunterdrückung angewandt werden, ein Frequenzgang kann angepasst werden, Neben- oder Störgeräusche können unterdrückt werden, oder ein Sprecher kann aus einem komplexen Audiosignal mit mehreren Sprechern isoliert werden. Die Vorverarbeitung 120 kann einen digitalen oder analogen Signalprozessor umfassen.

Eine Schlüsselworterkennung 125 ist dazu eingerichtet, in einem Audiodatenstrom ein Vorkommen eines vorbestimmten Schlüsselworts zu erkennen. Das Schlüsselwort ist bevorzugt so gewählt, dass es signaltechnisch in einem üblichen Audiodatenstrom eines Haushalts auffällig ist und ein Benutzer 110 es sich leicht merken kann.

Eine Verarbeitungseinrichtung 130 ist dazu eingerichtet, wenigstens eine der gezeigten Komponenten des Haushaltsgeräts 105 zu steuern. So kann die Verarbeitungseinrichtung 130, wenn die Schüsselworterkennung 125 das Erkennen des vorbestimmten Schlüsselworts signalisiert, von der Vorverarbeitung 120 bereitgestellte Audiodaten mittels einer Kommunikationseinrichtung 135 an einen externen Dienst 140 bereitstellen. Eine Antwort des externen Diensts 140 kann ebenfalls mittels der Kommunikationseinrichtung 135 empfangen und mittels einer Ausgabeeinrichtung 145 im Bereich des Haushaltsgeräts 105 an den Benutzer 110 akustisch bereitgestellt werden. Die Ausgabeeinrichtung 145 umfasst bevorzugt einen Lautsprecher und weiter bevorzugt einen dazu passenden Verstärker.

Durch die Kommunikationseinrichtung 135 nach außen bereitgestellte akustische Daten können von einem Dienst 150 umgewandelt werden. Man spricht dabei auch von Spra- che-zu-Text (Speech-to-Text, STT). In einer anderen Ausführungsform kann die Umwandlung von Sprachdaten in Textform auch mittels einer Komponente 150 erfolgen, die Teil des Haushaltsgeräts 105 bzw. der Vorrichtung 112 ist. In diesem Fall ist die Komponente 150 der Kommunikationseinrichtung 135 in Richtung des externen Diensts 140 vorgeschaltet.

Die bereitgestellten Textdaten, die eine Repräsentation der Unterstützungsanforderung des Benutzers 110 darstellen, können an ein Sprachmodell 155 bereitgestellt werden. Das Sprachmodell 155 ist bevorzugt ein Large Language Model, das anhand einer großen Vielzahl von Daten darauf trainiert ist, allgemeinsprachliche Texte zu bearbeiten. Darüber hinaus können, insbesondere von einem Hersteller des Haushaltsgeräts 105, zusätzliche Trainingsdaten 160 breitgestellt sein, die mit den allgemeinen Daten kombiniert oder verflochten werden können. Es ist bevorzugt, dass die Nutzung der zusätzlichen Trainingsdaten 160 auf Anwendungsfälle im Zusammenhang mit dem Haushaltsgerät 105 beschränkt ist.

Das Sprachmodell 155 kann auf der Basis der Unterstützungsanforderung eine Antwort bereitstellen, die üblicherweise ebenfalls in Textform vorliegt. Die Antwort kann mittels einer Komponente 165 in akustische Daten umgewandelt werden, die einem gesprochenen Wort der textuellen Antwort entsprechen. Diese Technik wird auch als Text-zu-Sprache (Text-to-Speech, TTS) genannt. In der dargestellten Ausführungsform ist die Komponente 165 als Dienst außerhalb des Haushaltsgeräts 105 dargestellt. Eine Ausgabe der Komponente 165 kann mittels der Kommunikationseinrichtung 135 an das Haushaltsgerät 105 übermittelt werden. In einer anderen Ausführungsform kann eine Komponente 165 mit derselben Funktionalität auch vom Haushaltsgerät 105 bzw. der Vorrichtung 112 umfasst sein, sodass die Textdaten des Sprachmodells 155 zunächst durch die Kommunikationseinrichtung 135 verlaufen und erst dann auf die Komponente 165 treffen.

Die solchermaßen bereitgestellten akustischen Daten können mittels der akustischen Ausgabeeinrichtung 145 im Bereich des Haushaltsgeräts 105 an den Benutzer ausgegeben werden. Insbesondere dann, wenn die Textdaten seitens des Haushaltsgeräts 105 verfügbar sind, kann die Verarbeitungseinrichtung 130 einen Teil der Daten mittels einer Einrichtung des Haushaltsgeräts 105 an den Benutzer 110 bereitstellen. Dazu können Informationen über eine Schnittstelle 170 ausgetauscht werden. Beispielsweise kann eine Ausgabeeinrichtung in Form einer Textanzeige vorgesehen sein, und die Antwort kann nicht nur in akustischer, sondern auch in textueller Form am Haushaltsgerät 105 bereitgestellt werden.

Stellt der Benutzer 110 eine sprachliche Unterstützungsanforderung an das Haushaltsgerät 105, so können seine gesprochenen Worte in Text umgewandelt, mittels des Sprachmodells 155 in eine Antwort umgesetzt und die Antwort am Haushaltsgerät 105 an den Benutzer 110 ausgegeben werden. So kann für den Benutzer 110 der Eindruck einer Dialogfähigkeit des Haushaltsgeräts 105 entstehen.

Eine Unterstützungsanforderung kann in einer ersten Variante einen Ratschlag bei der Bedienung des Haushaltsgeräts 105 zum Erreichen eines vorbestimmten Ziels umfassen. Umfasst das Haushaltsgerät 105 beispielsweise eine Waschmaschine, so kann der Benutzer 110 Unterstützung bei einem vorliegenden Reinigungs- oder Bedienproblem wie folgt anfordern:

„Hey Waschmaschine! Wie entferne ich Grasflecken aus einem Seidenhemd?“

Der erste Teil dieser Aussage kann dem vorbestimmten Schlüsselwort entsprechen, um eine Verarbeitung des folgenden Satzes zu bewirken. Eine beispielhafte Antwort, die dem Benutzer 110 durch das Sprachmodell 155 auf diesen Satz bereitgestellt wird, könnte lauten:

„Für ein Seidenhemd mit Grasflecken wählen Sie am besten den Schonwaschgang Ihrer Siemens-Waschmaschine und verwenden ein Feinwaschmittel. Sie können auch einen zusätzlichen Spülgang in Erwägung ziehen, um sicherzustellen, dass das gesamte Waschmittel gründlich aus dem Hemd herausgespült wird. Wenn Ihre Waschmaschine über die Option .Handwäsche' verfügt, sollten Sie diese wählen, da sie den Stoff schonender behandelt. Vermeiden Sie die Verwendung von Bleichmitteln oder Weichspülern, da diese den Seidenstoff angreifen können. Es wird außerdem empfohlen, das Hemd getrennt von anderen Kleidungsstücken zu waschen und einen Netzwäschesack zu verwenden, um das Hemd vor Beschädigungen zu schützen.“

Der Benutzer 110 kann auch einen Ratschlag bei Auftreten eines Problems mit dem Haushaltsgerät 105 einholen. In einem ersten Beispiel kann der Benutzer eine Frage stellen, die auf eine allgemeine Bedienung des Haushaltsgeräts 105 gerichtet ist:

„Hey Waschmaschine! Warum kann ich die Gerätetür nicht öffnen?“

Am Haushaltsgerät 105 könnte dann beispielsweise diese Antwort als Sprachdaten ausgegeben werden:

„Es kann verschiedene Gründe geben, warum Sie die Tür Ihrer Siemens-Waschmaschine nicht entriegeln können. In Ihrem Fall befindet sich die Waschmaschine noch mitten in einem Waschgang. Vergewissern Sie sich, dass die Waschmaschine ihren Zyklus beendet hat und die Kontrollleuchte ,Tür verriegelt' erloschen ist." In diesem Beispiel kann eine Zusatzinformation, die einen Gerätezustand des Haushaltsgeräts 105 abbildet, zusätzlich berücksichtigt sein. Der Gerätezustand kann zusammen mit der Anforderung an das Sprachmodell 155 übermittelt werden. Bevorzugt liegt der Gerätezustand dabei ebenfalls in Textform vor, sodass er von einem Menschen gelesen werden kann.

In einer zweiten Variante kann der Benutzer 110 eine Frage bezüglich einer Bedienung oder Wartung des Haushaltsgeräts 105 stellen:

„Hey Waschmaschine! Soll ich das Flusensieb mit Wasser reinigen?“

Eine mögliche Antwort darauf kann lauten:

„Es wird nicht empfohlen, das Flusensieb Ihres Siemens-Trockners mit Wasser zu reinigen, da dies das Sieb beschädigen und eine Brandgefahr darstellen könnte.“

In einem dritten Beispiel kann sich der Benutzer 110 nach der Bedeutung eines vorliegenden Fehlers oder eines Fehlercodes erkundigen, den das Haushaltsgerät 105 ausgibt:

„Hey Waschmaschine! Was bedeutet dieser Fehlercode?“

Auch in diesem Beispiel kann ein Gerätezustand des Haushaltsgeräts 105, hier beispielhaft der bereitgestellte Fehlercode, zusammen mit der sprachlichen Anforderung an das Sprachmodell 155 übermittelt und bereitgestellt werden. Eine mögliche Antwort könnte lauten:

„Der Fehlercode E18 Ihrer Siemens-Waschmaschine weist auf ein Problem mit dem Wasserabfluss hin. Der Code erscheint, wenn die Waschmaschine nicht in der Lage ist, das Wasser aus der Trommel abzupumpen.“

Figur 2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200 zum Steuern eines Haushaltsgeräts 105. Das Verfahren 200 beginnt bevorzugt in einem Schritt 205, in welchem die Aussprache eines vorbestimmten Schlüsselworts im Bereich des Haushaltsgeräts 105 erfasst wird. In einem Schritt 210 kann eine auf das Schlüsselwort folgende sprachliche Anforderung zur Unterstützung beim Umgang mit dem Haushaltsgerät 105 erfasst werden. Die erfasste Anforderung kann in einem Schritt 215 in Textform umgewandelt werden. Dazu kann die STT-Komponente 150 im Haushaltsgerät 105 oder ein STT-Dienst 150 außerhalb des Geräts 105 genutzt werden. Die Erkennung von Sprache kann auf der Basis maschinellen Lernens erfolgen, beispielsweise mittels eines darauf trainierten künstlichen neuronalen Netzwerks. Erhältliche STT-Komponenten können unterschiedliche Sprecher und/oder verschiedene Sprachen oder Dialekte unterstützen. Bei der Umwandlung der Sprache in den Text kann ein spezielles Vokabular genutzt werden, das auf das vorliegende Haushaltsgerät 105 bzw. die mit ihm zu verrichtende Aufgabe bezogen ist. Das spezielle Vokabular kann zur allgemeinen Erkennung in der STT-Komponente eingepflegt sein oder modular nur für Anfragen im vorliegenden Kontext verwendet werden. Es ist bevorzugt, dass ein Hersteller des Haushaltsgeräts 105 Informationen über ein erwartetes Vokabular an einen Anbieter der STT-Komponente bereitstellt.

Die Unterstützungsanforderung in Textform kann in einem Schritt 220 dem Sprachmodell 155 zugeführt werden. Optional können dem Sprachmodell 155 auch zusätzliche Informationen bereitgestellt werden, die insbesondere eine Identifikation, einen Gerätetyp, ein Gerätemodell und/oder einen Zustand des Haushaltsgeräts 105 betreffen. Diese Informationen sind bevorzugt ebenfalls in Textform ausgedrückt. Beispielsweise kann ein Zustand des Haushaltsgeräts 105 eine Anzahl strukturiert formulierter Parameter umfassen, die etwa in einer XML- Struktur oder im JSON-Format ausgedrückt sein können. Das Sprachmodell 155 bestimmt bezüglich der Unterstützungsanforderung in Textform und gegebenenfalls der weiteren Informationen eine Antwort in Textform auf der Basis der ihm zur Verfügung gestellten Trainingsdaten.

In einem Schritt 225 kann die Antwort in eine sprachliche Repräsentation umgewandelt werden. Dazu kann ein TTS-Dienst 165 außerhalb des Haushaltsgeräts 105 genutzt werden, oder es ist eine TTS-Komponente 165 zu diesem Zweck vom Haushaltsgerät 105 umfasst. In einem Schritt 230 kann die bestimmte sprachliche Repräsentation im Bereich des Haushaltsgeräts 105 ausgegeben werden, sodass der Benutzer 110 sie hören kann.

Sollte der Benutzer 110 noch weitere Unterstützung benötigen, so kann der Dialog mit dem Sprachmodell 155 - bzw. der empfundene Dialog mit dem Haushaltsgerät 105 - fortgeführt werden, indem das Verfahren 200 erneut durchlaufen wird. In unterschiedlichen Ausführungsformen kann es dazu nötig sein, das Schlüsselwort im Schritt 205 erneut zu erfassen, oder eine auf die Ausgabe der sprachlichen Repräsentation folgende weitere sprachliche Anforderung kann unmittelbar im Schritt 210 erfasst werden. Das Verfahren 200 kann so oft wie nötig durchlaufen werden, um den Benutzer 110 in die Lage zu versetzen, sein Haushaltsgerät 105 in der geplanten Weise bzw. bestmöglich zu nutzen.

Bezugszeichen

100 System

105 Haushaltsgerät

110 Benutzer

112 Vorrichtung

115 Mikrofon

120 Vorverarbeitung

125 Schlüsselwort Erkennung

130 Verarbeitungseinrichtung

135 Kommunikationseinrichtung

140 externer Dienst

145 akustische Ausgabeeinrichtung

150 Sprache-zu-Text

155 Sprachmodell, insbesondere LLM

160 zusätzliche Trainingsdaten

165 Text-zu-Sprache

170 Schnittstelle

200 Verfahren

205 Schlüsselwort erfassen

210 sprachliche Anforderung erfassen

215 Anforderung in Textform umwandeln

220 Antwort in Textform bestimmen

225 Antwort in sprachliche Repräsentation umwandeln

230 sprachliche Repräsentation ausgeben

Claims

PATENTANSPRÜCHE

1. Verfahren (200) zum Steuern eines Haushaltsgeräts (105), wobei das Verfahren (200) folgende Schritte umfasst:

- Erfassen (210) einer sprachlich formulierten Unterstützungsanforderung im Bereich des Haushaltsgeräts (105);

- Umwandeln (215) der Unterstützungsanforderung in eine textuelle Repräsentation;

- Bestimmen (220) einer Antwort in Textform mittels eines Sprachmodells (155);

- Umwandeln (225) der Antwort in eine sprachliche Repräsentation; und

- Ausgeben (230) der sprachlichen Repräsentation am Haushaltsgerät (105).

2. Verfahren (200) nach Anspruch 1 , wobei das Sprachmodell (155) bezüglich auf das Haushaltsgerät (105) bezogenen Vokabeln trainiert ist.

3. Verfahren (200) nach Anspruch 1 oder 2, wobei das Sprachmodell (155) bezüglich einer Bedienung des Haushaltsgeräts (105) trainiert ist.

4. Verfahren (200) nach einem der vorangehenden Ansprüche, wobei das Sprachmodell (155) bezüglich einer Funktion des Haushaltsgeräts (105) trainiert ist.

5. Verfahren (200) nach einem der vorangehenden Ansprüche, wobei das Sprachmodell (155) bezüglich einer Fehlerbehandlung des Haushaltsgeräts (105) trainiert ist.

6. Verfahren (200) nach einem der Ansprüche 2 bis 5, wobei auf das Haushaltsgerät (105) bezogene Trainingsdaten modular mit allgemeinen Trainingsdaten des Sprachmodell (155) kombiniert werden.

7. Verfahren (200) nach einem der vorangehenden Ansprüche, ferner umfassend ein Erkennen (205) eines vorbestimmten Schlüsselworts, das der Unterstützungsanforderung vorangestellt ist.

8. Verfahren (200) nach einem der vorangehenden Ansprüche, wobei das Umwandeln in eine textuelle Repräsentation auf der Basis eines vorbestimmten Wortschatzes erfolgt, der auf das Haushaltsgerät (105) bezogen ist.

9. Vorrichtung (112) zur Steuerung eines Haushaltsgeräts (105), wobei die Vorrichtung (112) folgendes umfasst:

- wenigstens ein Mikrofon (115) im Bereich des Haushaltsgeräts (105), zur Erfassung einer sprachlich formulierten Unterstützungsanforderung;

- eine akustische Ausgabevorrichtung (145) im Bereich des Haushaltsgeräts (105);

- eine Kommunikationseinrichtung (135) zur Kommunikation mit einem zum Haushaltsgerät (105) externen Dienst (240);

- eine Verarbeitungseinrichtung (130), die dazu eingerichtet ist, einen Hinweis auf die Unterstützungsanforderung an den externen Dienst (140) zu übermitteln; eine Antwort auf die Unterstützungsanforderung zu empfangen; und eine sprachliche Repräsentation der Antwort auszugeben.

10. Vorrichtung (112) nach Anspruch 9, ferner umfassend eine Einrichtung (125) zur Erfassung eines vorbestimmten Schlüsselworts, das der Unterstützungsanforderung vorangestellt ist.

11. Vorrichtung (112) nach Anspruch 9 oder 10, ferner umfassend eine Einrichtung zur (150) Umwandlung der Unterstützungsanforderung in eine textuelle Repräsentation; wobei der Hinweis die textuelle Repräsentation umfasst.

12. Vorrichtung (112) nach einem der Ansprüche 9 bis 11 , wobei die Antwort in Textform empfangen wird; ferner umfassend eine Einrichtung (165) zur Umwandlung der Antwort in eine sprachliche Repräsentation.

13. Vorrichtung (112) nach einem der Ansprüche 9 bis 12, ferner umfassend eine Schnittstelle (170) zur Steuerung einer Funktion des Haushaltsgeräts (105) in Abhängigkeit der Antwort.

14. Haushaltsgerät (105), umfassend eine Vorrichtung (112) nach einem der Ansprüche 9 bis 13.

15. System (100) zur Steuerung eines Haushaltsgeräts (105), wobei das System (100) folgendes umfasst:

- eine Einrichtung (150) zur Bestimmung einer textuellen Repräsentation der Unterstützungsanforderung; - ein Sprachmodell (155), das dazu eingerichtet ist, eine Antwort in Textform auf eine textuell repräsentierte Unterstützungsanforderung bereitzustellen;

- eine Einrichtung (165) zur Bereitstellung einer sprachlichen Repräsentation einer in Textform repräsentierten Antwort; und - eine akustische Ausgabevorrichtung (145) im Bereich des Haushaltsgeräts (105), um eine bereitgestellte sprachliche Repräsentation akustisch auszugeben.