LU103371B1 - Gargerät und Verfahren zum Betreiben eines Gargerätes - Google Patents

Abstract

Gargerät und Verfahren zum Betreiben eines Gargerätes Die Erfindung betrifft ein Gargerät (2) zum Garen eines Gargutes, das Gargerät aufweisend einen optischen Sensor (22), eine Steuerungs- und Recheneinrichtung (24) und eine Speichereinrichtung (26), wobei der optische Sensor (22) dazu eingerichtet ist, ein Bild eines in dem oder auf dem Gargerät (2) platzierbaren Garguts zu erfassen, und wobei die Steuerungs- und Recheneinrichtung (24) dazu eingerichtet ist, die folgenden Schritte auszuführen: Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild; Vergleichen der extrahierten Merkmale mit Merkmalen eines Standard-Garprogramm-Garguts, und basierend darauf Ermitteln eines ersten Vergleichsergebnisses; in Abhängigkeit des ersten Vergleichsergebnisses, Vergleichen der extrahierten Merkmale mit Merkmalen eines Garguts einer Gargut-Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; Betreiben des Gargerätes (2) zum Garen des Gargutes in Abhängigkeit des ersten Vergleichsergebnisses oder in Abhängigkeit des zweiten Vergleichsergebnisses; und Speichern des erfassten Bildes in einer nutzerspezifischen Datenbank der Speichereinrichtung (26) zum Aktualisieren der nutzerspezifischen Gargut-Historie. (Fig. 2)

Description

Beschreibung

Gargerät und Verfahren zum Betreiben eines Gargerätes

Die Erfindung betrifft ein Gargerät sowie ein Verfahren zum Betreiben eines solchen

Gargerätes zum Garen eines Gargutes und zum Aktualisieren einer nutzerspezifischen s Gargut-Historie.

In der modernen Küchen- und Hausgerätekonstruktion gewinnen innovative

Steuerungsverfahren zunehmend an Bedeutung, insbesondere bei der Automatisierung und

Optimierung von Garungsprozessen.

Ein Beispiel dafür sind Verfahren zur Steuerung von Backöfen und anderen Kochgeräten, die durch den Einsatz von Bildverarbeitungstechnologien eine präzise und effiziente Zubereitung ermöglichen. Diese Verfahren nutzen Bilder, die von den Lebensmitteln in den jeweiligen

Garräumen aufgenommen werden, um die Garprozesse zumindest teilweise automatisch zu steuern.

Dadurch wird nicht nur die Qualität der zubereiteten Speisen verbessert, sondern auch der ı5 Energieverbrauch optimiert und der Komfort für den Anwender erhöht. Die Integration solcher

Technologien stellt somit einen Fortschritt in der Küchenautomatisierung dar.

Aus den Dokumenten JP 02-122119 A, EP 0 563 698 A2, DE 10 2007 048 834 A1, EP 2662628 B1 und US 2007/0029306 A1 sind bereits Betriebsverfahren, insbesondere

Verfahren zur Steuerung eines Backofens bzw. eines Kochgeräts, bekannt.

Auf Basis des Vorbekannten ist es eine Aufgabe der Erfindung, ein verbessertes Gargerät und ein verbessertes Verfahren zum Betreiben eines solchen Gargerätes bereitzustellen.

Erfindungsgemäß wird die Aufgabe durch ein Gargerät mit den Merkmalen des

Patentanspruchs 1 gelöst. Erfindungsgemäß wird die Aufgabe durch ein Gargerät mit den

Merkmalen des Patentanspruchs 5 gelöst. Erfindungsgemäß wird die Aufgabe ferner durch ein Verfahren mit den Merkmalen des Patentanspruchs 15 gelöst. Vorteilhafte

Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden

Unteransprüchen.

Gemäß einem ersten Aspekt wird ein Gargerät zum Garen eines Gargutes vorgeschlagen.

Das Gargerät weist einen optischen Sensor, eine Steuerungs- und Recheneinrichtung und eine Speichereinrichtung auf, wobei der optische Sensor dazu eingerichtet ist, ein Bild eines in dem oder auf dem Gargerät platzierbaren Garguts zu erfassen, und wobei die Steuerungs- und Recheneinrichtung dazu eingerichtet ist, die folgenden Schritte auszuführen: Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild, vorzugsweise durch einen

Bildmerkmals-Extraktionsalgorithmus; Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines in der Speichereinrichtung vorgespeicherten Standard-Garprogramm-

Garguts, und basierend darauf Ermitteln eines ersten Vergleichsergebnisses; in Abhängigkeit 5s des ersten Vergleichsergebnisses, Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer in der Speichereinrichtung nutzerspezifischen Gargut-

Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; Betreiben des

Gargerätes zum Garen des Gargutes in Abhängigkeit des ersten Vergleichsergebnisses oder in Abhängigkeit des zweiten Vergleichsergebnisses; und Speichern mindestens des erfassten

Bildes in einer nutzerspezifischen Datenbank der Speichereinrichtung zum Aktualisieren der nutzerspezifischen Gargut-Historie.

Erfindungsgemäß kann auch ermöglicht sein, Standardprogramme nutzerspezifisch zu "überschreiben". Weiterhin könnte auch mit den Repräsentanten der nutzerspezifischen

Gargutcluster-/Klassen verglichen werden und nicht immer mit der ganzen nutzerspezifischen

Gargut-Historie.

Gemäß einem zweiten Aspekt wird ein Verfahren zum Betreiben eines Gargerätes zum

Garen eines Gargutes und zum Aktualisieren einer nutzerspezifischen Gargut-Historie vorgeschlagen. Das Verfahren weist mindestens die Schritte auf: Platzieren des Garguts in dem oder auf dem Gargerät; Erfassen eines Bildes des Garguts durch einen optischen

Sensor; Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild insbesondere durch einen Bildmerkmals-Extraktionsalgorithmus; Vergleichen der extrahierten Merkmale mit

Merkmalen mindestens eines vorgespeicherten Standard-Garprogramm-Garguts, und basierend darauf Ermitteln eines ersten Vergleichsergebnisses; in Abhängigkeit des ersten

Vergleichsergebnisses, Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer nutzerspezifischen Gargut-Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; Betreiben des Gargerätes zum Garen des Gargutes in

Abhängigkeit des ersten Vergleichsergebnisses oder in Abhängigkeit des zweiten

Vergleichsergebnisses; und Speichern mindestens des erfassten Bildes in einer nutzerspezifischen Datenbank zum Aktualisieren der nutzerspezifischen Gargut-Historie.

Es versteht sich, dass die genannten Schritte sowie weitere optionale Schritte nicht notwendigerweise in der aufgezeigten Reihenfolge ausgeführt werden müssen, sondern auch in einer anderen Reihenfolge ausgeführt werden können. Ferner können weitere

Zwischenschritte vorgesehen sein. Die Schritte können zudem einen oder mehrere

Unterschritte umfassen, ohne dass hierdurch der Umfang des vorliegend beanspruchten

Verfahrens verlassen wird.

Die für das Gargerät gemäß dem ersten Aspekt gemachten Ausführungen und die in diesem

Zusammenhang genannten Merkmale und Vorteile gelten in selbiger Weise für das Verfahren gemäß dem zweiten Aspekt, ohne in redundanter Form genannt zu werden. Die für das

Verfahren gemachten Ausführungen gelten für das Gargerät entsprechend. Dabei versteht es sich, dass sprachliche Abwandlungen von verfahrensmäßig formulierten Merkmalen nach sprachüblicher Praxis für das Gargerät umformulierbar sind, ohne dass derartige

Formulierungen explizit zu nennen sind.

Ein "Gargerät" beschreibt vorliegend vorzugsweise ein Küchengerät, das zum Garen eines

Garguts verwendet wird. Das "Gargerät" kann ein Herd und/oder ein Backofen und/oder ein

Dampfgarer oder eine Mikrowelle/ein Dialoggarer oder ein Slow-Cooker (Schongarer) und/oder ein Sous-vide-Gerät zum Vakuumgaren von Speisen bei präzisen Temperaturen und/oder ein Multikocher, der verschiedene Garmethoden kombiniert (z.B. Kochen, Braten,

Dämpfen) und/oder ein Grill sein. Das Gargerät ist darauf ausgelegt, ein Gargut, insbesondere Lebensmittel und daraus zubereitete Speisen, zu garen.

Vorliegend wird unter der Formulierung "ein Gargut" mindestens ein Gargut verstanden.

Vorliegend wird unter der Formulierung "ein Bild" mindestens ein Bild verstanden. Vorliegend wird unter der Formulierung "ein optischer Sensor" mindestens ein optischer Sensor verstanden.

Der "optische Sensor" kann vorzugsweise eine Kamera und/oder eine Infrarotkamera aufweisen. Der optische Sensor kann auch eine ToF (time of flight)-Kamera sein oder eine solche enthalten. Wenn ein Nutzer ein Gargut in dem oder auf dem Gargerät platziert oder dieses platziert werden soll, kann der optische Sensor das Gargut vorzugsweise durch

Aufnahme eines Bildes des Garguts erfassen. Dabei kann als Auslöser für eine solche

Bildaufnahme beispielsweise ein Öffnen und/oder ein Schließen einer Tür des Gargeräts dienen. Ist das Gargerät beispielsweise ausgeschaltet oder in einem Standby-Betrieb, kann ein Öffnen der Tür als Auslöser für das Aktivieren des optischen Sensors dienen. Wird das

Gargut nun in einen Garraum des Gargeräts eingebracht und die Tür geschlossen, kann das

Schließen der Tür als Auslöser für die Aufnahme des mindestens einen Bildes des Garguts dienen. Auch andere, beispielsweise zeitabhängige, Auslöser oder auf Bildänderungen reagierende Auslöser sind möglich.

Die "Steuerungs- und Recheneinrichtung" kann unmittelbar in dem Gargerät integriert oder auch beabstandet von diesem angeordnet sein. Die Formulierung, "dass, das Gargerät die

Steuerungs- und Recheneinrichtung aufweist" ist somit derart zu verstehen, dass eine unmittelbar in dem Gargerät integrierte Steuerungs- und Recheneinrichtung oder eine mit dem Gargerät lediglich kommunikativ gekoppelte Steuerungs- und Recheneinrichtung darunter aufgefasst werden kann. Dabei bedeutet "kommunikativ gekoppelt", dass ein mindestens bidirektionaler Informationsaustausch möglich ist. Die Steuerungs- und

Recheneinrichtung kann als Systemsteuerung des Gargeräts ausgebildet sein, und vorzugsweise mindestens einen Prozessor aufweisen. Die Steuerungs- und

Recheneinrichtung kann alternativ durch eine Cloud oder einen Server bereitgestellt sein. s Die "Speichereinrichtung" kann als nicht-flüchtiger Speicher in dem Gargerät umfasst sein.

Alternativ kann die Speichereinrichtung auch durch eine Cloud oder einen Server bereitgestellt sein, die/der mit dem Gargerät kommunikativ gekoppelt ist. Dabei bedeutet "kommunikativ gekoppelt", dass ein mindestens bidirektionaler Informationsaustausch möglich ist.

Das "Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild" beschreibt vorzugsweise einen Prozess zur Analyse des erfassten Bildes, um spezifische Eigenschaften oder Merkmale des Gargutes (Lebensmittel zum Garen) zu identifizieren und zu extrahieren.

Der Merkmalsextraktion kann auch eine Bildvorverarbeitung vorausgehen, um beispielsweise

Rauschen in dem Bild zu reduzieren. Die Merkmalsextraktion erfolgt vorzugsweise durch den ı5 Einsatz mindestens eines Algorithmus zur Bildmerkmals-Extraktion, insbesondere mittels eines maschinellen Lernmodells. Der bevorzugte Bildmerkmals-Extraktionsalgorithmus analysiert vorzugsweise das erfasste Bild, um bestimmte Merkmale des Gargutes zu identifizieren. Diese Merkmale können verschiedene Eigenschaften umfassen, wie Textur,

Farbe, Form, Größe, Gargutträger, Menge, Gewicht und/oder möglicherweise eine

Garzustand (z.B. roh, gar, verbrannt). Ferner können Merkmale wie Kanten, Ecken, Texturen und/oder Formen des Gargutes identifiziert werden. Die extrahierten Merkmale werden vorzugsweise als Merkmalsvektoren oder Deskriptoren für einen darauffolgenden

Merkmalsvergleich bereitgestellt.

Der "Bildmerkmals-Extraktionsalgorithmus" nutzt vorzugsweise Techniken der

Bildverarbeitung und des maschinellen Lernens, um Muster und/oder Merkmale in dem Bild zu erkennen. Ein solcher Bildmerkmals-Extraktionsalgorithmus kann vorzugsweise ein

Convolutional Neural Network (CNN) aufweisen. Alternativ sind Region-based CNNs (R-

CNN), die für die Objekterkennung in Bildern ausgelegt sind, möglich. Dies schließt auch

Varianten wie Fast R-CNN, Faster R-CNN und Mask R-CNN ein. Ebenfalls kann der

Bildmerkmals-Extraktionsalgorithmus einen Autoencoder-Ansatz aufweisen, der ein neuronales Netzwerk beschreibt, das unüberwacht lernt, Merkmale zu extrahieren, indem es

Informationen aus dem Bild kodiert und darauffolgend dekodiert. Der Bildmerkmals-

Extraktionsalgorithmus kann auch ein Feature Pyramid Network (FPN), ein Generative

Adversarial Network (GAN) aufweisen. Ebenfalls kann der Bildmerkmals-

Extraktionsalgorithmus Techniken des Transfer Learnings verwenden, wobei ein vortrainiertes Netzwerk (z.B. ResNet, Inception) genutzt wird, um Merkmale aus neuen

Bilddaten zu extrahieren, ohne dass das gesamte Netzwerk neu trainiert werden muss.

Denkbar sind auch „Transformer Architekturen“ oder Visual oder Multi-modal

Foundation Models wie SAM (segment anything model) oder CLIP (Contrastive Language-

Image Pre-Training). Das Training des Bildmerkmals-Extraktionsalgorithmus kann auch „self- 5 supervised” stattfinden.

Der Bildmerkmals-Extraktionsalgorithmus bzw. das zugrundeliegende maschinelle

Lernmodell kann vorzugsweise vortrainiert sein. Der Bildmerkmals-Extraktionsalgorithmus kann beispielsweise ein vortrainiertes Basismodell umfassen, das werksseitig auf Basis eines

Trainingsdatensatzes, der Standard-Gargüter umfasst, trainiert werden kann. Im Betrieb des

Gargerates kann der Bildmerkmals-Extraktionsalgorithmus oder zumindest Teile davon, beispielsweise einzelne Köpfe (Heads), auf Basis der nutzerspezifischen Gargut-Historie bzw. der darin neu erfassten Bilder und/oder (Meta-) Informationen, insbesondere fortlaufend, weiter trainiert und dadurch zur nutzerspezifischen, automatischen Garguterkennung optimiert werden.

Ein "Standard-Garprogramm-Gargut" kann ein Gargut sein, zu dem herstellerseitig ein

Garprogramm, das ein möglichst optimales Garergebnis liefert, in dem Gargerät vorgespeichert ist. Vorzugsweise ist auf dem Gargerât eine Vielzahl von Standard-

Garprogramm-Gargüter und jeweils ein dazu gehôrendes Standard-Garprogramm bzw.

Standard-Betriebsprogramm vorgespeichert. Die Standard-Garprogramm-Garguter sind also vorzugsweise bereits bei Lieferung des Gargerates auf der Speichereinrichtung vorgespeichert und damit unabhängig von einer nutzerspezifischen Nutzung des Gargeräts.

Das Standard-Garprogramm-Gargut kann also ein vordefiniertes Gargut, insbesondere

Lebensmittel oder Gerichte sein, das vom Hersteller werksseitig für die automatische

Garguterkennung vordefiniert wird.

Das "Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines in der

Speichereinrichtung vorgespeicherten Standard-Garprogramm-Garguts" umfasst vorzugsweise ein Suchen nach ähnlichen Merkmalen in der Datenbank und ein Bewerten der

Ähnlichkeit. Die Merkmale mindestens eines Standard-Garprogramm-Garguts sind vorzugsweise jeweils als Merkmalsvektoren oder Deskriptoren in der Datenbank gespeichert.

Die Merkmalsvektoren oder Deskriptoren können indexiert werden, um eine Suche in der

Datenbank zu beschleunigen. Als Indexierung können Indexierungsstrukturen wie KD-

Bäume, Voronoi-Diagramme, Hash-Werte oder Annoy (Approximate Nearest Neighbors Oh

Yeah) dienen. Weitere mögliche Indextypen umfassen “Exact Search for L2”, “Exact Search for Inner Product’, “Hierarchical Navigable Small World graph exploration”, “Inverted file with exact post-verification”, “Locality-Sensitive Hashing (binary flat index)”, “Scalar quantizer (SQ) in flat mode”, “Product quantizer (PQ) in flat mode”, “IVF and scalar quantizer”, “IVFADC

(coarse quantizer+PQ on residuals)”, “IVFADC+R (same as IVFADC with re-ranking based on codes)”.

Der Vergleich der Merkmale des erfassten Bildes mit den Merkmalen in der Datenbank erfolgt vorzugsweise durch einen Ahnlichkeitsvergleich der Merkmalsvektoren oder Deskriptoren.

Ein derartiger Ahnlichkeitsvergleich kann über eine Distanzberechnung, bei der eine Distanz zwischen dem Merkmalsvektor des erfassten Bildes und den Merkmalsvektoren in der

Datenbank berechnet wird, erfolgen. Dabei kann beispielsweise eine euklidische Distanz, eine Manhattan-Distanz oder eine Cosinus-Ahnlichkeit verwendet werden. Ein derartiger

Ahnlichkeitsvergleich kann auch über eine Ahnlichkeitssuche erfolgen, was einen Algorithmus beschreibt, der zur nächstgelegenen Nachbarsuche (z.B. Nearest Neighbor Search) ausgebildet ist, und verwendet wird, um Merkmale in der Datenbank zu finden, die den

Merkmalen des erfassten Bildes am ahnlichsten sind. Auf Basis des Vergleichs bzw. der

Ahnlichkeitssuche erfolgt vorliegend eine Bewertung und Ausgabe in Form des ersten

Vergleichsergebnisses. Das Vergleichsergebnis kann eine Rangfolge von potenziell ıs ähnlichen Standard-Garprogramm-Gargüter oder ein binäres Vergleichsergebnis (Ähnlichkeit vorhanden: ja/nein) aufweisen. Durch die Anwendung dieser Schritte kann ein effizientes und genaues Vergleichen von Bildmerkmalen des erfassten Bildes mit in der Datenbank vorgespeicherten Bildmerkmalen zu den Standard-Garprogramm-Gargütern durchgeführt werden.

Wenn das erste Vergleichsergebnis angibt, dass die extrahierten Merkmale mit Merkmalen des mindestens einen Standard-Garprogramm-Garguts übereinstimmen, kann darauf basierend ein Betriebsprogramm bzw. ein Standard-Garprogramm zum Garen des Garguts ausgeführt werden. Alternativ kann, wenn das erste Vergleichsergebnis angibt, dass die extrahierten Merkmale mit Merkmalen des mindestens einen Standard-Garprogramm-

Garguts übereinstimmen dem Nutzer ein Standard-Garprogramm-Vorschlag, beispielsweise

Uber eine Ausgabeeinrichtung, ausgegeben werden, der vorzugsweise durch eine (manuelle oder sprachliche) Nutzereingabe, beispielsweise über eine Eingabeeinrichtung, bestätigt, abgelehnt oder manipuliert bzw. verändert werden kann. Die durch den Programm-Vorschlag und/oder die Nutzereingabe erzeugten (Meta-) Informationen werden vorzugsweise in

Kombination mit dem erfassten Bild bzw. mit den daraus extrahierten Merkmalen in der nutzerspezifischen Gargut-Historie gespeichert. Die Informationen können gesamthaft in einem Merkmalsvektor oder Deskriptor oder getrennt voneinander, vorzugsweise jedoch mit einem Zuordnungs-Verweis aufeinander, gespeichert werden.

Wenn das erste Vergleichsergebnis angibt, dass die extrahierten Merkmale mit keinem der

Merkmale des mindestens einen Standard-Garprogramm-Garguts übereinstimmen, erfolgt vorliegend vorzugsweise ein weiterer Vergleich der extrahierten Merkmale mit Merkmalen zu

Gargütern, die in einer nutzerspezifischen Gargut-Historie gespeichert sind.

Die "nutzerspezifische Gargut-Historie" ist vorzugsweise eine in der Speichereinrichtung gespeicherte Datenbank von durch den Nutzer mit dem Gargerät zubereiteten Speisen. Die s nutzerspezifische Gargut-Historie kann dabei Standard-Garprogramm-Gargüter umfassen, jedoch insbesondere auch Gargüter, die von dem Nutzer mit dem Gargerät gegart wurden, und nicht in den Standard-Garprogramm-Gargütern repräsentiert sind. Die nutzerspezifische

Gargut-Historie spezifiziert somit die individuelle Anwendung sowie individuelle

Nutzerbedürfnisse, die an das Gargeräte gestellt werden. Insbesondere mit vorheriger

Zustimmung des Benutzers kann also für die vom Nutzer zubereiteten Gargüter jeweils mindestens das erfasste Bild bzw. die darin umfassten Informationen, vorzugsweise zusammen mit den Programm- und/oder Einstellungsinformationen wie Temperatur,

Betriebsart, Gardauer sowie ggf. weiteren Metadaten (d. h. Datum und Uhrzeit) in der persönlichen Gargut-Historie gespeichert werden. Über einen mittel- bis langfristigen ı5 Zeitraum wächst somit die persönliche Kochhistorie des Benutzers, insbesondere abhängig von seinem Kochverhalten. Der Nutzer kann die nutzerspezifische Gargut-Historie vorzugsweise auch über eine Web- und/oder Endgeräte-Applikation (App) aufrufen, damit interagieren und/oder die nutzerspezifische Gargut-Historie verändern. Über die Web- und/oder Endgeräte-Applikation kann auch eine allgemeine Steuerung des Gargerätes ermöglicht werden.

Das Einbeziehen einer nutzerspezifischen Garguthistorie beim Betreiben eines Gargerätes bietet mehrere Vorteile. Einer der Hauptvorteile ist die Möglichkeit, das Kocherlebnis zu personalisieren. So werden beispielsweise eigene Gerichte erkannt, die nicht zu den

Standardgerichten bzw. zu den Standard-Gargütern gehören. Darüber hinaus hat der Nutzer die Möglichkeit zu sehen, welche Gerichte er in der Vergangenheit mit welchen

Parametereinstellungen zubereitet hat und ob ihm das Ergebnis gefallen hat. Indem das

Gargerät die Vorlieben des Nutzers hinsichtlich Garzeiten, Temperatur und gewünschter

Konsistenz und/oder Bräunung des Gargutes berücksichtigt, kann es individuell abgestimmte

Kochergebnisse liefern. Dabei können zubereitete Rezepte gespeichert und schnell wieder aufgerufen werden, was Zeit spart und den Komfort erhöht. Darüber hinaus ermöglicht die nutzerspezifischen Garguthistorie dem Gargerät, aus vergangenen Kochvorgängen zu lernen und die Garparameter automatisch anzupassen. Dies führt vorzugsweise zu einem konsistenten und perfekten Ergebnis, da das Gargerät die Parameter vorausschauend optimieren kann. Eine solche Anpassung steigert nicht nur die Effizienz, sondern reduziert auch den Energieverbrauch, da die bevorzugten Einstellungen des Nutzers genutzt werden, um den Garprozess effizienter zu gestalten. Dies führt auch zu einer Zeit- und

Energieersparnis. Die Einbeziehung der nutzerspezifischen Gargut-Historie ermöglicht auch erweiterte Funktionalitäten. Basierend auf den bisherigen Kochgewohnheiten kann das

Gargerät ggf. auch neue Rezeptvorschläge machen, die den Vorlieben des Nutzers entsprechen.

Ebenfalls ist es möglich, mehrere Profile für mehrere Nutzer anzulegen und somit einen s hohen Individualisierungsgrad für mehrere Nutzer des Gargerätes zu ermöglichen. Dabei können beispielsweise nutzerspezifische Vorlieben für oder bei der Zubereitung eines

Garguts berücksichtigt werden und in der nutzerspezifischen Gargut-Historie hinterlegt und darüber abrufbar sein.

Vorliegend werden vorzugsweise zusätzlich zu den erfassten Bildern auch weitere

Interaktionen des Nutzers mit der persönlichen Gargut-Historie, insbesondere fortlaufend, in der nutzerspezifischen Datenbank aktualisiert. Die, vorzugsweise kontinuierlich, aktualisierte

Datenbank dient dabei insbesondere als Grundlage für das Training zumindest eines Teils des insbesondere nutzerspezifisch-trainierbaren Bildmerkmals-Extraktionsalgorithmus. Der

Bildmerkmals-Extraktionsalgorithmus kann beispielsweise nutzerspezifische ı5 Klassifikationsköpfe aufweisen, durch die dann auch nutzerspezifische Gargüter, insbesondere durch fortlaufendes Aktualisieren der Gargut-Historie, zukünftig erkannt werden können. Auf diese Weise können auch persönliche Gargüter automatisch erkannt, und dem

Nutzer ein entsprechendes Betriebsprogramm, insbesondere mit entsprechenden, nutzerspezifischen Einstellungen vorgeschlagen werden.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Merkmale des mindestens einen Standard-Garprogramm-Garguts herstellerseitig in einer Standard-Gargut-Datenbank auf der Speichereinrichtung gespeichert sind, und wobei die Merkmale des mindestens einen

Garguts der nutzerspezifischen Gargut-Historie im Betrieb des Gargerätes durch einen

Nutzer, insbesondere fortlaufend, auf Basis des jeweils erfassten Bildes erzeugbar und in der nutzerspezifischen Datenbank auf der Speichereinrichtung speicherbar sind.

Dadurch ist es möglich, zum einen herstellerseitig gewissen Standards für das Garen von bestimmten Gargütern zu liefern, um so insbesondere auch in der Gargut-Zubereitung unerfahrenen Nutzern ein hinreichend gutes Garerlebnis zu ermöglichen. Ferner ist es durch die Einbeziehung der nutzerspezifischen Historie möglich, einen hohen

Individualisierungsgrad für den Nutzer zu ermöglichen, um somit insbesondere erfahrenen

Nutzern ein möglichst umfassendes Garerlebnis zu liefern.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das Vergleichen in Abhängigkeit des ersten Vergleichsergebnisses bedeutet, dass das Vergleichen der extrahierten Merkmale mit den Merkmalen des mindestens einen Garguts der nutzerspezifischen Gargut-Historie erfolgt, wenn das erste Vergleichsergebnis angibt, dass die extrahierten Merkmale nicht oder nicht gut genug mit Merkmalen des mindestens einen Standard-Garprogramm-Garguts übereinstimmen.

Die Formulierung "in Abhängigkeit des ersten Vergleichsergebnisses" bedeutet also, dass das Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer in der Speichereinrichtung nutzerspezifischen Gargut-Historie" vorzugsweise (nur) dann erfolgt, wenn ein Merkmalsvergleich der zu dem erfassten Bild extrahierten Merkmale mit den

Merkmalen der Standard-Garprogramm-Gargüter ergibt, dass das in dem oder auf dem

Gargerät platzierbare Gargut keinem der Standard-Garprogramm-Gargüter hinreichend ähnlich ist bzw. nicht eindeutig als eines der Standard-Garprogramm-Gargüter klassifiziert werden kann. Dabei hängt es vorzugsweise von der Art und dem Inhalt des ersten

Vergleichsergebnisses ab, ob ein weiterer Vergleich mit Merkmalen aus der nutzerspezifischen Gargut-Historie erfolgt oder nicht. Alternativ kann ein Vergleich mit der nutzerspezifischen Gargut-Historie auch stets erfolgen.

Es ist zu erwähnen, dass das Vergleichen der Merkmale des erfassten Bildes mit den ı5 Merkmalen der in der nutzerspezifischen Gargut-Historie umfassten Gargüter vorzugsweise auf die gleiche Art und Weise wie der zuerst genannte Vergleich mit den Standard-

Garprogramm-Gargütern erfolgt.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass, wenn das zweite

Vergleichsergebnis angibt, dass die extrahierten Merkmale nicht mit Merkmalen der nutzerspezifischen Gargut-Historie übereinstimmen, das Betreiben des Gargerätes zum

Garen des Gargutes basierend auf dem zweiten Vergleichsergebnis durch eine, insbesondere manuelle, Nutzereingabe erfolgt, und wenn das zweite Vergleichsergebnis angibt, dass die extrahierten Merkmale mit Merkmalen der nutzerspezifischen Gargut-Historie übereinstimmen, ein Ausgeben eines Betriebsprogramm-Vorschlages, insbesondere umfassend eine Nutzer-Abfrage zu dessen Annahme oder Ablehnung, an den Nutzer basierend auf der Gargut-Historie, und darauf basierend ein Betreiben des Gargerätes erfolgt.

Das Gargerät kann zum Garen des Gargutes in Abhängigkeit des ersten

Vergleichsergebnisses oder in Abhängigkeit des zweiten Vergleichsergebnisses betrieben werden. Dies bedeutet, dass, wenn der erste Vergleich ergibt, dass das in dem oder auf dem

Gargerät platzierbare Gargut einem Standard-Garprogramm-Gargut entspricht, ein Betreiben des Gargeräts auf Basis eines zu dem Standard-Garprogramm-Gargut gehörenden

Standard-Garprogramm erfolgen kann, das sich ggf. noch durch den Nutzer manipulieren lässt. Wenn der erste Vergleich hingegen ergibt, dass das in dem oder auf dem Gargerät platzierbare Gargut keinem Standard-Garprogramm-Gargut entspricht, kann ein Betreiben des Gargeräts auf Basis des zweiten Vergleichsergebnis erfolgen, beispielsweise indem ein

Garprogramm zu einem Gargut aus der nutzerspezifischen Gargut-Historie vorgeschlagen wird und ggf. noch von einem Nutzer abgewandelt werden kann.

Wenn das zweite Vergleichsergebnis angibt, dass ein Gargut in der nutzerspezifischen

Gargut-Historie gefunden wurde, das dem Gargut in dem oder auf dem Gargerät in hinreichender Weise ähnlich ist, kann auf Basis dieses zweiten Vergleichsergebnisses ein

Ausgeben mindestens eines Garprogramm-Vorschlags, der zu dem in der Gargut-Historie als hinreichend ähnlich erkannten Gargut gespeichert ist, erfolgen. Der Nutzer kann den mindestens einen Garprogramm-Vorschlag annehmen, bei mehreren Vorschlägen einen

Garprogramm-Vorschlag auswählen, den oder die Garprogramm-Vorschläge ablehnen oder den mindestens einen Garprogramm-Vorschlag manipulieren, um das Gargerät zu betreiben.

Wenn der Nutzer den mindestens einen Garprogramm-Vorschlag ablehnt, kann der Betrieb auch über einen manuelle oder sprachliche Nutzereingabe gestartet werden.

Wenn das zweite Vergleichsergebnis angibt, dass kein Gargut in der nutzerspezifischen

Garguthistorie gefunden wurde, das dem Gargut in dem oder auf dem Gargerät in hinreichender Weise ähnlich ist, kann auf Basis dieses zweiten Vergleichsergebnisses ein

Betreiben des Gargerätes durch eine manuelle oder sprachliche Nutzereingabe erfolgen.

Gemäß einem dritten Aspekt wird ein Gargerät vorgeschlagen. Das Gargerät weist einen optischen Sensor, eine Steuerungs- und Recheneinrichtung und eine Speichereinrichtung auf, wobei der optische Sensor dazu eingerichtet ist, ein Bild eines in dem oder auf dem

Gargerat platzierbaren Garguts zu erfassen, wobei die Steuerungs- und Recheneinrichtung ausgebildet ist, Informationen über das Gargut aus dem erfassten Bild zu extrahieren, und zumindest die extrahierten Informationen in einer nutzerspezifischen Gargut-Historie in einer nutzerspezifischen Datenbank auf der Speichereinrichtung zu speichern, wobei das Gargerät derart ausgebildet ist, dass die nutzerspezifische Gargut-Historie durch einen Nutzer

Manipulierbar und/oder durch mindestens ein maschinelles Lernmodell, insbesondere ein

Klassifikationsmodell, auswertbar ist, um darauf basierend eine automatische Gargut-

Erkennung, insbesondere fortlaufend, zu optimieren und/oder dem Nutzer mindestens einen neuen Betriebsprogramm-Vorschlag für ein in dem oder auf dem Gargerät platzierbares

Garguts zu machen.

Das Gargerät nach dem dritten Aspekt kann besonders bevorzugt dazu ausgebildet sein, die

Schritte gemäß dem ersten Aspekt auszuführen. Die Steuerungs- und Recheneinrichtung kann gemäß dem dritten Aspekt somit dazu eingerichtet sein, die folgenden Schritte auszuführen: Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild, vorzugsweise durch einen Bildmerkmals-Extraktionsalgorithmus; Vergleichen der extrahierten

Merkmale mit Merkmalen mindestens eines in der Speichereinrichtung vorgespeicherten

Standard-Garprogramm-Garguts, und basierend darauf Ermitteln eines ersten

Vergleichsergebnisses; in Abhängigkeit des ersten Vergleichsergebnisses, Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer in der

Speichereinrichtung nutzerspezifischen Gargut-Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; Betreiben des Gargerätes zum Garen des Gargutes in

Abhängigkeit des ersten Vergleichsergebnisses oder in Abhängigkeit des zweiten

Vergleichsergebnisses; und Speichern mindestens des erfassten Bildes in einer nutzerspezifischen Datenbank der Speichereinrichtung zum Aktualisieren der nutzerspezifischen Gargut-Historie. Auch die diesbezüglich gemachten weiteren

Ausführungen und Vorteile gelten entsprechend.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das Speichern mindestens des erfassten Bildes in der nutzerspezifischen Datenbank aufweist: Speichern eines

Betriebsprogramms zum Betreiben des Gargerätes zum Garen des Gargutes; und/oder

Speichern von manuellen Eingabedaten eines Nutzers, die in Abhängigkeit des ersten

Vergleichsergebnisses und/oder in Abhängigkeit des zweiten Vergleichsergebnisses zum ı5 Betreiben des Gargerätes erzeugbar sind; und/oder Speichern von Metadaten, die in

Abhängigkeit des ersten Vergleichsergebnisses und/oder in Abhängigkeit des zweiten

Vergleichsergebnisses zum Betreiben des Gargerätes erzeugbar sind.

Das "Speichern mindestens des erfassten Bildes in einer nutzerspezifischen Datenbank" bedeutet, dass zumindest das erfasste Bild und/oder die daraus extrahierten Merkmale gespeichert werden. Ferner können auch mit dem in dem oder auf dem Gargeräte platzierbaren Gargut verbindbare Informationen, wie eine Eingabe eines Nutzers (beispielsweise eine Annahme eines Garprogramm-Vorschlages oder ähnliches) und/oder

Einstellparameter des Gargerätes und/oder weitere Metadaten des Merkmalsvergleichs, beispielsweise eine Rangfolge des Vergleichs, das erste und/oder zweite Vergleichsergebnis oder ähnliches, gespeichert werden. Dadurch kann die nutzerspezifische Datenbank vorzugsweise möglichst umfassend aktualisiert werden, was die Erkennung von Gargütern und das darauf basierende automatische Garguterkennung und somit das automatische

Betreiben des Gargerätes verbessert.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das Gargerät ferner eine

Eingabeeinrichtung aufweist, die dazu eingerichtet ist, eine Nutzereingabe zu erfassen und der Steuerungs- und Recheneinrichtung bereitzustellen, wobei die Steuerungs- und

Recheneinrichtung auf Basis der Nutzereingabe dazu eingerichtet ist: die Gargut-Historie zu verwalten und/oder zu ergänzen und/oder mindestens ein Gargut der Gargut-Historie zu gewichten und/oder zu bewerten, und Änderungen in der nutzerspezifischen Gargut-Historie

Zu aktualisieren; und/oder ein in der Gargut-Historie umfasstes, insbesondere nutzerspezifisches, Betriebsprogramm zu starten; und/oder ein neues Betriebsprogramm zum

Betreiben des Gargerätes anzulegen, und vorzugsweise dem neuen Betriebsprogramm

Programmspezifikationen und/oder mindestens ein Bild der nutzerspezifischen Gargut-

Historie zuzuweisen.

Die "Eingabeeinrichtung" kann vorzugsweise einen Bildschirm aufweisen. Die

Eingabeeinrichtung kann grundsätzlich auch durch eine drahtlose Verknüpfung mit einem

Endgerät des Nutzers durch dieses Endgerät bereitgestellt sein. Durch die

Eingabeeinrichtung kann der Nutzer die nutzerspezifische Gargut-Historie vorzugsweise managen, Namen für einzelne Gargüter und/oder Garprogramme vergeben, Gargüter und/oder Garprogramme gruppieren, Gargüter und/oder Garprogramme löschen, Gargüter und/oder Garprogramme bewerten und/oder favorisieren und/oder optional weitere Bilder zu den Gargütern, insbesondere von einer rohen und/oder gekochten Version des betreffenden

Garguts, erfassen. Das Erfassen weiterer Bilder kann beispielsweise über das Endgerät erfolgen. Nutzereingaben werden vorzugsweise in der nutzerspezifischen Gargut-Historie gespeichert, wodurch diese aktualisiert wird. Dies macht ein hochgradig individuelles ı5 Anpassen und Managen der nutzerspezifischen Garguthistorie möglich. So kann beispielsweise auf neue diätische Bedürfnisse und/oder veränderte Essgewohnheiten des

Nutzers reagiert werden. Dies bietet dem Nutzer die Möglichkeit, mit seiner persönlichen

Gargut-Historie zu interagieren, und macht es insbesondere auch möglich, durch Ansätze des maschinellen Lernens, Vorschläge für neue benutzerspezifische Bedienprogramme bzw.

Garprogramme zu erzeugen, zu denen ein entsprechendes Gargut zukünftig ebenfalls erkannt werden kann. Auf diese Weise wird eine verbesserte Benutzererfahrung geschaffen.

Die Interaktionen des Nutzers dienen vorzugsweise als Grundlage für die Erstellung bzw.

Optimierung eines nutzerspezifischen Modells zur automatischen Erkennung eines Garguts, das neben Standard-Gargütern auch nutzerspezifische Gargüter bzw. Gerichte erkennt. Das nutzerspezifische Modell kann in Abhängigkeit des Nutzerverhaltens, vorzugsweise stetig bzw. fortlaufend, aktualisiert werden.

Das Gargerät kann auch eine Ausgabe- und/oder Anzeigeeinrichtung, beispielsweise in der

Form eines Bildschirms, aufweisen. Die Ausgabe- und/oder Anzeigeeinrichtung kann auch mit der Eingabeeinrichtung, beispielsweise als Touch-Bildschirm, kombiniert sein. Auch kann ein Endgerät des Nutzers als Ausgabe- und/oder Anzeigeeinrichtung dienen. Durch die

Ausgabe- und/oder Anzeigeeinrichtung kann der Nutzer beispielsweise Statistiken und/oder sonstige Informationen zu der nutzerspezifischen Gargut-Historie einsehen, beispielsweise wie oft er ein bestimmtes Gericht zubereitet hat. Auch kann der Nutzer über die

Eingabeeinrichtung und/oder die vorzugsweise damit kombinierte Ausgabe- und/oder

Anzeigeeinrichtung unmittelbar ein Garprogramm zu einem Gargut starten, ohne dass ein

Vergleichen von Bildmerkmalen erfolgen muss. Der Nutzer kann ein personalisiertes

Betriebsprogramm vorzugsweise entweder aus der Gargut-Historie oder aus der

Betriebsprogrammliste auf dem Gargerät starten.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Steuerungs- und

Recheneinrichtung dazu ausgebildet ist, Merkmale und/oder das Bild des mindestens einen

Garguts, die/das in der nutzerspezifischen Gargut-Historie gespeichert sind, mit einem durch einen Nutzer bereitgestellten Rezept zur Zubereitung des mindestens einen Garguts zu verknüpfen und darauf basierend die Gargut-Historie zu aktualisieren.

Dadurch ist es möglich, zu einem Gargut weitere (Meta-) Informationen anzulegen, durch die ein entsprechendes Garprogramm zum Garen des Garguts vorzugsweise weiter individualisierbar und/oder optimierbar ist. Auf Basis der in dem Rezept umfassten

Informationen kann vorzugsweise auch ein Angleichen und/oder Aktualisieren eines

Garprogramms, das in der Gargut-Historie gespeichert ist, erfolgen. Der Nutzer kann auch mehrere Rezepte zu einem Gargut bereitstellen.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das durch den Nutzer bereitgestellte Rezept eine Verknüpfung mit einem Internetlink, über den das Rezept abrufbar ist, umfasst, und/oder durch eine Bildaufnahme des Rezeptes bereitgestellt ist, wobei die

Steuerungs- und Recheneinrichtung dazu ausgebildet ist, mittels eines Bild-zu-Text-

Extraktionsalgorithmus und/oder eines Text-Extraktionsalgorithmus Merkmale aus dem

Rezept zu extrahieren, auf deren Basis ein neues Betriebsprogramm zum Betreiben des

Gargerâtes in der nutzerspezifischen Gargut-Historie anlegbar ist und darauf basierend die

Gargut-Historie aktualisierbar ist.

Beschrieben ist also eine möglichst automatisierte Verarbeitung von Rezepten, die vom

Nutzer bereitgestellt werden, um ein Gargerät effizienter und personalisierter zu betreiben.

Das mindestens eine Rezept kann entweder durch eine Verknüpfung mit einem Internetlink,

Über den das Rezept abrufbar ist, oder durch eine Bildaufnahme des Rezeptes, beispielsweise aus einer Zeitschrift oder durch eine Bildschirmaufnahme, bereitgestellt werden. Die Steuerungs- und Recheneinrichtung des Gargerätes ist dazu ausgebildet, mittels eines Bild-zu-Text-Extraktionsalgorithmus und/oder eines Text-Extraktionsalgorithmus

Merkmale aus dem Rezept zu extrahieren. Die extrahierten Merkmale umfassen

Vorzugsweise relevante Informationen des Rezepts wie Zutaten, Mengen, Garzeiten,

Temperaturen und Anweisungen zur Zubereitung. Auf Basis dieser Merkmale wird vorzugsweise ein neues Betriebsprogramm erstellt oder ein bestehendes Betriebsprogramm aktualisiert, das auf die spezifischen Anforderungen des bereitgestellten Rezepts zugeschnitten ist. Es ist auch möglich, dass Informationen aus verschiedenen Rezepten kombiniert werden. Das neue oder aktualisierte Betriebsprogramm wird in der nutzerspezifischen Gargut-Historie gespeichert, wodurch die Gargut-Historie aktualisiert wird.

Dies ermöglicht eine kontinuierliche Verbesserung und Anpassung der Garprozesse an die

Präferenzen und bisherigen Kochgewohnheiten des Nutzers.

Ein Bild-zu-Text-Extraktionsalgorithmus, oft als Optical Character Recognition (OCR) bezeichnet, ist darauf spezialisiert, Textinformationen aus Bildern oder gescannten

Dokumenten zu extrahieren. Der Algorithmus identifiziert und digitalisiert dabei schriftliche

Inhalte, um sie für weitere Verarbeitungsschritte nutzbar zu machen.

Ein Text-Extraktionsalgorithmus ist darauf ausgelegt, relevante Informationen aus strukturierten oder unstrukturierten Texten zu extrahieren. Dieser Algorithmus kann sowohl aus digitalen Dokumenten als auch aus Webinhalten oder Datenbanken Textinhalte gewinnen. Der Text wird dabei vorzugsweise vorverarbeitet, um überflüssige Zeichen zu entfernen und die Daten für die Analyse vorzubereiten. Der Algorithmus analysiert den Text, um Muster, Schlüsselwörter, Entitäten (wie Namen, Daten, Orte) und andere relevante

Informationen zu identifizieren. Die relevanten Textinformationen werden dann vorzugsweise extrahiert und strukturiert dargestellt. Der extrahierte Text kann dann ggf. weiterverarbeitet ı5 werden, um ihn in das gewünschte Format, beispielsweise in Steuerbefehle eines Gargut-

Programms, zu überführen.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Steuerungs- und

Recheneinrichtung dazu ausgebildet ist, die Merkmale und/oder das mindestens eine Bild des mindestens einen Garguts, die/das mit dem Rezept verknüpfbar sind/ist, durch

Datenaugmentierung anzureichern und darauf basierend die Gargut-Historie zu aktualisieren, um derart die automatische Garguterkennung und das Anlegen des neuen

Betriebsprogramms, insbesondere durch Abgrenzung gegenüber gespeicherten Gargütern und/oder Betriebsprogrammen, zu verbessern.

Die Steuerungs- und Recheneinrichtung ist dazu ausgebildet, die Merkmale und/oder

Mindestens ein Bild des mindestens einen Garguts, das mit einem Rezept verknüpfbar ist, durch Datenaugmentierung anzureichern. Diese angereicherten Daten werden verwendet, um die Gargut-Historie zu aktualisieren.

Denkbar ist auch eine Generierung von kompletten Bildern mit generativen Modellen, insbesondere auch auf Basis der vorstehend beschriebenen (ggfs. extrahierten) Rezepttexte.

Alternativ kann dies auch mittels „variational autoencoders“ oder „stable diffusion“-Ansätzen erfolgen.

Das Ziel dieses Prozesses ist es, die automatische Erkennung des Garguts sowie das

Anlegen eines neuen Betriebsprogramms zu verbessern, insbesondere durch die

Abgrenzung gegenüber bereits gespeicherten Gargütern und/oder Betriebsprogrammen.

Dabei können bekannte Techniken der Datenaugmentierung eingesetzt werden. Die

Datenaugmentierung umfasst vorzugsweise verschiedene Techniken, die darauf abzielen, die

Menge und Vielfalt der für maschinelles Lernen verfügbaren Daten zu erhöhen, ohne tatsächlich neue Daten zu sammeln. Zu den gängigen Methoden der Datenaugmentierung s gehören geometrische Transformationen wie Drehen, Skalieren, Zuschneiden, Spiegeln und/oder Verschieben von Bildern. Farbveränderungen sind ebenfalls bekannt und umfassen

Anpassungen der Helligkeit, des Kontrasts, der Sättigung und/oder Farbverschiebungen.

Eine weitere Methode ist das Hinzufügen von Rauschen, wie beispielsweise Gaussschem oder Speckle-Rauschen, um die Datenvielfalt zu erhöhen. Kombinationen mehrerer

Transformationen können verwendet werden, um neue Variationen zu erzeugen. Beim

Random Erasing werden beispielsweise zufällige Bereiche eines Bildes durch Rauschen oder konstante Werte ersetzt, während affine Transformationen eine Kombination aus Skalierung,

Rotation, Verschiebung und Scherung beinhalten.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Steuerungs- und

Recheneinrichtung dazu ausgebildet ist, die Informationen, durch die die Gargut-Historie aktualisierbar ist, zumindest teilweise durch Datenaugmentierung anzureichern und darauf basierend die Gargut-Historie zu aktualisieren.

Bei den Informationen kann es sich vorzugsweise um die erfassten Bilder und/oder die daraus extrahierten Merkmale handeln. Ferner können auch weitere Informationen, beispielsweise Einstellinformation und/oder Metainformationen in den Informationen umfasst sein. Das zuvor für die Datenaugmentierung Genannte, gilt hier entsprechend. Durch die

Datenaugmentierung können somit zu den erfassten Bildern zusätzliche Daten generiert werden, um den Trainingsdatensatz zumindest für den nutzerspezifischen Teil des Merkmals-

Extraktionsalgorithmus zu erweitern. Durch die synthetische Datengenerierung kann das

Training des Bildmerkmals-Extraktionsalgorithmus verbessert bzw. ein darauf basierendes

Erkennungs- bzw. Klassifikationsergebnis optimiert werden. Ferner kann dadurch auch ein

Few-Short-Learning-Ansatz für das Training des Merkmals-Extraktionsalgorithmus speziell auf in der Gargut-Historie unterrepräsentierten Daten zum Einsatz kommen, insbesondere indem derartig unterrepräsentierte Daten durch die Datenaugmentierung vermehrt und somit das Training verbessert werden kann. Durch die Datenaugmentierung kann ferner eine

Abgrenzung eines potenziell neuen Garguts, zu dem beispielsweise ein neues

Betriebsprogramm bzw. Garprogramm vorgeschlagen werden soll, gegenüber bereits automatisch erkennbaren Gargütern erreicht werden. Dadurch kann die Robustheit der automatischen Garguterkennung, insbesondere auf für zueinander ähnlichen Gargütern, verbessert werden.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Steuerungs- und

Recheneinrichtung dazu ausgebildet ist, mittels eines Klassifizierungsmodells des maschinellen Lernens, auf Basis von Informationen, durch die die Gargut-Historie aktualisierbar ist, ein potenziell für das Gargerät bisher unbekanntes Gargut und/oder ein s potenziell für das Gargerät neues Betriebsprogramm zu ermitteln. Besonders bevorzugt wird dabei vorgeschlagen, dass, wenn die Informationen, durch die die Gargut-Historie aktualisierbar ist, bezüglich der Informationen, die in der Gargut-Historie und/oder der

Speichereinrichtung gespeichert sind, ein Klassifikationskriterium erfüllen, die Steuerungs- und Recheneinrichtung dazu ausgebildet ist, einem Nutzer das für das Gargerät bisher unbekannte Gargut und/oder das für das Gargerät neue Betriebsprogramm vorzugschlagen.

Vorliegend ist es möglich, dass dem Nutzer automatisch durch das Gargerät ein neues

Betriebsprogramm bzw. Gargutprogramm vorgeschlagen wird. In diesem Fall identifiziert eine

Klassifizierungsmodell der künstlichen Intelligenz (KI) bzw. des maschinellen Lernens vorzugsweise potenzielle Kandidatenklassen für neue benutzerspezifische Gargüter bzw. ı5 Gerichte, insbesondere auf der Grundlage der erfassten Bilder in der persönlichen Gargut-

Historie. Das Klassifizierungsmodell bewertet vorzugsweise eine Robustheit einer solchen neuen benutzerspezifischen Kandidatenklasse, z. B. anhand der Abstände zu anderen

Gargut-Klassen in dem Merkmalsraum. Wenn mindestens ein Abstand zu anderen Gargut-

Klassen einen Grenzwert überschreitet, wird ein betreffendes Gargut vorzugsweise als neues

Gargut erkannt und darauf basierend ein Betriebsprogrammvorschlag ausgegeben. Ein solcher Grenzwert ist ein Beispiel für das genannte Klassifikationskriterium. Es können auch andere Klassifikationskriterien zum Einsatz kommen. Wenn sich die Kandidatenklasse für ein potenziell neues Gargut hinreichend gegenüber anderen Gargut-Klassen abgrenzt, also insbesondere unter Betrachtung eines Robustheitskriteriums robust genug ist, kann dem

Nutzer automatisch ein Vorschlag für ein neues, dem Gargut zugeordnetes, benutzerspezifisches Betriebsprogramm gegeben werden. Der Nutzer kann vorzugsweise entscheiden, ob er den Vorschlag annehmen und das neue persönliche Betriebsprogramm zu den automatisch zu erkennenden Gargütern hinzufügen möchte oder nicht. Der Nutzer erhält so Kl-basierte Vorschläge für neue benutzerspezifische Betriebsprogramme und kann

Vorzugsweise festlegen, welche der persönlichen Gargüter und/oder Gerichte zukünftig automatisch erkannt werden sollen. Die abstandsbezogene Robustheitsbewertung zu anderen Klassen kann durch Datenaugmentierung verbessert werden.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das Klassifizierungsmodell des maschinellen Lernens eine Distanzmetrik aufweist, mittels derer die Informationen, durch die die Gargut-Historie aktualisierbar ist, mit Informationen, die in der Gargut-Historie und/oder der Speichereinrichtung gespeichert sind, in einem Klassifikationsraum vergleichbar sind.

Diese Distanzmetrik ermöglicht es, erfasste Informationen, insbesondere die extrahierten

Merkmale des erfassten Bildes und ggf. auch weitere (Meta-) Informationen, mit vorgespeicherten Informationen, insbesondere den Merkmalen der in der Gargut-Historie gespeicherten Gargütern sowie ggf. weiteren dazu gehörigen (Meta-) Informationen, in einem

Klassifikationsraum zu vergleichen. Konkret bedeutet dies, dass neue Daten, die in das

Modell eingegeben werden, anhand dieser Distanzmetrik mit bereits vorhandenen

Datenpunkten abgeglichen werden. Der Klassifikationsraum ist dabei ein abstrakter Raum, in dem alle Datenpunkte basierend auf ihren (vektorisierten) Merkmalen und der angewendeten

Distanzmetrik positioniert sind. Dadurch wird es möglich, die Ähnlichkeit oder Unähnlichkeit zwischen den neuen und den gespeicherten Daten zu bewerten, um so eine präzise

Klassifikation des in dem oder auf dem Gargerät platzierbaren Garguts vorzunehmen.

Gemäß einem weiteren Aspekt wird vorgeschlagen, dass das vorgeschlagene Gargut und/oder das vorgeschlagene Betriebsprogramm von dem Nutzer um nutzerspezifische

Vorgaben abänderbar und/oder erweiterbar ist. ı5 Dies ermöglicht eine hochgradig individuelle Erstellung und/oder Aktualisierung eines

Betriebsprogramms bzw. Garprogramms, um so möglichst umfassend auf spezielle

Nutzervorlieben, beispielsweise Garungsgrad und/oder Bräunungsgrad etc., zu reagieren.

Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigt

Figur 1 eine schematische Ansicht eines beispielhaften Gargerätes;

Figur 2 ein schematisches Flussdiagramm eines beispielhaften Verfahrens;

Figur 3 ein schematisches Flussdiagramm eines Details eines bespielhaften

Verfahrens;

Figur 4 ein schematisches Diagramm einer Gargut-Klassifikation mit

Datenaugmentierung;

Figur 5 beispielhafte Verteilungen von Gargut-Klassen und Klassen-Repräsentationen; und

Figur 6 ein schematisches Diagramm, das ein Hinzufügen einer Kandidatenklasse als eine neue Gargut-Klasse, zeigt.

Fig. 1 zeigt in einer leicht perspektivischen Gesamtansicht ein erfindungsgemäßes Gargerät 2. Das Gargerät 2 ist vorliegend rein beispielhaft ein Backofen mit daran angeschlossenen

Kochzonen 20. Die Kochzonen 20 können als Feuerstellen gasbetrieben oder als

Strahlungsheizkörper oder als Induktionskochfelder ausgeführt sein. Das Gargerät 2 kann in anderen Ausführungen selbstredend auch keine Kochzonen 20 aufweisen.

Das Gargerät 2 weist an einer Vorderseite 18, die orthogonal zu einer Seitenfläche 17 verläuft, in einem oberen Bereich des Gargerätes 2 eine Eingabeeinrichtung 21, die beispielsweise mehrere Steuerelemente umfasst, auf, die beispielsweise als Drehregler oder als Berührungsregler ausgeführt sein können, und die zur Einstellung einer Betriebsart s und/oder oder mindestens einer Temperatur des Gargerätes 2 dienen können. In dem oberen

Bereich kann auch ein Display vorgesehen sein, um den Betriebszustand, einen Ist-Zustand und einen Soll-Zustand und/oder Abweichungen und den weiteren Verfahrensablauf zum

Garen eines Gargutes durch das Gargerät 2 darzustellen. Die Eingabeeinrichtung 21 kann auch in Form eines Touch-Bildschirms bereitgestellt sein.

Auf der Vorderseite 18 weist das Gargerät 2 eine Tür 19 auf, durch die ein Garraum 16, in dem oder auf dem das Gargut platzierbar ist, verschließbar ist.

In der leicht von oben perspektivisch dargestellten Abbildung gemäß Fig. 1 ist schematisch ein Beheizungskörper 14 erkennbar, der in einem Grundbereich des Garraums 16 des

Gargerätes 2 angeordnet ist, und dazu eingerichtet ist, das Gargut zu garen bzw. eine

Gartemperatur in dem Garraum 16 zu erzeugen. Der Beheizungskôrper 14 ist vorliegend für das Bereitstellen einer Unterhitze in dem Garraum 16 zum Garen des Gargutes von unten ausgebildet. Es versteht sich, dass das Gargerät 2 in anderen Ausführungsformen auch mehrere Beheizungskörper 14 aufweisen kann. Beispielsweise kann das Gargerät 2 alternativ oder ergänzend einen Beheizungskörper für das Bereitstellen einer Oberhitze in dem Garraum 16 zum Garen des Gargutes von oben aufweisen.

Ferner kann das Gargerät 2 an einer hinteren Innenwand des Garraumes 16 einen

Umluftlüfter 5 aufweisen, um eine Umluftfunktion zum Garen des Gargutes bereitzustellen.

Das Gargerät 2 weist ferner einen optischen Sensor 22 zur Erfassung eines Bildes des

Garguts in dem Garraum 16 auf, wobei die Anordnung des einen oder mehrerer optischer

Sensoren im Garraum beliebig sein kann. Das Gargerät 2 weist ferner eine Steuerungs- und

Recheneinrichtung 24 sowie eine Speichereinrichtung 26 auf. Die Speichereinrichtung 26 ist vorliegend in der Steuerungs- und Recheneinrichtung 24 integriert, kann aber auch beabstandet von dieser angeordnet sein. Die Steuerungs- und Recheneinrichtung 24 und/oder die Speichereinrichtung 26 kann/können in anderen Ausführungen auch außerhalb des Gargeräts 2, beispielsweise in einer Cloud oder auf einem Server, bereitgestellt sein.

Eine derartige Ausführung ist ebenfalls von der vorliegenden Erfindung umfasst.

Die die Steuerungs- und Recheneinrichtung 24 ist dazu ausgebildet, Informationen über das

Gargut aus dem erfassten Bild zu extrahieren, und zumindest die extrahierten Informationen in einer nutzerspezifischen Gargut-Historie in einer Datenbank R1 (siehe Figuren 2 und 3) auf der Speichereinrichtung 26 zu speichern, wobei das Gargerät 2 derart ausgebildet ist, dass die nutzerspezifische Gargut-Historie durch einen Nutzer manipulierbar und/oder durch mindestens ein maschinelles Lernmodell, insbesondere ein Klassifikationsmodell, auswertbar ist, um darauf basierend eine automatische Gargut-Erkennung, insbesondere fortlaufend, zu optimieren und/oder dem Nutzer automatisch mindestens einen neuen Betriebsprogramm-

Vorschlag für ein in dem oder auf dem Gargerät 2 platzierbares Garguts zu machen.

Im Speziellen ist die Steuerungs- und Recheneinrichtung 24 auch dazu eingerichtet, zumindest die folgenden Schritte auszuführen: Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild vorzugsweise durch einen Bildmerkmals-Extraktionsalgorithmus;

Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines in der

Speichereinrichtung 26 vorgespeicherten Standard-Garprogramm-Garguts, und basierend ı5 darauf Ermitteln eines ersten Vergleichsergebnisses; in Abhängigkeit des ersten

Vergleichsergebnisses, Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer in der Speichereinrichtung 26 nutzerspezifischen Gargut-Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; Betreiben des Gargerätes 2 zum Garen des Gargutes in Abhängigkeit des ersten Vergleichsergebnisses oder in

Abhängigkeit des zweiten Vergleichsergebnisses; und Speichern mindestens des erfassten

Bildes in einer nutzerspezifischen Datenbank der Speichereinrichtung 26 zum Aktualisieren der nutzerspezifischen Gargut-Historie.

In den Figuren 2 und 3 sind Ausführungsbeispiele des vorliegenden Verfahrens anhand schematischer Flussdiagramme dargestellt.

In einem Schritt S1 erfolgt bevorzugt ein Platzieren des Garguts in dem oder auf dem

Gargerät 2. Bei einem Küchengeräte 2, wie es beispielhaft in Fig. 1 gezeigt ist, kann das

Gargut beispielsweise in dem Garraum 16 platzierbar sein.

In einem Schritt S2 wird ein Bild des Garguts durch den optischen Sensor 22, beispielsweise eine Kamera, erfasst.

In einem Schritt S3 werden durch einen Bildmerkmals-Extraktionsalgorithmus, der auf der

Steuerungs- und Recheneinrichtung 24 ausführbar ist, Merkmale des Garguts aus dem erfassten Bild extrahiert, um diese beispielsweise mit Merkmalen von vorbekannten

Gargütern zu vergleichen. Der Bildmerkmals-Extraktionsalgorithmus kann beispielsweise als

Autoencoder oder als Convolutional Neural Network (CNN) oder Transformer ausgebildet sein.

In einem Schritt S4 werden die extrahierten Merkmale mit Merkmalen mindestens eines s vorgespeicherten Standard-Garprogramm-Garguts verglichen. Auf Basis des Vergleichs wird ein erstes Vergleichsergebnis ermittelt bzw. bereitgestellt. Beispielsweise kann ein Hersteller des Küchengerätes 2 mehrere Standard-Garprogramm-Gargüter in einer Datenbank der

Speichereinrichtung 26 speichern, um zumindest für diese Standard-Garprogramm-Gargüter eine automatische Garguterkennung durch das Gargerät 2 bereitzustellen.

Ergibt der Vergleich aus Schritt S4 als erstes Vergleichsergebnis (in Figur 2 "N"), dass das platzierte Gargut, insbesondere mit hinreichender Wahrscheinlichkeit, keinem Standard-

Garprogramm-Gargut entspricht, werden in Abhängigkeit dieses ersten

Vergleichsergebnisses in einem Schritt S5 die extrahierten Merkmale ferner mit Merkmalen mindestens eines Garguts einer nutzerspezifischen Gargut-Historie, die auch nutzerspezifische Gargut-Betriebsprogramme umfassen kann, das nicht Teil der Standard-

Garprogramm-Gargüter ist, verglichen. Darauf basierend wird in diesem Zuge ein zweites

Vergleichsergebnis bereitgestellt. Die nutzerspezifische Gargut-Historie weist vorzugsweise gegenüber den Standard-Garprogramm-Gargütern auch nutzerspezifische Garguter auf, die der Nutzer in der Vergangenheit bereits mit dem Gargerät 2 zubereitet hat.

Ergibt der Vergleich aus S5 als zweites Vergleichsergebnis (in Figur 2 "N"), dass das platzierte Gargut, insbesondere mit hinreichender Wahrscheinlichkeit, auch keinem Gargut der nutzerspezifischen Gargut-Historie entspricht, kann der Nutzer in einem optionalen Schritt

S6 ein Gargut-Betriebsprogramm zum Garen des Garguts durch einem manuelle

Nutzereingabe, beispielsweise über mindestens eines der Steuerelemente, starten.

Ergibt der Vergleich aus Schritt S4 als erstes Vergleichsergebnis (in Figur 2 "J"), dass das platzierte Gargut, insbesondere mit hinreichender Wahrscheinlichkeit, einem Standard-

Garprogramm-Gargut entspricht, kann in einem optionalen Schritt S7 dem Nutzer ein

Standard-Betriebsprogramm bzw. ein Standard-Garprogramm zum Garen des platzierten

Garguts vorgeschlagen werden.

Ergibt der Vergleich aus S5 als zweites Vergleichsergebnis (in Figur 2 "J"), dass das platzierte Gargut, insbesondere mit hinreichender Wahrscheinlichkeit, einem Gargut der nutzerspezifischen Gargut-Historie entspricht, kann in einem optionalen Schritt S7 dem

Nutzer ein Standard-Betriebsprogramm bzw. ein Standard-Garprogramm zum Garen des platzierten Garguts vorgeschlagen werden. Die Vergleiche S4 und S5 können auch zusammengefasst bzw. parallel ausgeführt werden.

In einem optionalen Schritt S8 kann der Nutzer den Programm-Vorschlag aus S7 entweder s annehmen (in Figur 2 "J"), so dass darauffolgend in einem Schritt S9 ein Betreiben des

Gargerätes 2 mittels des vorgeschlagenen Standard-Garprogramm bzw. Betriebsprogramm ausgelöst wird. Alternativ kann der Nutzer den Programm-Vorschlag aus S7 ablehnen (in

Figur 2 "N"), so dass der Nutzer in dem optionalen Schritt S6 ein Gargut-Betriebsprogramm zum Garen des Garguts durch einem manuelle Nutzereingabe, beispielsweise über

Mindestens eines der Steuerelemente, starten kann.

Das von dem Gargut erfasst Bild, die daraus extrahierten Merkmale sowie ggf. weitere

Informationen, beispielsweise die Vergleichsergebnisse, mindestens ein Programmvorschlag, eine Nutzereingabe und/oder weitere Metainformationen, werden vorzugsweise in einer nutzerspezifischen Datenbank R1 der Speichereinrichtung 26 gespeichert, um derart die nutzerspezifische Gargut-Historie zu aktualisieren. Es sei erwähnt, dass in der nutzerspezifischen Datenbank R1 auch Standard-Garprogramm-Gargüter gespeichert sein können, insbesondere wenn der Nutzer diese bereits in der Vergangenheit mit dem Gargerät zubereitet hat. Das Speichern kann vorzugsweise in Folge von einem der Schritte S6 oder S9 erfolgen. Allerdings ist auch ein von den Schritten unabhängiges Speichern, beispielsweise auch ein Zwischenspeichern, möglich.

In Fig. 3 wird detailliert dargestellt, welche Möglichkeiten der Nutzer zur aktiven oder passiven Interaktion mit der in der nutzerspezifischen Datenbank R1 gespeicherten, nutzerspezifischen Gargut-Historie haben kann.

Beispielsweise kann der Nutzer die Gargut-Historie durch eine manuelle oder sprachbasierte

Nutzereingabe über die Eingabeeinrichtung 21 manipulieren. Die Eingabeeinrichtung 21 ist dazu eingerichtet, eine Nutzereingabe zu erfassen und der Steuerungs- und

Recheneinrichtung 24 bereitzustellen.

Auf Basis der Nutzereingabe kann der Nutzer seine persönliche Gargut-Historie in einem

Schritt S10a beispielsweise managen. Der optionale Schritt S10a kann mehrere mögliche

Unterschritte umfassen. Beispielsweise ein Benennen und/oder Gruppieren von in der

Gargut-Historie gespeicherten Informationen, in einem Schritt S10a - 1. Beispielsweise ein

Managen und/oder Löschen von in der Gargut-Historie gespeicherten Informationen, in einem

Schritt S10a - 2. Beispielsweise ein Gewichten und/oder Bewerten von in der Gargut-Historie gespeicherten Informationen, in einem Schritt S10a - 3. Auch kann der Nutzer beispielsweise in einem Schritt S10a - 4 die Möglichkeit haben, weitere Bilder zu einem in der Gargut-

Historie gespeicherten Gargut hinzuzufügen, die beispielsweise unterschiedliche

Garungsgrade des Garguts zeigen. In einem optionalen Schritt S10b kann der Nutzer durch eine Nutzereingabe die Speicherung der manuell vorgenommenen Änderungen veranlassen, was zum Aktualisieren der Datenbank R1 führt, was in Figur 3 mit R1' gekennzeichnet ist.

Das Hinzufügen von Bildern ist erfindungsgemäß auch per App möglich. Ebenso kann die

Speicherung automatisch im Hintergrund erfolgen, ohne dass der Nutzer sie aktiv veranlassen muss.

Auch kann das Gargerät 2 selbst auf Basis der Gargut-Historie mögliche Aktualisierungen der

Garguthistorie und ggf. weitere Automatisierungsoptionen vorschlagen.

In einem Schritt S11a kann beispielsweise ein (neu) in der Gargut-Historie gespeichertes Bild eines Gargut bzw. dessen Bildmerkmale mittels eines Klassifizierungsmodells des ı5 maschinellen Lernens, das insbesondere auf der Steuerungs- und Recheneinrichtung 24 ausführbar ist, bezüglich der bereits in der Gargut-Historie gespeicherten Gargüter klassifiziert und so je nach Klassifizierungsergebnis als ein potenziell für das Gargerät 2 bisher unbekanntes Gargut und/oder als eine potenziell bisher unbekannte Gargut-Klasse (Kandidatenklasse) ermittelt werden. Die Klassifizierung des (neu) gespeicherten Bildes bzgl. der weiteren Bilder erfolgt vorzugsweise durch Nutzen einer Distanzmetrik. Die Distanzmetrik ermittelt dabei in einem Merkmalsraum 402 (siehe Figuren 4 und 6) vorzugsweise einen jeweiligen Abstand eines die Bildmerkmale des (neuen) Bildes repräsentierenden

Merkmalsvektors zu jeweiligen Merkmalsvektoren von bereits in der Datenbank R1 verfügbaren Bildern von Gargütern oder auch zu zusammengefassten Merkmalsvektoren zu einer Gruppe von Bildern, die beispielsweise jeweils einer Klasse von Gargütern (beispielsweise Klasse Kuchen, Geflügel, Fleisch, Braten etc.) repräsentieren. Das

Klassifizierungsergebnis bzw. Vergleichsergebnis kann in einem Schritt S11b auch einer

Robustheitsbewertung unterzogen werden, um derart zu prüfen, ob ein (neues) Bild eines potenziell unbekannten Garguts sich hinreichend von in der Gargut-Historie bereits vorhandenen Bildern von Gargütern unterscheidet. Auf Basis des Klassifikationsergebnisses und/oder infolge der Robustheitsbewertung kann dem Nutzer in einem Schritt S11c optional ein Betriebsprogramm für das neue Gargut oder die neue Gargutklasse vorgeschlagen werden. Ein derartiger Kl-basierter Programmvorschlag kann von dem Nutzer in einem optionalen Schritt S11d um nutzerspezifische Vorgaben abgeändert und/oder erweitert werden. Die Informationen zu dem neuen Gargut und/oder der neuen Gargutklasse werden vorzugsweise gemeinsam mit dem zugehörigen Betriebsprogramm gespeichert, so dass die

Datenbank R1 zu R1' aktualisierbar ist.

In einem optionalen Schritt S12 kann der Nutzer auch manuell oder sprachbasiert ein neues s Betriebsprogramm zu einem neuen Gargut hinzufügen, wobei in einem optionalen

Unterschritt S12 - 1 beispielsweise Programmspezifikationen hinzugefügt und/oder spezifiziert werden können. Ferner kann der Nutzer in einem optionalen Unterschritt S12 - 2 einem neuen Betriebsprogramm manuell oder sprachbasiert mindestens ein Bild eines zugehörigen Garguts zuordnen und/oder erfassen, und/oder ein Bild aus der Gargut-Historie auswählen.

In einem optionalen Schritt S13a kann der Nutzer die Möglichkeit haben, ein Rezept bereitzustellen. Dies kann durch eine Verknüpfung mit einem Internetlink, über den das

Rezept abrufbar ist, und/oder durch eine Bildaufnahme des Rezeptes erfolgen.

In einem optionalen Schritt S13b können mittels eines Bild-zu-Text-Extraktionsalgorithmus ı5 und/oder eines Text-Extraktionsalgorithmus, der/die Steuerungs- und Recheneinrichtung 24 ausführbar ist/sind, (Text-) Merkmale aus dem Rezept zu extrahiert werden, auf deren Basis beispielsweise ein neues Betriebsprogramm zum Betreiben des Gargerätes 2 ermittelbar und/oder vorschlagbar ist.

Das Rezept und/oder die daraus extrahierten Merkmale kann/können in einem optionalen

Schritt S13c mit Merkmalen und/oder dem mindestens einen zugehörigen Bild des Garguts, die/das in der nutzerspezifischen Gargut-Historie gespeichert sind, verknüpft und darauf basierend die Gargut-Historie aktualisiert werden.

In einem optionalen Schritt S14 kann der Nutzer, beispielsweise durch einen Ausgabe- und/oder Anzeigeeinrichtung (nicht gezeigt) des Gargerätes 2, Statistiken und/oder sonstige

Informationen zu der nutzerspezifischen Gargut-Historie einsehen, beispielsweise wie oft er ein bestimmtes Gericht zubereitet hat.

In einem optionalen Schritt S15 kann der Nutzer über die Eingabeeinrichtung 21 und/oder die vorzugsweise damit kombinierte Ausgabe- und/oder Anzeigeeinrichtung auch unmittelbar ein

Garprogramm bzw. Betriebsprogramm zu einem Gargut starten, beispielsweise ohne dass ein Vergleichen von Bildmerkmalen erfolgen muss.

Durch das Hinzufügen von nutzerspezifischen Bildern von Gargütern und/oder zugehörigen

Gargut-Betriebsprogrammen bzw. durch die, vorzugsweise fortlaufend aktualisierbare,

Gargut-Historie kann der Bildmerkmals-Erkennungsalgorithmus in einem optionalen Schritt

S16 nutzerspezifisch trainiert werden, so dass er im Betrieb des Gargerätes 2 auch nutzerspezifische Gargüter und dazu hinterlegte Zubereitungsvorlieben des Nutzers automatisch aus erkennen kann, wenn eine betreffendes Gargut in dem oder auf dem

Gargerät platziert ist.

Das nutzerspezifische Trainieren des Bildmerkmals-Erkennungsalgorithmus kann durch einen optionalen Unterschritt S16 - 2 der Datenaugmentierung bzw. -anreicherung zur

Generierung nutzerspezifischer Trennwerte in den Daten weiterhin verbessert werden. Auch können im Zuge des Trainings in einem optionalen Unterschritt S16 - 2 synthetische Daten erzeugt sowie Few-Shot-Learning-Strategien, alternativ Bildgenerierungsverfahren mittels generativer KI, zur Überwindung eines Datenmangels in den Trainingsdaten angewandt werden. Ferner kann in einem optionalen Unterschritt S16 - 2 ein Abstand eines Gargutes zu ı5 anderen Gargütern oder Gargut-Klassen in dem Vektorraum modelliert werden, um derart eine schärfere Abgrenzung zu erreichen.

In Figur 4 ist eine beispielhafte Klassifikation eines Merkmalsvektors 400, der zu einem als

Bild erfassten Gargut durch Merkmalsextraktion ermittelt wurde, bezüglich bekannter Gargut-

Klassen K1, K2, K3, K4 gezeigt. Durch die Merkmalsextraktion werden die Informationen von

Bildern in den hochdimensionalen Merkmalsraum 402 projiziert. Dabei wird eine jeweilige

Distanz D zu den Gargut-Klassen K1, K2, K3, K4 beispielsweise mittels eines Distanz- basierten Algorithmus berechnet. Die Klassifizierung erfolgt im Merkmalsraum 402, z. B. mit einem distanzbasierten Klassifikator wie dem K-Nächste-Nachbarn-Algorithmus (KNN), bei dem der Merkmalsvektor 400 derjenigen Gargut-Klasse (vorliegend K1) zugeordnet wird, zu der die k nächsten Klassenvertreter gehören. Es kann jede beliebige Distanzmetrik verwendet werden, z. B. die euklidische oder die Mahalanobis-Distanzmetrik.

In Figur 5 sind verschiedene Cluster-Darstellungen gezeigt, in der eine Klassenverteilung von

Gargutern ggf. vorliegen kann. In der ersten Spalte sind jeweils einzelne, konvexe Cluster bzw. Gruppen von Gargütern gezeigt. In der zweiten Spalte sind einzelne, nicht konvexe

Cluster gezeigt. In der dritten Spalte sind nicht verbundene Cluster von Gargütern gezeigt.

Zu den unterschiedlichen Clustern können durch unterschiedliche Ansätze Cluster- repräsentative Merkmalsvektoren erzeugt werden, was in den Zeilen 2 und 3 für jeden

Cluster-Typ aus Spalte 1-3 gezeigt ist. Dabei kann ein Cluster-repräsentativer

Merkmalsvektor über die Repräsentation eines Schwerpunkts des Clusters erzeugt werden, siehe Zeile 2. Auch kann ein Cluster-repräsentativer Merkmalsvektor über Repräsentanten mit Unterstichproben erzeugt werden, siehe Zeile 3. Alternativ zu einem Cluster- repräsentativen Merkmalsvektor kann ein Cluster auch über eine Diagramm- bzw. Graph- basierte Darstellung erzeugt werden, siehe Zeile 4.

Mit anderen Worten können die Klassenverteilungen durch einzelne Merkmalsvektoren, z. B.

Zentroide, oder durch andere, typischerweise unterabgetastete, Sätze von

Merkmalsvektoren, die als Klassenvertreter dienen, dargestellt werden. Die

Klassenverteilungen können auch durch einzelne Merkmalsvektoren, z. B. Zentroide, oder durch andere, typischerweise subprobengestützte, Sätze von Merkmalsvektoren, die als

Klassenvertreter dienen, oder durch Graphen, die räumliche Beziehungen zwischen

Merkmalsvektoren erfassen, dargestellt werden. Auch Verteilungsdarstellungen, z. B.

Gaußsche Verteilungen (Mittelwert plus Kovarianzmatrix), oder Mischverteilungen, z. B.

Mischungen von Gaußschen Verteilungen usw., können verwendet werden. ı5 In Figur 6 ist eine robuste und iterative Möglichkeit des Hinzufügens eines neuen Garguts oder einer neuen Gargutklasse zu der Gargut-Historie und zur automatischen

Garguterkennung gezeigt. Das Hinzufügen erfolgt dabei vorzugsweise iterativ. Wenn ein

Kunde beispielsweise ein Bild eines neuen Garguts zu der Gargut-Historie hinzufügt, oder dieses durch den optischen Sensor 22 erfasst und zu der Gargut-Historie hinzugefügt wird, können zum Trainieren des Bildmerkmals-Erkennungsalgorithmus zu diesem mindestens einen Bild weitere Bilddaten künstlich durch Datenanreicherung oder generative Kl erzeugt werden. In der in Figur 6 gezeigten Merkmalsraum-Darstellung werden durch die

Datenanreicherung so zusätzliche Merkmalsvektoren (siehe schwarz umrandete weiße

Punkte) auf Basis des erfassten oder vom Nutzer bereitgestellten Bildes, das in der

Datenbank R1 gespeichert ist, erzeugt. Auf Basis dessen kann eine Identifizierung potenziell neuer Kandidatenklassen zu dem in dem erfassten oder bereitgestellten Bild umfassten

Gargut, z. B. mithilfe von unüberwachten Lernmethoden wie Clustering (siehe Ellipsoide in

Figur 6) erfolgen, um so eine potenziell hinzuzufügende, nutzerspezifische neue Gargut-

Klasse nGK zu ermitteln. Dabei kann eine Robustheitsprüfung erfolgen, in der festgestellt wird, ob der identifizierte Klassenkandidat einen ausreichenden Abstand zu den bestehenden

Standard-Klassen SK1, SK2 und/oder der oder den Benutzer-Klassen BK1 bzw. keine

Überlappung aufweist, z. B. mithilfe einer abstandsbasierten Klassen- oder Clusterverteilung (siehe Linien zu benachbarten Klassenverteilungen/Clustern). Wenn die Robustheitsprüfung positiv ausfällt oder der Nutzer das Ergebnis der Robustheitsprüfung außer Kraft setzt, wird eine neue Gargut-Klasse, z. B. mit einem vom Nutzer definierten Namen und/oder

Kochparametern, zu den (benutzerdefinierten) Klassen (BKs) in die Datenbank R1 hinzugefügt.

Claims (15)

Patentansprüche

1. Gargerät (2) zum Garen eines Gargutes, das Gargerät aufweisend einen optischen Sensor (22), eine Steuerungs- und Recheneinrichtung (24) und eine Speichereinrichtung (26), wobei der optische Sensor (22) dazu eingerichtet ist, ein Bild eines in dem oder auf dem Gargerät (2) platzierbaren Garguts zu erfassen, und wobei die Steuerungs- und Recheneinrichtung (24) dazu eingerichtet ist, die folgenden Schritte auszuführen: - Extrahieren von Merkmalen des Gargutes aus dem erfassten Bild vorzugsweise durch einen Bildmerkmals-Extraktionsalgorithmus; - Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines in der Speichereinrichtung (26) vorgespeicherten Standard-Garprogramm-Garguts, und basierend darauf Ermitteln eines ersten Vergleichsergebnisses; - In Abhängigkeit des ersten Vergleichsergebnisses, Vergleichen der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer in der Speichereinrichtung (26) nutzerspezifischen Gargut-Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; - Betreiben des Gargerâtes (2) zum Garen des Gargutes in Abhängigkeit des ersten Vergleichsergebnisses oder in Abhängigkeit des zweiten Vergleichsergebnisses; und - Speichern mindestens des erfassten Bildes in einer nutzerspezifischen Datenbank (R1) der Speichereinrichtung (26) zum Aktualisieren der nutzerspezifischen Gargut- Historie.

2. Gargerät (2) nach Anspruch 1, wobei die Merkmale des mindestens einen Standard- Garprogramm-Garguts herstellerseitig in einer Standard-Gargut-Datenbank auf der Speichereinrichtung (26) gespeichert sind, und wobei die Merkmale des mindestens einen Garguts der nutzerspezifischen Gargut-Historie im Betrieb des Gargerates (2) durch einen Nutzer, insbesondere fortlaufend, auf Basis des jeweils erfassten Bildes erzeugbar und in der nutzerspezifischen Datenbank (R1) auf der Speichereinrichtung (26) speicherbar sind.

3. Gargerät (2) nach Anspruch 1 oder 2, wobei das Vergleichen in Abhängigkeit des ersten Vergleichsergebnisses bedeutet, dass das Vergleichen der extrahierten Merkmale mit den Merkmalen des mindestens einen Garguts der nutzerspezifischen Gargut-Historie erfolgt, wenn das erste Vergleichsergebnis angibt, dass die extrahierten Merkmale nicht mit Merkmalen des mindestens einen Standard-Garprogramm-Garguts übereinstimmen.

4. Gargerät (2) nach einem der vorstehenden Ansprüche, wobei, - wenn das zweite Vergleichsergebnis angibt, dass die extrahierten Merkmale nicht mit Merkmalen der nutzerspezifischen Gargut-Historie übereinstimmen, das Betreiben des Gargerätes (2) zum Garen des Gargutes basierend auf dem zweiten Vergleichsergebnis durch eine, insbesondere manuelle, Nutzereingabe erfolgt, und - wenn das zweite Vergleichsergebnis angibt, dass die extrahierten Merkmale mit Merkmalen der nutzerspezifischen Gargut-Historie übereinstimmen, ein Ausgeben eines Betriebsprogramm-Vorschlages, insbesondere umfassend eine Nutzer-Abfrage zu dessen Annahme oder Ablehnung, an den Nutzer basierend auf der Gargut- Historie, und darauf basierend ein Betreiben des Gargerätes (2) erfolgt.

5. Gargerät (2) aufweisend einen optischen Sensor, eine Steuerungs- und Recheneinrichtung (24) und eine Speichereinrichtung (26), wobei der optische Sensor (22) dazu eingerichtet ist, ein Bild eines in dem oder auf dem Gargerät (2) platzierbaren Garguts zu erfassen, wobei die Steuerungs- und Recheneinrichtung (24) ausgebildet ist, Informationen über das Gargut aus dem erfassten Bild zu extrahieren, und zumindest die extrahierten Informationen in einer nutzerspezifischen Gargut-Historie in einer Datenbank (R1) auf der Speichereinrichtung (26) zu speichern, wobei das Gargerät (2) derart ausgebildet ist, dass die nutzerspezifische Gargut-Historie durch einen Nutzer manipulierbar und/oder durch mindestens ein maschinelles Lernmodell, insbesondere ein Klassifikationsmodell, auswertbar ist, um darauf basierend eine automatische Gargut- Erkennung, insbesondere fortlaufend, zu optimieren und/oder dem Nutzer automatisch mindestens einen neuen Betriebsprogramm-Vorschlag für ein in dem oder auf dem Gargerät (2) platzierbares Garguts zu machen.

6. Gargerät (2) nach einem der vorstehenden Ansprüche, wobei das Speichern mindestens des erfassten Bildes in der nutzerspezifischen Datenbank (R1) aufweist: - Speichern eines Betriebsprogramms zum Betreiben des Gargerätes (2) zum Garen des Gargutes; und/oder - Speichern von manuellen Eingabedaten eines Nutzers, die in Abhängigkeit des ersten Vergleichsergebnisses und/oder in Abhängigkeit des zweiten Vergleichsergebnisses zum Betreiben des Gargerätes (2) erzeugbar sind; und/oder - Speichern von Metadaten, die in Abhängigkeit des ersten Vergleichsergebnisses und/oder in Abhängigkeit des zweiten Vergleichsergebnisses zum Betreiben des Gargerätes (2) erzeugbar sind.

7. Gargerät (2) nach einem der vorstehenden Ansprüche, ferner aufweisend eine Eingabeeinrichtung (21), die dazu eingerichtet ist, eine Nutzereingabe zu erfassen und der Steuerungs- und Recheneinrichtung (24) bereitzustellen, wobei die Steuerungs- und Recheneinrichtung (24) auf Basis der Nutzereingabe dazu eingerichtet ist: - die Gargut-Historie zu verwalten und/oder zu ergänzen und/oder mindestens ein Gargut der Gargut-Historie zu gewichten und/oder zu bewerten, und Änderungen in der nutzerspezifischen Gargut-Historie zu aktualisieren; und/oder - ein in der Gargut-Historie umfasstes, insbesondere nutzerspezifisches, Betriebsprogramm zu starten; und/oder - ein neues Betriebsprogramm zum Betreiben des Gargerätes (2) anzulegen, und vorzugsweise dem neuen Betriebsprogramm Programmspezifikationen und/oder mindestens ein Bild der nutzerspezifischen Gargut-Historie zuzuweisen.

8. Gargerät (2) nach einem der vorstehenden Ansprüche, wobei die Steuerungs- und Recheneinrichtung (24) dazu ausgebildet ist, Merkmale und/oder das Bild des mindestens einen Garguts, die/das in der nutzerspezifischen Gargut-Historie gespeichert sind, mit einem durch einen Nutzer bereitgestellten Rezept zur Zubereitung des mindestens einen Garguts zu verknüpfen und darauf basierend die Gargut-Historie zu aktualisieren.

9. Gargerät (2) nach Anspruch 8, wobei das durch den Nutzer bereitgestellte Rezept eine Verknüpfung mit einem Internetlink, über den das Rezept abrufbar ist, umfasst, und/oder durch eine Bildaufnahme des Rezeptes bereitgestellt ist, wobei die Steuerungs- und Recheneinrichtung (24) dazu ausgebildet ist, mittels eines Bild-zu-Text- Extraktionsalgorithmus und/oder eines Text-Extraktionsalgorithmus Merkmale aus dem Rezept zu extrahieren, auf deren Basis ein neues Betriebsprogramm zum Betreiben des Gargerätes (2) in der nutzerspezifischen Gargut-Historie anlegbar ist und darauf basierend die Gargut-Historie aktualisierbar ist.

10. Gargerät (2) nach Anspruch 9, wobei die Steuerungs- und Recheneinrichtung (24) dazu ausgebildet ist, die Merkmale und/oder das Bild des mindestens einen Garguts, die/das mit dem Rezept verknüpfbar sind/ist, durch Datenaugmentierung anzureichern und darauf basierend die Gargut-Historie zu aktualisieren, um derart die automatische Garguterkennung und das Anlegen des neuen Betriebsprogramms, insbesondere durch Abgrenzung gegenüber gespeicherten Gargütern und/oder Betriebsprogrammen, zu verbessern.

11. Gargerät (2) nach einem der vorstehenden Ansprüche, wobei die Steuerungs- und Recheneinrichtung (24) dazu ausgebildet ist, die Informationen, durch die die Gargut- Historie aktualisierbar ist, zumindest teilweise durch Datenaugmentierung oder generative Kl anzureichern und darauf basierend die Gargut-Historie zu aktualisieren.

12. Gargerät (2) nach einem der vorstehenden Ansprüche, wobei die Steuerungs- und Recheneinrichtung (24) dazu ausgebildet ist, mittels eines Klassifizierungsmodells des maschinellen Lernens, auf Basis von Informationen, durch die die Gargut-Historie aktualisierbar ist, ein potenziell für das Gargerät (2) bisher unbekanntes Gargut und/oder ein potenziell für das Gargerät (2) neues Betriebsprogramm zu ermitteln.

13. Gargerät (2) nach Anspruch 12, wobei das Klassifizierungsmodell des maschinellen Lernens eine Distanzmetrik aufweist, mittels derer die Informationen, durch die die Gargut-Historie aktualisierbar ist, mit Informationen, die in der Gargut-Historie und/oder der Speichereinrichtung (26) gespeichert sind, in einem Klassifikationsraum vergleichbar sind. ı5

14. Gargerät (2) nach Anspruch 13, wobei, wenn die Informationen, durch die die Gargut- Historie aktualisierbar ist, bezüglich der Informationen, die in der Gargut-Historie und/oder der Speichereinrichtung (26) gespeichert sind, ein Klassifikationskriterium erfüllen, die Steuerungs- und Recheneinrichtung (24) dazu ausgebildet ist, einem Nutzer das für das Gargerät (2) bisher unbekannte Gargut und/oder das für das Gargerät (2) neue Betriebsprogramm vorzugschlagen, wobei vorzugsweise das vorgeschlagene Gargut und/oder das vorgeschlagene Betriebsprogramm von dem Nutzer um nutzerspezifische Vorgaben abänderbar und/oder erweiterbar ist.

15. Verfahren zum Betreiben eines Gargerätes (2) zum Garen eines Gargutes und zum Aktualisieren einer nutzerspezifischen Gargut-Historie, das Verfahren aufweisend die Schritte: - Platzieren (S1) des Garguts in dem oder auf dem Gargerät (2); - Erfassen (S2) eines Bildes des Garguts durch einen optischen Sensor; - Extrahieren (S3) von Merkmalen des Gargutes aus dem erfassten Bild insbesondere durch einen Bildmerkmals-Extraktionsalgorithmus; - Vergleichen (S4) der extrahierten Merkmale mit Merkmalen mindestens eines vorgespeicherten Standard-Garprogramm-Garguts, und basierend darauf Ermitteln eines ersten Vergleichsergebnisses;

- In Abhängigkeit des ersten Vergleichsergebnisses, Vergleichen (S5) der extrahierten Merkmale mit Merkmalen mindestens eines Garguts einer nutzerspezifischen Gargut- Historie und basierend darauf Ermitteln eines zweiten Vergleichsergebnisses; - Betreiben (S6/S9) des Gargerätes zum Garen des Gargutes in Abhängigkeit des ersten Vergleichsergebnisses oder in Abhängigkeit des zweiten Vergleichsergebnisses; und - Speichern mindestens des erfassten Bildes in einer Datenbank (R1) zum Aktualisieren der nutzerspezifischen Gargut-Historie.