WO2016202542A1 - Verfahren zum verarbeiten von daten eines haushaltsgeräts - Google Patents

Verfahren zum verarbeiten von daten eines haushaltsgeräts Download PDF

Info

Publication number
WO2016202542A1
WO2016202542A1 PCT/EP2016/061770 EP2016061770W WO2016202542A1 WO 2016202542 A1 WO2016202542 A1 WO 2016202542A1 EP 2016061770 W EP2016061770 W EP 2016061770W WO 2016202542 A1 WO2016202542 A1 WO 2016202542A1
Authority
WO
WIPO (PCT)
Prior art keywords
household appliance
content image
refrigerator
appliance
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2016/061770
Other languages
English (en)
French (fr)
Inventor
Jochen Grimminger
Astrid Klingshirn
Martin Gebler
Markus Linder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Priority to CN201680034624.2A priority Critical patent/CN107750454A/zh
Publication of WO2016202542A1 publication Critical patent/WO2016202542A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices

Definitions

  • the invention relates to a method for processing image data provided by a household appliance on a mobile terminal and to a corresponding system.
  • a camera which at certain times takes up the inside of the refrigerator or a part of it.
  • the camera may e.g. when opening and / or closing the refrigerator door, make a picture from the inside of the refrigerator, e.g. from the food or other items currently in the fridge. Such a recording can be made accordingly also in the closed state of the refrigerator.
  • a sensor is provided for this purpose, which detects an opening and / or closing of the refrigerator door. This can e.g. done by means of a magnetic sensor or other switch.
  • the shot taken by the camera is e.g. stored in a memory via a wireless or wired connection.
  • the memory may e.g. be a memory of the household appliance or a memory of a computer or a computer network.
  • the recording may be made via a network interface on a central database, e.g. Tethered via the Internet.
  • the changes between different recordings which occur during the use of the domestic appliance can lead to the setting of goods in the domestic appliance and to a corresponding removal of the goods be inferred. This information can be further processed for different purposes.
  • the detection of the household appliance as an object in the recording can be performed by the mobile terminal.
  • the mobile terminal and the household appliance are at least temporarily connected to each other via a network or via a communication link, so that the content image of the household appliance to the mobile terminal is transferable.
  • the content image may include a single image, an image sequence or a moving image sequence (ie a movie).
  • the content image may e.g. be taken by at least one camera, which is located on or in the household appliance. This camera takes pictures of the interior of the household appliance.
  • the content images may e.g. temporarily stored in a memory.
  • memory e.g. be used: a memory in the household appliance, a network storage and / or storage of the mobile terminal.
  • the content image can be transmitted via a WLAN interface from the household appliance via the Internet to a smartphone, which can be connected to the Internet either via a WLAN interface or via another wireless communication connection (eg 3G or 4G).
  • the mobile terminal may have a special program (a so-called "app").
  • the content image or a part of the content image can be used to replace the household appliance in the recording that was or is created by the mobile terminal and thus to present an impression of an augmented reality on the mobile terminal by the user into the interior of the mobile device Household appliance can look.
  • a development is that the recording includes the household appliance.
  • the household appliance (from the outside) is shown on the recording.
  • This part of the recording can be replaced or overlaid by the content image.
  • a camera of the household appliance can be used.
  • This camera can provide the content image to a memory via a processing unit.
  • the camera may be combined with the processing unit so that the camera with processing unit e.g. send the content image over a network at certain times.
  • the content image comprises at least one item of information which can be selected and displayed on the basis of the mobile terminal.
  • the content image may include the information in addition to the image taken by the camera of the household appliance. This information can be displayed as an icon.
  • the selection information can be displayed in more detail, for example by opening a window containing explanations.
  • the information is not limited to colors, symbols, text, etc.
  • the information can also be linked to a condition, for example a selection, so that the information is displayed when the content image or part of the content image is clicked (eg by touching with a finger in the case of a mobile terminal with touchscreen).
  • the information comprises at least one of the following:
  • the predetermined action comprises at least one of the following:
  • the method further comprises:
  • Navigation information is selected.
  • the selection of the displayed content image also includes a part of the content image. So a navigation inside the household appliance by means of the content image (or multiple content images) is possible.
  • the navigation information is provided by the mobile terminal, so that a virtual navigation inside the household appliance is made possible.
  • the household appliance is one of the following appliances:
  • the refrigerator and / or freezer is also referred to here as a refrigerator.
  • a next embodiment is that the content image is created from the interior of the household appliance by means of a camera arranged in the household appliance, wherein when opening and / or closing a door of the household appliance, the content image is created.
  • a system is proposed with a household appliance and a mobile terminal,
  • the household appliance has a camera for creating a content image from the interior of the household appliance, wherein the content image can be provided to the mobile terminal,
  • a processing unit for detecting a household appliance in the receptacle and for replacing the household appliance or a part of the household appliance in the recording by the content image from the inside of the household appliance.
  • the processing unit mentioned here may in particular be embodied as a processor unit and / or an at least partially hard-wired or logical circuit arrangement, which is set up, for example, in such a way that the method can be carried out as described herein.
  • Said processing unit may be or include any type of processor or computer or computer with correspondingly necessary peripherals (memory, input / output interfaces, input / output devices, etc.).
  • peripherals memory, input / output interfaces, input / output devices, etc.
  • FIG. 1 shows a schematic arrangement of a kitchen unit with several units, including a refrigerator as an example household appliance and a smartphone that creates a recording of the kitchenette;
  • FIG. 2 shows a screen content on the smartphone comprising the kitchen unit with the content image, which shows the interior of the refrigerator instead of the refrigerator from the outside;
  • FIG. 3 shows by way of example a schematic block diagram comprising a refrigerator with a door, a camera and a processing unit in a symbolic sectional view.
  • the examples described herein allow a user to display the contents of a home appliance on a terminal when an image taken by the camera of the terminal captures and / or displays the home appliance or a portion of the home appliance.
  • the terminal is e.g. to a mobile device, a smartphone, a smartwatch, a tablet computer, a portable computer, etc.
  • the terminal has a wireless or a wired connection to a network.
  • the network may e.g. include the Internet or connect to the Internet.
  • a given pattern e.g. a door of the household appliance, recognized and displayed instead of the door of the household appliance, the contents of the household appliance on the terminal.
  • a recording from the inside of the household appliance can be transmitted to the terminal and displayed on the screen of the terminal e.g. instead of the given pattern.
  • the pattern e.g. replaced the door of the household appliance by the inclusion of the contents of the household appliance.
  • a viewing angle corresponding to the movement on the contents of the household appliance is displayed as a recording.
  • This can e.g. be achieved by different shots from different angles, from different cameras, or by displaying different sections of at least one shot.
  • an input means e.g., virtual joystick, scrollbar, touch screen, etc.
  • a zooming in or out is realized.
  • a (nearly) free navigation inside the household appliance by means of such input means and / or corresponding movement of the terminal can be realized.
  • the household appliance may be a refrigerator.
  • the terminal may be, for example, a smartphone. If the user directs the camera of the smartphone to the part of the kitchen in which the refrigerator is located, then the refrigerator is recognized as an object. This item can be replaced by including the contents of the refrigerator (also referred to as the "content image").
  • the content image was either previously or is meanwhile created by a camera located in the refrigerator and provided to the smartphone, eg via a network.
  • the smartphone or part of) the kitchen up displayed unchanged on the refrigerator;
  • the user now looks at the inside of the refrigerator on the basis of the content image and can thus recognize which foods and objects are in the refrigerator.
  • the door of the refrigerator appears by means of this measure of augmented reality as if it were transparent.
  • the content image can be displayed in different resolutions and / or cut-outs.
  • the contents image from the inside of the refrigerator may be provided with different additional information, e.g.
  • a color code for certain foods e.g. can food with short
  • Durability (of a few days, for example less than a week) be given a red color or a red marking
  • items that are part of a recipe may be marked (or otherwise highlighted) with a color.
  • the user can select a recipe on the smartphone and sees the ingredients in the refrigerator (for example, these may be marked with a green color or a green mark on the screen).
  • the recipes may be automatically offered to the user depending on his preference and / or depending on the time of day. It can also be noted per recipe, for example, whether the necessary ingredients that would normally have to be stored in the refrigerator are also available. In such a case, for example, the recipes may be marked green, for which all the necessary ingredients appear to be in the refrigerator. It is also an option to provide an ideal storage location in the refrigerator for an item. For example, it could be so marked on the content image that an apple should be stored in the area intended for fruit.
  • FIG. 1 shows a schematic arrangement of a kitchen unit 101 with a plurality of units, including a refrigerator 102 as an exemplary domestic appliance.
  • a smartphone 103 with a display 104 (which is embodied, for example, as a touchscreen) and a camera 105 is shown, the camera 105 being installed on the side opposite the display 104.
  • the user can record the kitchen 101 with the camera 105.
  • the recording can comprise at least one image or a sequence of images, ie a film. In particular, the recording can be created and displayed as a movie in real time.
  • the smartphone 103 is an example of a mobile terminal. It is in the present example via a radio interface, e.g. Mobile radio interface or a WLAN connection, connected to a network. Likewise, the refrigerator 102 is connected to the network. Exemplary details of the infrastructure are also explained below with reference to FIG.
  • the recording on the smartphone is analyzed and the refrigerator 102 is detected in the kitchen 101. The detection can be automatic; it is also possible for the user to have previously informed the software running on the smartphone 103 of what the refrigerator 102 looks like (for example, this can take the form of a front view of the refrigerator, which is then transferred to or read from the software).
  • the recognized object "refrigerator” is automatically replaced in the receptacle at least partially, completely or symbolically by a recording of the contents of the refrigerator.
  • This recording of the content of the Refrigerator (hereinafter referred to as “content image” for convenience) is provided by a camera located in the refrigerator (to distinguish the camera in the refrigerator from the camera of the terminal, the former is also called CIF ("camera in fridge”) designated).
  • This augmented reality 106 includes the representation of the kitchen unit with a content image 107. For purposes of illustration, this augmented reality 106 is shown enlarged again in FIG. On the smartphone 103, the user can look into the refrigerator 102 without having to open the refrigerator door.
  • FIG. 3 shows by way of example a schematic block diagram comprising a refrigerator 102 with a door 302 in a symbolic sectional view.
  • the door 302 is closed.
  • a sensor 306 detects whether the door 302 is open or closed.
  • the sensor 306 transmits a corresponding signal to a processing unit 304.
  • the processing unit 304 controls a camera 303 (CIF) so that it takes a picture of the interior of the refrigerator 102.
  • the processing unit 304 stores the recording in a memory 307.
  • the memory 307 may be part of the processing unit 304 or separate from it.
  • the processing unit 304 may be configured to detect at least one object 305 in the shot taken by the camera 303. Illustrated in FIG. 3 are, by way of example, a multiplicity of objects 305 which store articles inside the refrigerator, e.g. Goods or food, can be.
  • the camera 303 and the processing unit 304 may be implemented as one component.
  • a component may be a e.g. have a wireless network connection and store the recordings made directly on a connected via the Internet memory.
  • Such storage is also referred to as “cloud storage.”
  • an interface between the processing unit 304 and the smartphone 103 is further exemplified.
  • the dashed lines in 3 symbolically represent a transmission of signals or data.
  • the transmission of data to the smartphone 103 can take place, for example, via a radio interface that at least partially uses the Internet.
  • the processing unit 304 itself may have a wireless or wired connection to the Internet.
  • the smartphone 103 represents another example of a display device. It comprises an input facility in the form of a (for example, virtual) keyboard 321 and a screen 104.
  • the keyboard 321 and the screen 104 can be combined in the form of a touchscreen.
  • the content image may be taken at different times by the CIF 303, e.g. when the door 302 of the refrigerator 102 is closed and / or opened. Also, at predetermined times or on certain occasions (e.g., as a result of a query), a content image may be created.
  • the content image can be saved in different ways.
  • the memory may be located in the refrigerator 102, in a network or in the mobile terminal 103. Also, the content image can be saved multiple times.
  • the refrigerator 102 has a connection to a network, e.g. the internet. This connection can be wireless or wired.
  • the smartphone 103 also has a connection to the network (preferably wireless).
  • the refrigerator 102 and the smartphone 103 can communicate with each other directly or through the network; for example, the content image may be provided to the smartphone 103.
  • the refrigerator may be at least partially replaced by the content image or by an object associated with the content image.
  • a different section of the content image can be displayed or it is possible to switch between several content images (including sections of several content images).
  • the navigation - in addition to the movement of the smartphone itself - also (possibly alternatively or additionally) by means of an input device (eg a virtual joystick or a touch screen) are performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Es wird ein Verfahren vorgeschlagen umfassend die Schritte: Erstellen einer Aufnahme mittels eines mobilen Endgeräts, Erkennen eines Haushaltsgeräts in der Aufnahme und Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch ein Inhaltsbild vom Inneren des Haushaltsgeräts. Weiterhin wird ein entsprechendes System umfassend das Haushaltsgerät sowie das mobile Endgerät angegeben.

Description

Verfahren zum Verarbeiten von Daten eines Haushaltsgeräts
Die Erfindung betrifft ein Verfahren zum Verarbeiten von Bilddaten, die von einem Haushaltsgerät bereitgestellt werden auf einem mobilen Endgerät sowie ein entsprechendes System.
Es ist bekannt, in einem Haushaltsgerät, z.B. einem Kühlschrank, eine Kamera zu verwenden, die zu bestimmten Zeiten das Innere des Kühlschranks oder einen Teil davon aufnimmt. Die Kamera kann z.B. beim Öffnen und/oder Schließen der Kühlschranktüre eine Aufnahme vom Inneren des Kühlschranks erstellen, z.B. von den Lebensmitteln oder sonstigen Gegenständen, die sich gerade im Kühlschrank befinden. Eine solche Aufnahme kann entsprechend auch im geschlossenen Zustand des Kühlschranks gemacht werden.
Beispielsweise ist es möglich, dass hierzu ein Sensor vorgesehen ist, der ein Öffnen und/oder ein Schließen der Kühlschranktüre erkennt. Dies kann z.B. mittels eines magnetischen Sensors oder eines sonstigen Schalters erfolgen. Die von der Kamera erstellte Aufnahme wird z.B. über eine drahtlose oder drahtgebundene Verbindung in einem Speicher abgelegt. Der Speicher kann z.B. ein Speicher des Haushaltsgeräts oder ein Speicher eines Computers oder eines Computernetzwerks sein. Insbesondere kann die Aufnahme über eine Netzwerkschnittstelle auf einer zentralen Datenbank, die z.B. über das Internet angebunden ist, gespeichert werden. Wird mit jedem Öffnen und/oder Schließen mindestens eine Aufnahme vom Inhalt des Haushaltsgeräts gemacht, so kann anhand der Veränderungen zwischen unterschiedlichen Aufnahmen, die im Verlauf der Benutzung des Haushaltsgeräts entstehen, auf ein Einstellen von Waren in das Haushaltsgerät und auf ein entsprechendes Entnehmen der Waren rückgeschlossen werden. Diese Information kann für unterschiedliche Zwecke weiterverarbeitet werden.
Hierbei ist es problematisch, dass es eine Vielzahl von wiederverwendbaren Behältern gibt, die auf der Aufnahme erscheinen und keinen Rückschluss auf deren Inhalt liefern. Dies gilt z.B. für universell verwendbare wiederverschließbaren Behälter. Die Aufgabe besteht darin, den Umgang mit einem Haushaltsgerät zu verbessern.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich auch aus den abhängigen Ansprüchen.
Zur Lösung der Aufgabe wird ein Verfahren vorgeschlagen umfassend die Schritte:
Erstellen einer Aufnahme mittels eines mobilen Endgeräts,
Erkennen eines Haushaltsgeräts in der Aufnahme,
- Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch ein Inhaltsbild vom Inneren des Haushaltsgeräts.
Die Erkennung des Haushaltsgeräts als Objekt in der Aufnahme kann von dem mobilen Endgerät durchgeführt werden. Vorzugsweise sind das mobile Endgerät und das Haushaltsgerät zumindest zeitweise über ein Netzwerk oder über eine Kommunikationsverbindung miteinander verbunden, so dass das Inhaltsbild von dem Haushaltsgerät an das mobile Endgerät übertragbar ist.
Das Inhaltsbild kann dabei ein einzelnes Bild, eine Bildfolge oder eine Bewegtbildfolge (also einen Film) umfassen. Das Inhaltsbild kann z.B. von mindestens einer Kamera aufgenommen werden, die sich an oder in dem Haushaltsgerät befindet. Diese Kamera macht Aufnahmen vom Innenraum des Haushaltsgeräts. Die Inhaltsbilder können z.B. vorübergehend in einem Speicher abgespeichert werden. Als derartiger Speicher können z.B. genutzt werden: ein Speicher in dem Haushaltsgerät, ein Netzwerkspeicher und/oder ein Speicher des mobilen Endgeräts.
Beispielsweise kann das Inhaltsbild über eine WLAN-Schnittstelle von dem Haushaltsgerät über das Internet an ein Smartphone übertragen werden, das entweder über eine WLAN-Schnittstelle oder über eine sonstige drahtlose Kommunikationsverbindung (z.B. 3G oder 4G) mit dem Internet verbindbar ist. Zum Erkennen des Objekts kann das mobile Endgerät ein spezielles Programm (eine sogenannte "App") aufweisen. Das Inhaltsbild oder ein Teil des Inhaltsbildes kann dazu genutzt werden, das Haushaltsgerät in der Aufnahme, die von dem mobilen Endgerät erstellt wurde oder wird, zu ersetzen und somit einen Eindruck einer erweiterten Realität auf dem mobilen Endgerät darzustellen, indem der Benutzer in das Innere des Haushaltsgeräts blicken kann.
Eine Weiterbildung ist es, dass die Aufnahme das Haushaltsgerät umfasst.
Vorzugsweise ist auf der Aufnahme das Haushaltgerät (von außen) dargestellt. Dieser Teil der Aufnahme kann durch das Inhaltsbild ersetzt bzw. überlagert werden.
Eine andere Weiterbildung ist es, dass vor dem Ersetzen des Haushaltsgeräts oder des Teils des Haushaltsgeräts in der Aufnahme der Schritt durchgeführt wird:
Erstellen des Inhaltsbilds vom Innenraum des Haushaltsgeräts.
Hierzu kann z.B. eine Kamera des Haushaltsgeräts genutzt werden. Diese Kamera kann über eine Verarbeitungseinheit das Inhaltsbild einem Speicher bereitstellen. Optional kann die Kamera mit der Verarbeitungseinheit kombiniert sein, so dass die Kamera mit Verarbeitungseinheit z.B. zu bestimmten Zeitpunkten das Inhaltsbild über ein Netzwerk verschickt.
Insbesondere ist es eine Weiterbildung, dass das Inhaltsbild mindestens eine Information umfasst, die anhand des mobilen Endgeräts selektierbar und anzeigbar ist. Vorzugsweise kann das Inhaltsbild die Information zusätzlich zu der von der Kamera des Haushaltsgeräts gemachten Aufnahme umfassen. Diese Information kann als Symbol angezeigt werden. Optional kann die Information bei Selektion ausführlicher angezeigt werden, indem sich z.B. ein Fenster öffnet, das Erläuterungen enthält. Die Information ist nicht beschränkt auf Farben, Symbole, Text, o.ä. Auch kann die Information mit einer Bedingung, z.B. einer Selektion, verknüpft sein, so dass die Information dann angezeigt wird, wenn auf das Inhaltsbild oder auf einen Teil des Inhaltsbilds geklickt wird (z.B. durch Berühren mit einem Finger im Falle eines mobilen Endgeräts mit Touchscreen). Auch ist es eine Weiterbildung, dass die Information mindestens eine aus Folgenden umfasst:
einem Datum, das angibt, seit wann der Gegenstand in dem Kühlschrank gelagert wird,
- einem Datum, das zeigt, seit wann der Gegenstand nicht mehr bewegt wurde,
eine Dauer bis zu einem Verfallsdatum des Gegenstands,
ein Farb-Code für bestimmte Lebensmittel,
einer Nährwertinformation,
einer zweckgebundenen Information,
- einem Rezept.
Ferner ist es eine Weiterbildung, dass anhand der Information eine vorgegebene Aktion ausführbar ist. Im Rahmen einer zusätzlichen Weiterbildung umfasst die vorgegebene Aktion mindestens eine aus Folgenden:
Auslösung einer Bestellung;
Anzeige, ob ein Rezept oder eine Speise zubereitbar ist oder nicht;
Auswahl aus Rezepten, die aufgrund der mindestens einen Information zubereitbar sind;
Anweisung zur Platzierung eines Gegenstands in dem Haushaltsgerät.
Eine nächste Weiterbildung besteht darin, dass das Verfahren weiterhin umfasst:
Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch das Inhaltsbild, wobei das Inhaltsbild abhängig von einer
Navigationsinformation ausgewählt wird.
Hierbei sei angemerkt, dass die Auswahl des dargestellten Inhaltsbilds auch einen Teil des Inhaltsbilds umfasst. Also ist eine Navigation im Inneren des Haushaltsgeräts mittels des Inhaltsbilds (oder mehrerer Inhaltsbilder) möglich.
Eine Ausgestaltung ist es, dass die Navigationsinformation mittels des mobilen Endgeräts bereitgestellt wird, so dass eine virtuelle Navigation im Inneren des Haushaltsgeräts ermöglicht wird. Eine alternative Ausführungsform besteht darin, dass das Haushaltsgerät eines der folgenden Geräte ist:
ein Küchengerät,
- ein Gargerät,
ein Kühl- und/oder Gefriergerät.
Das Kühl- und/oder Gefriergerät wird hier auch als Kühlschrank bezeichnet. Eine nächste Ausgestaltung ist es, dass das Inhaltsbild vom Innenraum des Haushaltsgeräts erstellt wird mittels einer in dem Haushaltsgerät angeordneten Kamera, wobei beim Öffnen und/oder Schließen einer Türe des Haushaltsgeräts das Inhaltsbild erstellt wird. Weiterhin wird ein System mit einem Haushaltsgerät und einem mobilen Endgerät vorgeschlagen,
wobei das Haushaltsgerät eine Kamera aufweist zum Erstellen eines Inhaltsbilds vom Innenraum des Haushaltsgeräts, wobei das Inhaltsbild dem mobilen Endgerät bereitstellbar ist,
- wobei das mobile Endgerät
eine Kamera aufweist zum Erstellen einer Aufnahme,
eine Verarbeitungseinheit aufweist zum Erkennen eines Haushaltsgeräts in der Aufnahme und zum Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch das Inhaltsbild vom Inneren des Haushaltsgeräts.
Die hier genannte Verarbeitungseinheit kann insbesondere als eine Prozessoreinheit und/oder eine zumindest teilweise festverdrahtete oder logische Schaltungsanordnung ausgeführt sein, die beispielsweise derart eingerichtet ist, dass das Verfahren wie hierin beschrieben durchführbar ist. Besagte Verarbeitungseinheit kann jede Art von Prozessor oder Rechner oder Computer mit entsprechend notwendiger Peripherie (Speicher, Input/Output-Schnittstellen, Ein-Ausgabe-Geräte, etc.) sein oder umfassen. Die vorstehenden Erläuterungen betreffend das Verfahren gelten für die Vorrichtung bzw. das System entsprechend.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnungen dargestellt und erläutert.
Es zeigen:
Fig.1 eine schematische Anordnung einer Küchenzeile mit mehreren Einheiten, darunter einem Kühlschrank als beispielhaftes Haushaltsgerät sowie ein Smartphone, das eine Aufnahme von der Küchenzeile erstellt;
Fig.2 ein Bildschirminhalt auf dem Smartphone umfassend die Küchenzeile mit dem Inhaltsbild, das anstelle des Kühlschranks von außen das Innere des Kühlschranks zeigt;
Fig.3 beispielhaft ein schematisches Blockdiagramm umfassend einen Kühlschrank mit einer Türe, einer Kamera und einer Verarbeitungseinheit in einer symbolischen Schnittansicht.
Die hier beschriebenen Beispiele ermöglichen es einem Benutzer, den Inhalt eines Haushaltsgeräts auf einem Endgerät darzustellen, wenn ein von der Kamera des Endgeräts aufgenommenes Bild das Haushaltsgerät oder einen Teil des Haushaltsgeräts erfasst und/oder darstellt.
Bei dem Endgerät handelt es sich z.B. um ein mobiles Endgerät, ein Smartphone, eine Smartwatch, ein Tabletcomputer, einen tragbaren Computer o.ä. Das Endgerät verfügt über eine drahtlose oder eine drahtgebundene Verbindung zu einem Netzwerk. Das Netzwerk kann z.B. das Internet umfassen oder eine Verbindung zu dem Internet aufweisen.
Diese Lösung kann somit als eine Form einer erweiterten Realität ("Augmented Reality") im Bereich der Haushaltsgeräte aufgefasst werden. Unter erweiterter Realität versteht man laut Wikipedia (http://de.wikipedia.org/wiki/Erweiterte_Realität) die computergestützte Erweiterung der Realitätswahrnehmung.
Im vorliegenden Fall wird ein vorgegebenes Muster, z.B. eine Türe des Haushaltsgeräts, erkannt und anstatt der Türe des Haushaltsgeräts der Inhalt des Haushaltsgerät auf dem Endgerät dargestellt. Hierzu kann eine Aufnahme vom Inneren des Haushaltsgeräts an das Endgerät übermittelt werden und auf dem Bildschirm des Endgeräts z.B. anstatt des vorgegebenen Musters angezeigt werden. Somit wird das Muster, also z.B. die Türe des Haushaltsgeräts durch die Aufnahme von dem Inhalt des Haushaltsgeräts ersetzt.
Hierbei ist es eine Option, dass mit einer Bewegung des Endgeräts ein der Bewegung entsprechender Blickwinkel auf den Inhalt des Haushaltsgeräts als Aufnahme dargestellt wird. Dies kann z.B. durch unterschiedliche Aufnahmen aus unterschiedlichen Blickwinkeln, von unterschiedlichen Kameras, oder durch die Darstellung unterschiedlicher Ausschnitte aus mindestens einer Aufnahme erreicht werden. Bewegt der Benutzer beispielsweise das Endgerät von oben nach unten, so können die entsprechenden unterschiedlichen Bereiche im Inneren des Haushaltsgeräts auf dem Bildschirm angezeigt werden. Anstatt das Endgerät selbst von oben nach unten zu bewegen könnte auch ein Eingabemittel (z.B. virtueller Joystick, Scrollbalken, Touchscreen, etc.) vorgesehen sein, mit dem diese Bewegung (oder eine beliebige andere Bewegung) simuliert wird. Auch ist es möglich, dass z.B. durch Bewegen des Endgeräts und/oder durch das Eingabemittel ein Herein- oder Herauszoomen realisiert wird. Grundsätzlich kann auch eine (nahezu) freie Navigation im Inneren des Haushaltsgeräts mittels derartiger Eingabemittel und/oder entsprechender Bewegung des Endgeräts realisiert werden.
Beispielsweise kann es sich bei dem Haushaltsgerät um einen Kühlschrank handeln. Das Endgerät kann beispielsweise ein Smartphone sein. Richtet der Benutzer die Kamera des Smartphones auf den Teil der Küche, in der sich der Kühlschrank befindet, so wird der Kühlschrank als Objekt erkannt. Dieses Objekt kann durch die Aufnahme des Inhalts des Kühlschranks (auch bezeichnet als "Inhaltsbild") ersetzt werden. Das Inhaltsbild wurde entweder zuvor oder wird währenddessen von einer Kamera, die sich in dem Kühlschrank befindet, erstellt und, z.B. über ein Netzwerk, dem Smartphone bereit gestellt. Hierdurch wird beispielsweise auf dem Bildschirm des Smartphones die (oder ein Teil der) Küche bis auf den Kühlschrank unverändert dargestellt; anstatt des Kühlschranks sieht der Benutzer nun aber anhand des Inhaltsbilds ins Innere des Kühlschranks und kann so erkennen, welche Lebensmittel und Gegenstände sich in dem Kühlschrank befinden. Die Türe des Kühlschranks erscheint mittels dieser Maßnahme der erweiterten Realität so als sei sie durchsichtig.
Optional kann je nach Größe des erkannten Objekts "Kühlschrank" das Inhaltsbild in unterschiedlichen Auflösungen und/oder Ausschnitten dargestellt werden. Das Inhaltsbild vom Inneren des Kühlschranks kann mit unterschiedlichen zusätzlichen Informationen versehen sein, z.B.
einem Datum, das angibt, seit wann der Gegenstand in dem Kühlschrank gelagert wird,
einem Datum, das zeigt, seit wann der Gegenstand nicht mehr bewegt wurde, - eine Dauer bis zu einem Verfallsdatum des Gegenstands,
ein Farb-Code für bestimmte Lebensmittel; z.B. können Lebensmittel mit kurzer
Haltbarkeit (von wenigen Tagen, z.B. weniger als einer Woche) mit einer roten Farbe oder einer roten Markierung versehen sein,
einer Nährwertinformation,
- einer zweckgebundenen Information, z.B. einer Verwendbarkeit für eine Party,
einem Rezept.
Beispielsweise können Gegenstände, die Teile eines Rezepts sind, mit einer Farbe markiert (oder auf eine sonstige Art hervorgehoben) werden. Der Benutzer kann an dem Smartphone ein Rezept auswählen und sieht die Zutaten im Kühlschrank (diese können z.B. mit einer grünen Farbe oder einer grünen Markierung auf dem Bildschirm gekennzeichnet sein). Die Rezepte können dem Benutzer abhängig von dessen Präferenz und/oder abhängig von der Tageszeit automatisch angeboten werden. Auch kann z.B. pro Rezept vermerkt sein, ob die notwendigen Zutaten, die normalerweise im Kühlschrank lagern müssten, auch vorhanden sind. In so einem Fall können z.B. die Rezepte grün markiert sein, für die alle erforderlichen Zutaten im Kühlschrank vorhanden zu sein scheinen. Auch ist es eine Option, dass für einen Gegenstand ein idealer Lagerplatz in dem Kühlschrank angegeben wird. Beispielsweise könnte so auf dem Inhaltsbild markiert sein, dass ein Apfel in dem für Obst vorgesehenen Bereich gelagert werden sollte. Ein Vorteil dieses Ansatzes besteht darin, dass der Benutzer den Inhalt des Kühlschranks effizient auf unterschiedliche Art und Weise nutzen kann, ohne dass hierfür jedes Mal die Kühlschranktüre geöffnet werden muss. Hierdurch wird einerseits Energie gespart, andererseits entfällt das lästige und zeitaufwändige Durchsuchen des Kühlschrankinhalts. Fig.1 zeigt eine schematische Anordnung einer Küchenzeile 101 mit mehreren Einheiten, darunter einem Kühlschrank 102 als beispielhaftes Haushaltsgerät. Weiterhin ist ein Smartphone 103 mit einem Display 104 (das z.B. als ein Touchscreen ausgeführt ist) und einer Kamera 105 gezeigt, wobei die Kamera 105 auf der dem Display 104 gegenüberliegenden Seite verbaut ist. Der Benutzer kann mit der Kamera 105 die Küchenzeile 101 aufnehmen. Die Aufnahme kann mindestens ein Bild oder eine Sequenz von Bildern, also einen Film, umfassen. Die Aufnahme kann insbesondere als Film in Echtzeit erstellt und angezeigt werden.
Das Smartphone 103 ist ein Beispiel für ein mobiles Endgerät. Es ist im vorliebenden Beispiel über eine Funkschnittstelle, z.B. Mobilfunkschnittstelle oder eine WLAN- Anbindung, mit einem Netzwerk verbunden. Ebenso ist der Kühlschrank 102 mit dem Netzwerk verbunden. Beispielhafte Details zur Infrastruktur werden auch nachfolgend im Hinblick auf Fig.3 erläutert. Die Aufnahme auf dem Smartphone wird analysiert und der Kühlschrank 102 wird in der Küchenzeile 101 erkannt. Die Erkennung kann automatisch erfolgen; auch ist es möglich, dass der Benutzer zuvor der auf dem Smartphone 103 ablaufenden Software mitgeteilt hat, wie der Kühlschrank 102 aussieht (dies kann z.B. in Form einer Aufnahme des Kühlschranks von vorne geschehen, die dann der Software übergeben oder von dieser eingelesen wird).
Wird der Kühlschrank 102 erkannt, so wird automatisch in der Aufnahme das erkannte Objekt "Kühlschrank" zumindest teilweise, vollständig oder symbolisch durch eine Aufnahme des Inhalts des Kühlschranks ersetzt. Diese Aufnahme des Inhalts des Kühlschranks (nachfolgend der besseren Lesbarkeit bezeichnet als "Inhaltsbild") wird von einer Kamera bereitgestellt, die sich in dem Kühlschrank befindet (um die Kamera im Kühlschrank von der Kamera des Endgeräts zu unterscheiden, wird erstere auch als CIF ("camera in fridge") bezeichnet).
Das Inhaltsbild überlagert also teilweise die Aufnahme der Kamera 105. Diese erweiterte Realität 106 umfasst die Darstellung der Küchenzeile mit einem Inhaltsbild 107. Zur Veranschaulichung ist diese erweiterte Realität 106 nochmal in Fig.2 vergrößert dargestellt. Auf dem Smartphone 103 kann der Benutzer in den Kühlschrank 102 blicken, ohne dafür die Kühlschranktüre öffnen zu müssen.
Fig.3 zeigt beispielhaft ein schematisches Blockdiagramm umfassend einen Kühlschrank 102 mit einer Türe 302 in einer symbolischen Schnittansicht. In Fig.3 ist die Türe 302 geschlossen. Ein Sensor 306 detektiert, ob die Türe 302 offen oder geschlossen ist. Bei Öffnen und/oder Schließen der Türe 302 übermittelt der Sensor 306 ein entsprechendes Signal an eine Verarbeitungseinheit 304. Die Verarbeitungseinheit 304 steuert dann eine Kamera 303 (CIF) an, so dass diese eine Aufnahme vom Innenraum des Kühlschranks 102 erstellt. Beispielhaft speichert die Verarbeitungseinheit 304 die Aufnahme in einem Speicher 307. Der Speicher 307 kann Teil der Verarbeitungseinheit 304 oder separat zu dieser ausgeführt sein.
Die Verarbeitungseinheit 304 kann beispielsweise eingerichtet sein, um mindestens ein Objekt 305 in der von der Kamera 303 gemachten Aufnahme zu erkennen. In Fig.3 sind beispielhaft eine Vielzahl von Objekten 305 dargestellt, die Gegenstände im Inneren des Kühlschranks, z.B. Waren oder Lebensmittel, sein können.
Beispielsweise ist es auch möglich, dass die Kamera 303 und die Verarbeitungseinheit 304 als eine Komponente ausgeführt sind. Insbesondere kann eine solche Komponente eine z.B. drahtlose Netzwerkverbindung aufweisen und die erstellten Aufnahmen direkt auf einem über das Internet angeschlossenen Speicher abspeichern. Ein solcher Speicher wird auch bezeichnet als "Cloud-Speicher".
In Fig.3 ist weiterhin beispielhaft eine Schnittstelle zwischen der Verarbeitungseinheit 304 und dem Smartphone 103 dargestellt. Hierbei sei erwähnt, dass die gestrichelten Linien in Fig.3 symbolisch eine Übertragung von Signalen oder Daten darstellen. Die Übertragung von Daten zu dem Smartphone 103 kann beispielsweise über eine Funkschnittstelle erfolgen, die zumindest teilweise das Internet nutzt. Hierzu kann die Verarbeitungseinheit 304 selbst eine drahtlose oder drahtgebundene Verbindung zum Internet aufweisen.
Das Smartphone 103 stellt ein anderes Beispiel für ein Anzeigegerät dar. Es umfasst eine Eingabemöglichkeit in Form einer (z.B. virtuellen) Tastatur 321 sowie einen Bildschirm 104. Tastatur 321 und Bildschirm 104 können kombiniert als Touchscreen ausgeführt sein.
Das Inhaltsbild kann zu unterschiedlichen Zeitpunkten von der CIF 303 aufgenommen werden, z.B. wenn die Türe 302 des Kühlschranks 102 geschlossen und/oder geöffnet wird. Auch kann zu vorgegebenen Zeitpunkten oder aber zu bestimmten Anlässen (z.B. infolge einer Abfrage) ein Inhaltsbild erstellt werden. Das Inhaltsbild kann auf unterschiedliche Arten gespeichert werden. Der Speicher kann in dem Kühlschrank 102, in einem Netzwerk oder aber in dem mobilen Endgerät 103 verortet sein. Auch kann das Inhaltsbild mehrfach gespeichert werden.
In einem beispielhaften Szenario verfügt der Kühlschrank 102 über eine Verbindung zu einem Netzwerk, z.B. dem Internet. Diese Verbindung kann drahtlos oder drahtgebunden ausgeführt sein. Das Smartphone 103 verfügt ebenfalls über eine Verbindung zu dem Netzwerk (vorzugsweise drahtlos). So können der Kühlschrank 102 und das Smartphone 103 direkt oder über das Netzwerk miteinander kommunizieren; beispielsweise kann so das Inhaltsbild dem Smartphone 103 bereitgestellt werden.
Handelt es sich bei der Aufnahme um eine Echtzeitaufnahme, die das Smartphone 103 von der Küchenzeile 101 erstellt, so kann der Kühlschrank zumindest teilweise durch das Inhaltsbild oder aber durch ein Objekt, das mit dem Inhaltsbild assoziiert ist, ersetzt werden. Abhängig von einer Ausrichtung und/oder Bewegung des Smartphones 103 kann ein unterschiedlicher Ausschnitt des Inhaltsbilds dargestellt werden oder es kann zwischen mehreren Inhaltsbildern (auch Ausschnitten mehrerer Inhaltsbilder) gewechselt werden. So kann erreicht werden, dass der Benutzer durch die Bewegung des Smartphone 103 den Inhalt des Kühlschranks 102 aus unterschiedlichen Blickwinkeln oder mit unterschiedlichen Vergrößerungen sieht. So kann insbesondere erreicht werden, dass der Benutzer im Inneren des Kühlschranks 102 navigiert. Optional kann die Navigation - neben der Bewegung des Smartphones selbst - auch (ggf. alternativ oder zusätzlich) mittels eines Eingabegeräts (z.B. eines virtuellen Joysticks oder eines Touchscreens) durchgeführt werden.
Bezugszeichenliste
101 Küchenzeile
102 Kühlschrank
103 Smartphone
104 Display
105 Kamera
106 erweiterte Realität
107 Inhaltsbild
302 Türe
303 Kamera (CIF)
304 Verarbeitungseinheit
305 Objekt
306 Sensor
307 Speicher
321 Tastatur

Claims

PATENTANSPRÜCHE
Verfahren umfassend die Schritte:
- Erstellen einer Aufnahme mittels eines mobilen Endgeräts,
- Erkennen eines Haushaltsgeräts in der Aufnahme,
- Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch ein Inhaltsbild vom Inneren des Haushaltsgeräts.
Verfahren nach Anspruch 1 , bei dem die Aufnahme das Haushaltsgerät umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem vor dem Ersetzen des Haushaltsgeräts oder des Teils des Haushaltsgeräts in der Aufnahme der Schritt durchgeführt wird:
- Erstellen des Inhaltsbilds vom Innenraum des Haushaltsgeräts.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Inhaltsbild mindestens eine Information umfasst, die anhand des mobilen Endgeräts selektierbar und anzeigbar ist.
Verfahren nach Anspruch 4, bei dem die Information mindestens eine aus Folgenden umfasst:
- einem Datum, das angibt, seit wann der Gegenstand in dem Kühlschrank gelagert wird,
- einem Datum, das zeigt, seit wann der Gegenstand nicht mehr bewegt wurde,
- eine Dauer bis zu einem Verfallsdatum des Gegenstands,
- ein Farb-Code für bestimmte Lebensmittel,
- einer Nährwertinformation,
- einer zweckgebundenen Information,
- einem Rezept.
Verfahren nach einem der Ansprüche 4 oder 5, bei dem anhand der Information eine vorgegeben Aktion ausführbar ist. Verfahren nach Anspruch 6, bei dem die vorgegebene Aktion mindestens eine aus Folgenden umfasst:
- Auslösung einer Bestellung;
- Anzeige, ob ein Rezept oder eine Speise zubereitbar ist oder nicht;
- Auswahl aus Rezepten, die aufgrund der mindestens einen Information zubereitbar sind;
- Anweisung zur Platzierung eines Gegenstands in dem Haushaltsgerät.
Verfahren nach einem der vorhergehenden Ansprüche, umfassend den Schritt:
- Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch das Inhaltsbild, wobei das Inhaltsbild abhängig von einer Navigationsinformation ausgewählt wird.
Verfahren nach Anspruch 8, bei dem die Navigationsinformation mittels des mobilen Endgeräts bereitgestellt wird, so dass eine virtuelle Navigation im Inneren des Haushaltsgeräts ermöglicht wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Haushaltsgerät eines der folgenden Geräte ist:
- ein Küchengerät,
- ein Gargerät,
- ein Kühl- und/oder Gefriergerät.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Inhaltsbild vom Innenraum des Haushaltsgeräts erstellt wird mittels einer in dem Haushaltsgerät angeordneten Kamera, wobei beim Öffnen und/oder Schließen einer Türe des Haushaltsgeräts das Inhaltsbild erstellt wird.
System mit einem Haushaltsgerät und einem mobilen Endgerät,
- wobei das Haushaltsgerät eine Kamera aufweist zum Erstellen eines Inhaltsbilds vom Innenraum des Haushaltsgeräts, wobei das Inhaltsbild dem mobilen Endgerät bereitstellbar ist,
- wobei das mobile Endgerät - eine Kamera aufweist zum Erstellen einer Aufnahme,
- eine Verarbeitungseinheit aufweist zum Erkennen eines Haushaltsgeräts in der Aufnahme und zum Ersetzen des Haushaltsgeräts oder eines Teil des Haushaltsgeräts in der Aufnahme durch das Inhaltsbild vom Inneren des Haushaltsgeräts.
PCT/EP2016/061770 2015-06-15 2016-05-25 Verfahren zum verarbeiten von daten eines haushaltsgeräts Ceased WO2016202542A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201680034624.2A CN107750454A (zh) 2015-06-15 2016-05-25 用于处理家用器具的数据的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015210900.3A DE102015210900A1 (de) 2015-06-15 2015-06-15 Verfahren zum Verarbeiten von Daten eines Haushaltsgeräts
DE102015210900.3 2015-06-15

Publications (1)

Publication Number Publication Date
WO2016202542A1 true WO2016202542A1 (de) 2016-12-22

Family

ID=56137275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/061770 Ceased WO2016202542A1 (de) 2015-06-15 2016-05-25 Verfahren zum verarbeiten von daten eines haushaltsgeräts

Country Status (3)

Country Link
CN (1) CN107750454A (de)
DE (1) DE102015210900A1 (de)
WO (1) WO2016202542A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762641B2 (en) 2016-11-30 2020-09-01 Whirlpool Corporation Interaction recognition and analysis system
US11386621B2 (en) 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007080473A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Displaying network objects in mobile devices based on geolocation
DE102013211096A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerätesystem
WO2015075225A1 (de) * 2013-11-25 2015-05-28 BSH Hausgeräte GmbH Verfahren zum ermitteln von kochrezepten und mobiles endgerät

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101154973B1 (ko) * 2005-06-30 2012-06-18 엘지전자 주식회사 아바타 영상 처리 장치
CN101231061A (zh) * 2007-01-24 2008-07-30 泰州乐金电子冷机有限公司 具有用户导向显示功能的冰箱
KR101517083B1 (ko) * 2009-05-11 2015-05-15 엘지전자 주식회사 냉장고를 제어하는 휴대 단말기 및 그 동작 방법
KR20130110907A (ko) * 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
CN108955070A (zh) * 2012-07-27 2018-12-07 博西华电器（江苏）有限公司 智能冰箱、包含该智能冰箱的冰箱系统及其控制方法
CN102818429A (zh) * 2012-08-31 2012-12-12 合肥美菱股份有限公司 一种利用移动终端管理冰箱内食品的方法
CN103823553B (zh) * 2013-12-18 2017-08-25 微软技术许可有限责任公司 对表面背后的场景的增强现实显示

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007080473A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Displaying network objects in mobile devices based on geolocation
DE102013211096A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerätesystem
WO2015075225A1 (de) * 2013-11-25 2015-05-28 BSH Hausgeräte GmbH Verfahren zum ermitteln von kochrezepten und mobiles endgerät

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762641B2 (en) 2016-11-30 2020-09-01 Whirlpool Corporation Interaction recognition and analysis system
US11386621B2 (en) 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance

Also Published As

Publication number Publication date
DE102015210900A1 (de) 2016-12-15
CN107750454A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
WO2016202544A1 (de) Verfahren zum betreiben eines haushaltsgeräts sowie entsprechendes haushaltsgerät und system mit haushaltsgerät
CN104636726B (zh) 一种图像色彩识别方法、装置及终端
DE60003246T2 (de) Software Schnittstelle
DE102016124419A1 (de) Gestenbasierte steuerung einer benutzerschnittstelle
DE102012110278A1 (de) Verfahren und Vorrichtungen zur Fensterdarstellung und Verfahren und Vorrichtungen zur Berührungsbedienung von Anwendungen
DE102012219119A1 (de) Intelligente Fenstererstellung in einer grafischen Benutzeroberfläche
DE102007043658A1 (de) Steuerung eines scrollbaren Kontext-Menüs
EP3695293A1 (de) Verfahren zur bereitstellung einer haptischen rückmeldung an einen bediener einer berührungssensitiven anzeigeeinrichtung
DE102015116477A1 (de) Datenverarbeitungsverfahren und Elektronikgerät
EP3203331B1 (de) Proaktive messwertübertragung an mobile endgeräte
WO2013023951A1 (de) System für die bedienung mindestens eines hausgerätes sowie dazu gehöriges endgerät und verfahren zum betreiben des benannten systems
DE102012224365A1 (de) Schnelle Cursor-Lokalisierung
DE102017204976A1 (de) Bediensystem zur Steuerung zumindest einer bedienbaren Einrichtung, Fahrzeug mit einem Bediensystem und Verfahren zum Betreiben eines Bediensystems
DE102022203554A1 (de) Verfahren zum Darstellen von in einem Haushalts-Kältegerät vorhandenen Objekten
EP2804165A1 (de) System mit einem Haushaltsgerät und einer Kommunikationseinrichtung sowie Verfahren zum Betrieb eines solchen Systems
WO2016202542A1 (de) Verfahren zum verarbeiten von daten eines haushaltsgeräts
EP2980541A1 (de) Verfahren zum bedienen eines datenverarbeitungsgerätes, waage und kombination aus waage und datenverarbeitungsgerät
DE102021127668A1 (de) Tragbare Vorrichtung und computerimplementiertes Verfahren zur Anzeige von Informationen zu einer Maschinenkomponente einer landwirtschaftlichen Maschine aus einem Nachschlagewerk
WO2015075225A1 (de) Verfahren zum ermitteln von kochrezepten und mobiles endgerät
CN107479795A (zh) 滚动处理方法、装置及电子设备
WO2017140569A1 (de) Kraftfahrzeug-bedienvorrichtung und verfahren zum betreiben einer bedienvorrichtung, um eine wechselwirkung zwischen einer virtuellen darstellungsebene und einer hand zu bewirken
DE102019107103B4 (de) Verfahren und system zur objektsegmentierung in einer mixed-reality- umgebung
DE102017218718A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel zur Unterstützung einer Gestensteuerung für ein virtuelles Display
EP3353723A1 (de) Verfahren, computerprogramm und system zur übermittlung von daten zur erzeugung eines interaktiven bilds
DE102015216446A1 (de) Verfahren zur Vollständigkeitsprüfung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16730263

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16730263

Country of ref document: EP

Kind code of ref document: A1