WO2024074365A1 - Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera - Google Patents

Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera Download PDF

Info

Publication number
WO2024074365A1
WO2024074365A1 PCT/EP2023/076660 EP2023076660W WO2024074365A1 WO 2024074365 A1 WO2024074365 A1 WO 2024074365A1 EP 2023076660 W EP2023076660 W EP 2023076660W WO 2024074365 A1 WO2024074365 A1 WO 2024074365A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
food
cooking
treatment room
Prior art date
Application number
PCT/EP2023/076660
Other languages
English (en)
French (fr)
Inventor
Ramon Peinado Adiego
Hans-Martin Eiter
Marion Bosold
Angelika Oberstaller
Magdalena Wolz
Hector Martinez Landa
Ana Belen CAMBRA LINES
Alejandro RITUERTO SIN
Jorge ESCRIBANO JIMENEZ
Sergio GRACIA BOSQUE
Soraya SANTANA DE LA FE
Blanca Grillo Zamora
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Publication of WO2024074365A1 publication Critical patent/WO2024074365A1/de

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens

Definitions

  • the invention relates to a method for operating a household appliance with a treatment room and at least one treatment room camera, in which several images are generated at different times using the at least one treatment room camera and at least two of the images are used for at least two different image-based purposes.
  • the invention also relates to a household appliance having a treatment room and at least one treatment room camera with at least one variable camera setting, wherein the household appliance is set up to carry out the method.
  • the invention is particularly advantageously applicable to household cooking appliances, especially ovens, in particular baking ovens.
  • Household appliances with a treatment room and at least one treatment room camera e.g. ovens with cooking chamber cameras or refrigerators with cooling chamber cameras (so-called Ci F, "Camera-in-Fridge") are generally known. Especially with cooking appliances, it is known to detect the position of food to be cooked by image-based evaluation and then to determine its degree of browning based on the image section showing the food to be cooked. It is also known to determine a type of food to be cooked by image evaluation.
  • the object is achieved by a method for operating a household appliance with a treatment room and at least one treatment room camera with at least one variable camera setting, in which
  • At least one camera setting of the at least one treatment room camera is varied depending on the purpose.
  • This method exploits the fact that camera settings or image parameters such as light intensity, color channels, number of pixels and/or image resolution have a noticeable influence on image processing algorithms that use them. It also exploits the fact that the maximum sampling rates of cameras are generally higher than the image capture intervals required for certain purposes in household appliances. Consequently, the camera settings can be multiplexed between several settings or sets of settings in order to capture images with different camera settings for different purposes.
  • the treatment room is intended to treat objects to be treated by the household appliance, such as food, dishes, laundry, etc., e.g. to cook, clean, cool, etc.
  • the treatment room can have a loading opening, e.g. at the front, which can be closed by a door.
  • the treatment room camera is set up and arranged to take pictures of the treatment room, in particular of objects present in the treatment room.
  • a household appliance can have one or more cameras.
  • the treatment room camera is in particular a pixel-based camera, in particular a digital camera. It is a further development that the digital camera is a color camera, i.e. it takes color images, e.g. RGB or HSV images. At least one camera setting of the camera can be varied, in particular by means of a control device of the household appliance.
  • the taking of an image can be triggered, for example, by means of the control device.
  • the camera has a data processing device for image post-processing, for example for image compression, setting a color depth, etc.
  • a data processing device for image post-processing is an independent unit or is integrated into another functional unit of the household appliance, such as its control device.
  • the camera can also be viewed as a distributed system ("system camera") in which image recording and image post-processing to obtain the ultimately generated image are distributed locally across several components of the household appliance.
  • Camera settings can be understood to mean, in particular, settings for image recording as such (e.g. an exposure time) and/or settings on the data processing device for image post-processing (e.g.
  • the treatment room camera can be located in the treatment room, e.g. arranged on a wall of the treatment room, e.g. on the ceiling or door side, or it can be arranged outside the treatment room and look into the treatment room, e.g. through a viewing window, e.g. a door window or a porthole.
  • an image for a specific purpose means in particular that the image is used for a specific functionality of the cooking appliance that uses the image.
  • the "purpose” can also be referred to as (cooking appliance) functionality, application, use case, intended use or application purpose.
  • the at least one camera setting includes at least one camera setting from the group of image resolution, compression level, color depth, white balance, sensor gain, gamma correction, file format of the image (eg PNG, GIF and/or RGB, HSV, NC'F image, etc.), use of a flash or flashlight, lens setting if the treatment room camera has an adjustable lens, and/or exposure time.
  • the at least one camera setting is not limited to this and can include other camera settings.
  • At least one camera setting can be predefined for at least one purpose, in particular always be the same for this purpose.
  • At least one camera setting can be predefined for at least one purpose for a current cooking process depending on at least one other variable, e.g. a type of treatment, a type of food and/or the presence of certain objects in the cooking chamber such as baking paper, etc.
  • the image resolution can, for example, correspond to a generic image resolution of a sensor element of the camera, e.g. a CMOS sensor, e.g. 1024 x 768 pixels.
  • the image resolution can also correspond to an image resolution that has been scaled down - for example through image post-processing - e.g. 640 x 480 pixels.
  • a low resolution advantageously reduces the time required for image processing, the data size and the data transfer volume.
  • the compression level can be zero (no compression) or greater than zero (compressed image).
  • the compression level zero is also referred to as no compression or without compression.
  • the compression can be achieved using suitable, generally known methods, e.g. JPEG, MPEG, PNG, WebP lossless, GIF, etc., whereby the compression level or the number of pixels can typically be set. However, it is also possible to choose between no compression and compression to a specific image size or number of pixels.
  • the compression can be lossless or lossy.
  • a predetermined compression level (not equal to zero) can advantageously reduce the time required for image processing, the data size and the data transfer volume.
  • a predetermined compression level (not equal to zero) can also ensure that no image information relevant to determining the state of the food being cooked is lost, in particular if the predetermined compression level - for example by experimental determination - is selected such that sufficient image information is available to carry out the specific purpose.
  • the time required for image processing, the data size and the data transfer volume can also be advantageously reduced.
  • Setting the white balance and/or exposure time to the same values for image capture for specific purposes can be advantageous, for example, to produce a set of images that are particularly comparable within the same cooking process. This is particularly advantageous when capturing an image to determine the degree of browning or the progress of browning.
  • Another advantage is that the camera settings for such images are particularly easy to adapt to training data, so that the images can also be easily used by AI systems.
  • the household appliance is a household cooking appliance, in particular an oven, especially an baking oven
  • the treatment room is a cooking room
  • the treatment room camera is a cooking room camera.
  • the different purposes include at least two purposes from the group:
  • Geometric detection of food in the cooking chamber means in particular that the area of the image depicting the food should be detected in an image. This makes it easier to detect the state of the food in the cooking chamber.
  • the recognition of the content of the food in the cooking chamber means in particular that the type of food being cooked should be recognized ("automatic food recognition"). Detecting a state of food in the cooking chamber is understood to mean in particular that it should be detected in which cooking state or in which cooking phase the food is, e.g. still thawed, partially cooked, cooked through, etc. or, especially in the case of dough, whether the dough is still in its rising phase or in its browning phase, etc.
  • Detecting contamination of the cooking chamber can be understood in particular to mean that it should be detected how heavily a cooking chamber wall, a surface of a cooking chamber lighting exposed to the cooking chamber (e.g. a protective window of a lamp or a surface of the lamp itself exposed to the cooking chamber, e.g. a light guide of the lamp) and/or a surface of the camera exposed to the cooking chamber (e.g. its lens) is dirty, e.g. covered with grease.
  • a surface of a cooking chamber lighting exposed to the cooking chamber e.g. a protective window of a lamp or a surface of the lamp itself exposed to the cooking chamber, e.g. a light guide of the lamp
  • a surface of the camera exposed to the cooking chamber e.g. its lens
  • the recognition of the shelf level on which the food to be cooked is located can be understood in particular to mean that it should be recognized on which shelf level out of several possible shelf levels a food carrier carrying the food to be cooked has been inserted or placed.
  • Displaying an image for a user can be understood in particular to mean that one or more images should be shown to the user from a display, for example as a single image, group of images or as an image sequence (e.g. video, for example in the form of a time-lapse video of images taken at different times during the cooking process).
  • the display can be a display of the household appliance or a display of an external instance such as a smartphone, tablet, etc.
  • data available for analysis can be understood in particular to mean that an image or a sequence of images is to be evaluated. This data analysis can be carried out at a later point in time than the cooking process.
  • one or more images can be stored in a data storage device of the household appliance or in an external data storage device.
  • the data analysis can be used, for example, to identify user preferences, to train AI systems, etc.
  • the state of the food in the cooking chamber includes at least one state from the group of degree of browning on a surface of the food and/or volume or change in volume of the food. This is particularly advantageous for determining a current degree of cooking and/or for determining the end of a cooking time.
  • At least one image is generated with a high resolution, without image compression and with an automatically set exposure time. This is advantageous, for example, if the first purpose is to show a user a high-quality image and/or to use the images to determine what is being cooked.
  • an image sequence to create an image sequence, several images are generated with a high resolution, a predetermined degree of compression and an automatically set exposure time. This has the advantage that an image sequence can be generated with a small data volume, in which the individual images are particularly easy for a user to recognize.
  • One embodiment is that at least one image with a low resolution, a predetermined compression level, a predetermined exposure time and a predetermined white balance is generated to detect the state of the food being cooked.
  • the low resolution advantageously reduces the time required for image processing, the data size and the data transfer volume.
  • the predetermined compression level can advantageously ensure that this is not increased to a level at which image information relevant to determining the state of the food being cooked is lost.
  • the predetermined exposure time and/or the predetermined white balance advantageously ensure that a set of images can be generated that are particularly easy to compare within the same cooking process. This is particularly advantageous when taking an image to determine the degree of browning or the progress of browning.
  • At least one image with a low resolution a predetermined degree of compression and a reduced color depth is generated. Due to the low Resolution and reduced color depth advantageously reduce image processing time, data size and data transfer volume.
  • the specified compression level can advantageously ensure that no image information relevant to determining the condition of the food is lost.
  • the exposure time can be set automatically or specified.
  • the image generated for detecting the insertion level is generated as a grayscale image. This advantageously allows an image processing time, a data size and a data transfer volume to be reduced even further, in particular if an algorithm is used in which color information is not required for determining the insertion height.
  • One embodiment is that at least one image with a specified resolution, a specified degree of compression and a reduced color depth is generated to detect soiling of the cooking chamber.
  • soiling of the cooking chamber is detected, large fluctuations in brightness can occur, e.g. due to the contents of the cooking chamber, e.g. between an empty cooking chamber with dark walls and a cooking chamber in which a shelf level is lined with baking paper.
  • several images can be taken with different exposure times, for example.
  • the exposure time can be set automatically or be predefined.
  • HDR High Dynamic Range
  • At least one image is saved for data analysis.
  • images can be saved for all purposes or only for at least one of the purposes for data analysis.
  • at least one image with a low resolution, a predetermined degree of compression and/or a predetermined exposure time is generated in order to be available for data analysis.
  • One embodiment is that the at least one image generated is transmitted to an external instance for later data analysis, e.g. to a smartphone, a network server and/or a cloud computer.
  • At least one treatment room camera is configured according to the camera settings provided
  • the image is created (in particular recorded and possibly edited) and
  • the image generated is made available for use for the specific purpose.
  • Each image acquisition purpose can be assigned a specific set of camera settings, which are stored in a data storage device and are thus made available for retrieval.
  • the fact that the generated image is provided for use for the specific purpose can include that a control of a cooking process or a cleaning process is adapted based on the generated image - and possibly further images generated for the same purpose - e.g. at least one cooking parameter (e.g. a cooking chamber temperature) is adjusted, the cooking process is terminated when the end of a cooking time is reached, switching between cooking phases with different cooking parameter settings is carried out, etc.
  • a control of a cooking process or a cleaning process is adapted based on the generated image - and possibly further images generated for the same purpose - e.g. at least one cooking parameter (e.g. a cooking chamber temperature) is adjusted, the cooking process is terminated when the end of a cooking time is reached, switching between cooking phases with different cooking parameter settings is carried out, etc.
  • at least one cooking parameter e.g. a cooking chamber temperature
  • the purpose of the image capture is stored as additional information for each image. This allows the images to be advantageously sorted in a data storage device according to purpose and analyzed for specific purposes. It is a further development that the camera settings used for a particular purpose are stored linked to the image, e.g. as metadata.
  • the object is also achieved by a household appliance having a treatment room and at least one treatment room camera with at least one variable camera setting, wherein the household appliance is set up to carry out the method as described above.
  • the household appliance can be designed analogously to the method and has the same advantages.
  • the household appliance is in particular a household cooking appliance, especially an oven, possibly with a microwave and/or steam treatment function and/or an automatic self-cleaning function (pyrolysis, catalytic self-cleaning, etc.).
  • Fig.1 shows a simplified sketch of a household appliance in the form of an oven as a sectional side view
  • Fig.2 shows possible image recording times as a timeline over a time t
  • Fig.3 shows a possible embodiment of the method according to the invention.
  • Fig.1 shows a simplified sketch of a cooking appliance in the form of an oven 1 as a sectional view in side view.
  • the oven 1 has a cooking chamber 2, the front loading opening of which can be closed by a pivoting door 3.
  • the cooking chamber 2 has several shelf levels E1 to E3, into which a food carrier T such as a baking tray or a wire rack can be inserted.
  • Food G can be placed on the food carrier T, here: on shelf level E2.
  • the oven 1 also has a control device 4 for carrying out operating sequences such as cooking and cleaning sequences, as indicated here by an electric bottom heat element 5 shown as an example.
  • the control device 4 is also set up as a data processing device for carrying out the method, e.g. is programmed.
  • a cooking chamber camera 6 in the form of a digital
  • the color camera is connected to the control device 4 for data purposes and can in particular record images from the cooking chamber 2 and transmit them to the control device 4.
  • a lens 7 on the objective side of the camera 6 is exposed to the cooking chamber 2.
  • the objective having the lens 7 can be adjustable in a further development, e.g. with regard to a focus and/or an image width, etc.
  • the oven 1 also has a control panel 8 with a particularly touch-sensitive screen (“touchscreen”), on which, in a further development, images or sections thereof taken by the camera 6 can also be displayed.
  • touchscreen a particularly touch-sensitive screen
  • the oven 1 can also be equipped with a communication module 9, via which data (in particular including the images or image data) can be transmitted from the control device to an external entity such as a user terminal, in particular to a mobile user terminal such as a smartphone P or tablet, etc. and/or to a network server N or cloud computer.
  • the communication module 9 can comprise, for example, an Ethernet module, a WLAN module, a Bluetooth module, etc.
  • Fig.2 shows possible image recording times as a time line over a time t, which can be generated, for example, using the cooking chamber camera 6 from Fig.1.
  • Purpose Z Detecting contamination of the cooking chamber 2 by taking an image before or at the start of a cooking process with a specified resolution, a specified compression level, an automatically set exposure time and with a reduced color depth.
  • Purpose Z2 Generating an image sequence by generating multiple images with a high resolution, a predetermined degree of compression and with an automatically set exposure time at the temporally equidistant times ti , ts , ts and t?, etc. These images can be stored, for example, in a data memory of the oven 1 (e.g. in a data memory of the control device 4) and, at the user's request, played back on the display of the control panel 8 and/or after transmission via the communication module 9 on the smartphone P.
  • Purpose Z3 Control of the cooking process by browning detection, in particular for determining the end of a cooking time and ending the cooking process when the end of the cooking time is reached by generating several images with a low resolution, a predetermined degree of compression, a predetermined exposure time and with a predetermined white balance at the temporally equidistant times t 2 and t 6 , etc.
  • Fig.3 shows a possible embodiment of the method according to the invention, which is explained in more detail using the baking oven 1 as an example.
  • the control device 4 decides to generate an image for an associated purpose Zj by means of the cooking chamber camera 6 at a time tj, e.g. for controlling the cooking process according to purpose Z3.
  • the control device 4 reads out the associated camera settings provided for this purpose Zj in a possibly internal data memory (not shown) and transmits them to the cooking chamber camera 6.
  • the camera settings can be, for example, a specific image resolution that is the same for all images for the purpose Z3 and is lower than a highest possible image resolution, a predetermined compression level greater than zero that is the same for all images for the purpose Z3 and/or a predetermined white balance that is the same for all images for the purpose Z3 .
  • the cooking chamber camera 6 is configured according to these camera settings.
  • an image is generated using the cooking chamber camera 6.
  • the image generation can in particular comprise an image recording using an image sensor of the cooking chamber camera 6 and image post-processing of the raw image recorded by the image sensor.
  • the image post-processing can be carried out in the cooking chamber camera 6, e.g. in a data processing device thereof, or can be carried out in another component of the oven such as the control device 4.
  • the generated image is provided to the control device 4 for use for the specific purpose Zj by transmitting the generated image from the cooking chamber camera 6 to the control device 4, e.g. for controlling the cooking process by Tanning detection using only images taken at time points t2 and te.
  • This procedure corresponds to a "multiplexing" of the camera settings of the cooking chamber camera 6 depending on the purposes for which the images are used.
  • a picture can be taken before or at the start of the cooking process in order to determine the shelf level E1 - E3 into which the food carrier T has been inserted.
  • the control device 4 can then, for example, vary the heating power introduced into the heating elements of the cooking chamber 2, such as the bottom heat heating element 4, at least one top heat heating element, a hot air heating element, etc., depending on the selected shelf level E1 - E3.
  • an image can be taken before or at the start of the cooking process in order to determine the position of the food 6 in the image.
  • determining the state of the food G only those image points that show the food G can be evaluated.
  • an image can be taken, for example, before or at the start of the cooking process, in order to determine the type of food 6 to be cooked, e.g. chicken, bread dough, pizza, etc.
  • the control device 4 can then be set up, for example, to automatically adapt the cooking process to the recognized type of food G, e.g. adapt a cooking chamber temperature and its progression, etc.
  • the food can be recognized using artificial intelligence (Kl) methods, e.g. by using a neural network. For this purpose, it is particularly advantageous if the position of the food 6 in the image has been determined beforehand.
  • images can be taken to determine a volume or a change in volume of the food G.
  • dough e.g. bread dough
  • the control device 4 can then be set up, for example, to automatically adapt the cooking process to the detected phases or phase ends.
  • "a”, “an” etc. can be understood as a singular or plural, in particular in the sense of "at least one” or “one or more” etc., as long as this is not explicitly excluded, e.g. by the expression “exactly one” etc.
  • a numerical specification may also include exactly the number stated as well as a usual tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Electric Ovens (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (S1-S5) zum Betreiben eines Haushaltsgeräts (1) mit 5 einem Behandlungsraum (2) und mindestens einer Behandlungsraumkamera (6) mit mindestens einer variierbaren Kameraeinstellung, bei dem mittels der mindestens einen Behandlungsraumkamera (6) zeitlich versetzt (t0 - t7) mehrere Bilder erzeugt werden (S4) und mindestens zwei der Bilder für mindestens zwei unterschiedliche Zwecke (Z1 - Z3) verwendet werden, wobei mindestens eine Kameraeinstellung der mindestens einen Behandlungsraumkamera (6) zweckabhängig variiert wird (S2, S3). Die Erfindung betrifft auch Haushaltsgerät (1), insbesondere Haushalts-Gargerät, aufweisend einen Behandlungsraum (2) und mindestens eine Behandlungsraumkamera (6) mit mindestens einer variierbaren Kameraeinstellung, wobei das Haushaltsgerät (1) zur Durchführung des Verfahrens (S1-S5) eingerichtet ist.

Description

Betreiben eines Haushaltsgeräts mit mindestens einer Behandlungsraumkamera
Die Erfindung betrifft ein Verfahren zum Betreiben eines Haushaltsgeräts mit einem Behandlungsraum und mindestens einer Behandlungsraumkamera, bei dem mittels der mindestens einen Behandlungsraumkamera zeitlich versetzt mehrere Bilder erzeugt werden und mindestens zwei der Bilder für mindestens zwei unterschiedliche bildbasierte Zwecke verwendet werden. Die Erfindung betrifft auch ein Haushaltsgeräts, aufweisend einen Behandlungsraum und mindestens eine Behandlungsraumkamera mit mindestens einer variierbaren Kameraeinstellung, wobei das Haushaltsgerät zur Durchführung des Verfahrens eingerichtet ist. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Haushalts- Gargeräts, speziell Öfen, insbesondere Backöfen.
Haushaltsgeräts mit einem Behandlungsraum und mindestens einer Behandlungsraumkamera, z.B. Backöfen mit Garraumkamera oder Kühlschränke mit Kühlraumkamera (sog. Ci F, "Camera-in-Fridge) sind grundsätzlich bekannt. Speziell bei Gargeräten ist es bekannt, die Position von Gargut durch bildgestützte Auswertung zu erkennen und dann anhand des das Gargut zeigenden Bildausschnitts dessen Bräunungsgrads zu bestimmen. Auch ist es bekannt, eine Art des Garguts durch Bildauswertung zu bestimmen.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine konstruktiv besonders einfach umsetzbare Möglichkeit bereitzustellen, Bilder eines Behandlungsraums, insbesondere Garraums, eines Haushaltsgeräts für unterschiedliche Zwecke zu verwenden.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zum Betreiben eines Haushaltsgeräts mit einem Behandlungsraum und mindestens einer Behandlungsraumkamera mit mindestens einer variierbaren Kameraeinstellung, bei dem
- mittels der mindestens einen Behandlungsraumkamera zeitlich versetzt mehrere Bilder erzeugt werden und mindestens zwei der Bilder für mindestens zwei unterschiedliche Zwecke verwendet werden, wobei
- mindestens eine Kameraeinstellung der mindestens einen Behandlungsraumkamera zweckabhängig variiert wird.
Dadurch wird der Vorteil erreicht, dass mit derselben Kamera Bilder für unterschiedliche Zwecke der Bildnutzung mit jeweils optimierten Kameraeinstellungen bereitgestellt werden können. Dies wiederum ermöglicht eine Kostenreduzierung im Vergleich zu einer Anordnung, bei der für unterschiedliche Zwecke unterschiedliche Kameras bzw. Kamerahardware vorgesehen ist. Auch können so vorteilhafterweise Präzisions- oder Qualitätsverlust bei einer Bildnutzung für bestimmte Zwecke vermieden werden. Es ist ein weiterer Vorteil, dass Speicherplatz und Rechenleistung gering gehalten werden können, wenn die Qualität der Bilder nur so hoch ist, wie sie für den jeweiligen Zweck benötigt werden. Außerdem können vorteilhafterweise neue bildbasierte Zwecke mit einem Software- Update hinzugefügt werden, ohne die Leistung bestehender Zwecke zu beeinträchtigen.
Dieses Verfahren nutzt aus, dass Kameraeinstellungen bzw. Bildparameter wie Lichtstärke, Farbkanäle, Pixelanzahl und/oder eine Bildauflösung einen merklichen Einfluss auf Bildverarbeitungsalgorithmen haben, die sie verwenden. Ferner wird ausgenutzt, dass die maximalen Abtastraten von Kameras im Allgemeinen höher sind als die für bestimmte Zwecke in Haushaltsgeräten benötigten Intervalldauern von Bildaufnahmen. Folglich können die Kameraeinstellungen zwischen mehreren Einstellungen bzw. Sätzen von Einstellungen gemultiplext werden, um für verschiedene Zwecke Bilder mit unterschiedlichen Kameraeinstellungen aufzunehmen.
Der Behandlungsraum ist dazu vorgesehen, von dem Haushaltsgerät zu behandelnde Objekte wie Lebensmittel, Geschirr, Wäsche, usw. zu behandeln, z.B. zu garen, zu reinigen, zu kühlen, usw. Der Behandlungsraum kann eine, z.B. frontseitige, Beschickungsöffnung aufweisen, die mittels einer Tür verschließbar ist. Die Behandlungsraumkamera ist dazu eingerichtet und angeordnet, Bilder des Behandlungsraums, insbesondere auch von in dem Behandlungsraum vorhandenen Objekten, aufzunehmen. Ein Haushaltsgerät kann eine oder mehrere Kameras aufweisen. Die Behandlungsraumkamera ist insbesondere eine bildpunkt- bzw. pixelbasierte Kamera, insbesondere eine Digitalkamera. Es ist eine Weiterbildung, dass die Digitalkamera eine Farbkamera ist, also Farbbilder aufnimmt, z.B. RGB- oder HSV-Bilder. Mindestens eine Kameraeinstellung der Kamera ist variierbar, insbesondere mittels einer Steuereinrichtung des Haushaltsgeräts. Das Aufnehmen eines Bilds ist beispielsweise mittels der Steuereinrichtung auslösbar. Es ist eine Weiterbildung, dass die Kamera eine Datenverarbeitungseinrichtung zur Bildnachverarbeitung aufweist, beispielsweise zur Bildkompression, Einstellung einer Farbtiefe, usw. Es ist eine Weiterbildung, dass eine Datenverarbeitungseinrichtung zur Bildnachverarbeitung eine eigenständige Einheit ist oder in eine andere Funktionseinheit des Haushaltsgeräts wie dessen Steuereinrichtung integriert ist. In diesem Fall kann die Kamera auch als verteiltes System ("Systemkamera") angesehen werden, bei dem Bildaufnahme und Bildnachverarbeitung zum Erlangen des letztendlich erzeugten Bilds über mehrere Komponenten des Haushaltsgeräts örtlich verteilt sind. Unter Kameraeinstellungen können insbesondere Einstellungen zur Bildaufnahme als solcher (z.B. eine Belichtungszeit) und/oder Einstellungen an der Datenverarbeitungseinrichtung zur Bildnachverarbeitung (z.B. ein Kompressionsgrad) verstanden werden. Die Behandlungsraumkamera kann sich in dem Behandlungsraum befinden, z.B. an einer Wandung des Behandlungsraums angeordnet sein, z.B. deckenseitig oder türseitig, oder sie kann außerhalb des Behandlungsraums angeordnet sein und z.B. durch ein Sichtfenster, z.B. ein Türfenster oder ein Bullauge, in den Behandlungsraum blicken.
Unter einer Verwendung eines Bilds für einen bestimmten Zweck wird insbesondere verstanden, dass das Bild für eine bestimmte Funktionalität des Gargeräts, die das Bild nutzt, verwendet wird. Der "Zweck" kann auch als (Gargerät-)Funktionalität, Anwendung, Anwendungsfall, Nutzungszweck oder Anwendungszweck bezeichnet werden.
Es ist eine Ausgestaltung, dass die mindestens eine Kameraeinstellung mindestens eine Kameraeinstellung aus der Gruppe Bildauflösung, Kompressionsgrad, Farbtiefe, Weißabgleich, Sensorverstärkung, Gamma-Korrektur, Dateiformat des Bilds (z.B. PNG, GIF und/oder RGB-, HSV-, NC'F-Bild usw.), Verwendung eines Blitzes bzw. Blitzlichts, Objektiveinstellung, falls die Behandlungsraumkamera ein einstellbares Objektiv aufweist, und/oder Belichtungszeit umfasst. Die mindestens eine Kameraeinstellung ist jedoch nicht darauf beschränkt und kann noch weitere Kameraeinstellungen umfassen. Mindestens eine Kameraeinstellung kann für mindestens einen Zweck fest vorgegeben sein, insbesondere für diesen Zweck immer gleich sein. Mindestens eine Kameraeistellung kann für mindestens einen Zweck für einen aktuellen Garablauf abhängig von mindestens einer weiteren Größe vorgegeben werden, z.B. von einer Behandlungsart, einer Art des Garguts und/oder einem Vorhandensein bestimmter Objekte in dem Garraum wie Backpapier usw.
Die Bildauflösung kann beispielsweise einer generischen Bildauflösung eines Sensorelements der Kamera, z.B. eines CMOS-Sensors, entsprechen, z.B. von 1024 x 768 Bildpunkten. Die Bildauflösung kann auch einer - beispielsweise durch Bildnachverarbeitung - heruntergerechneten Bildauflösung entsprechen, z.B. von 640 x 480 Bildpunkten. Durch eine niedrige Auflösung werden vorteilhafterweise eine Zeitdauer zu Bildverarbeitung, eine Datengröße und ein Datentransfervolumen verringert.
Der Kompressionsgrad kann null (keine Kompression) oder größer null (komprimiertes Bild) sein. Im Folgenden wird der Kompressionsgrad null auch als keine Kompression oder ohne Kompression bezeichnet. Die Kompression kann mittels geeigneter, grundsätzlich bekannter Verfahren erreicht werden, z.B. JPEG, MPEG, PNG, WebP lossless, GIF, usw., wobei typischerweise der Kompressionsgrad bzw. die Pixelzahl einstellbar ist. Es ist aber auch möglich, nur zwischen keiner Kompression und einer Kompression auf eine bestimmte Bildgröße bzw. Pixelzahl zu wählen. Die Kompression kann verlustfrei oder verlustbehaftet sein. Durch einen vorgegebenen Kompressionsgrad (ungleich null) kann vorteilhafterweise eine Zeitdauer zu Bildverarbeitung, eine Datengröße und ein Datentransfervolumen verringert werden. Durch einen vorgegebenen Kompressionsgrad (ungleich null) kann ferner erreicht werden, dass keine zum Feststellen des Zustands des Garguts relevante Bildinformation verloren geht, insbesondere, falls der vorgegebene Kompressionsgrad - beispielsweise durch experimentelle Bestimmung - so gewählt ist, dass eine zum Durchführen des bestimmten Zwecks ausreichende Bildinformation zur Verfügung steht.
Durch Reduktion der Farbtiefe kann ebenfalls vorteilhafterweise eine Zeitdauer zu Bildverarbeitung, eine Datengröße und ein Datentransfervolumen verringert werden. Die Einstellung des Weißabgleichs und/oder der Belichtungszeit auf gleiche Werte zur Bildaufnahme für bestimmte Zwecke kann beispielsweise vorteilhaft sein, um einen Satz von Bildern zu erzeugen, der innerhalb des gleichen Garablaufs besonders gut vergleichbar ist. Dies ist besonders vorteilhaft bei einer Bildaufnahme zum Feststellen eines Bräunungsgrads oder Bräunungsfortschritts. Ein weiterer Vorteil besteht darin, dass die Kameraeinstellungen solche Bilder besonders einfach an Trainingsdaten anpassbar sind, so dass die Bilder auch einfach von Kl-Systemen verwendet werden können.
Es ist eine Ausgestaltung, dass das Haushaltsgerät ein Haushalts-Gargerät, insbesondere Ofen, speziell Backofen, der Behandlungsraum ein Garraum und die Behandlungsraumkamera eine Garraumkamera ist.
Es ist eine Ausgestaltung, dass die unterschiedlichen Zwecke mindestens zwei Zwecke aus der Gruppe:
- Geometrische Garguterkennung von in dem Garraum befindlichem Gargut;
- Inhaltliche Garguterkennung von in dem Garraum befindlichem Gargut;
- Erkennen eines Zustands von in dem Garraum befindlichem Gargut;
- Erkennen einer Verschmutzung des Garraums;
- Erkennen einer Einschubebene, auf der sich das Gargut befindet;
- Anzeigen mindestens eines Bilds für einen Nutzer;
- Vorhalten für eine spätere Datenanalyse umfassen. Dadurch sind vorteilhafterweise viele Möglichkeiten, eine Kamera mit optimierten Kameraeinstellungen zu nutzen, umfasst.
Unter einer geometrischen Garguterkennung von in dem Garraum befindlichem Gargut wird insbesondere verstanden, dass in einem Bild erkannt werden soll, welcher Bildbereich das Gargut abbildet. Dies erleichtert insbesondere das Erkennen eines Zustands von in dem Garraum befindlichem Gargut.
Unter einer inhaltlichen Garguterkennung von in dem Garraum befindlichem Gargut wird insbesondere verstanden, dass erkannt werden soll, welche Art des Garguts vorliegt ("automatische Garguterkennung"). Unter einem Erkennen eines Zustands von in dem Garraum befindlichem Gargut wird insbesondere verstanden, dass erkannt werden soll, in welchem Garzustand oder in welcher Garphase sich das Gargut befindet, z.B. noch getaut, angegart, durchgegart, usw. oder, speziell bei Teig, ob der Teig sich noch in seiner Aufgehphase oder in seiner Bräunungsphase befindet, usw.
Unter einem Erkennen einer Verschmutzung des Garraums kann wird insbesondere verstanden, dass erkannt werden soll, wie stark eine Garraumwandung, eine dem Garraum ausgesetzte Fläche einer Garraumbeleuchtung (z.B. ein Schutzfenster einer Leuchte oder eine dem Garraum ausgesetzte Fläche der Leuchte selbst, z.B. eines Lichtleiters der Leuchte) und/oder eine dem Garraum ausgesetzte Fläche der Kamera (z.B. deren Objektiv) verschmutzt ist, z.B. mit Fett belegt ist.
Unter dem Erkennen der Einschubebene, auf der sich das Gargut befindet, kann wird insbesondere verstanden, dass erkannt werden soll, auf welcher Einschubebene von mehreren möglichen Einschubebenen ein das Gargut tragender Gargutträger eingeschoben oder abgelegt worden ist.
Unter dem Anzeigen eines Bilds für einen Nutzer kann wird insbesondere verstanden, dass ein oder mehrere Bilder dem Nutzer aus einem Display angezeigt werden sollen, beispielsweise als Einzelbild, Gruppe von Bildern oder als Bildsequenz (z.B. Video, beispielsweise auch in Form eines Zeitraffer-Videos von während des Garablaufs zeitlich verteilt aufgenommenen Bildern). Das Display kann ein Display des Haushaltsgerät oder ein Display einer externen Instanz wie eines Smartphones, Tablets, usw. sein.
Unter dem Vorhalten für eine Datenanalyse kann insbesondere verstanden werden, dass ein Bild oder eine Bildfolge ausgewertet werden soll. Diese Datenanalyse kann zu einem späteren Zeitpunkt als dem Garablauf durchgeführt werden. Zum Vorhalten für eine Datenanalyse können ein oder mehrere Bilder in einem Datenspeicher des Haushaltsgeräts oder in einem externen Datenspeicher abgespeichert werden. Die Datenanalyse kann beispielsweise verwendet werden, um Nutzervorliegen zu identifizieren, um Kl-Systeme zu trainieren, usw. Es ist eine Ausgestaltung, dass der Zustand des in dem Garraum befindlichen Garguts mindestens einen Zustand aus der Gruppe Bräunungsgrad an einer Oberfläche des Garguts und/oder Volumen oder olumenänderung des Garguts umfasst. Dies ist besonders vorteilhaft zum Feststellen eines aktuellen Gargrads und/oder zum Bestimmen eines Garzeitendes.
Es ist eine Ausgestaltung, dass für einen ersten Zweck mindestens ein Bild mit einer hohen Auflösung, ohne Bildkompression und mit einer automatisch eingestellten Belichtungszeit erzeugt wird. Dies ist beispielsweise vorteilhaft, wenn es der erste Zweck ist, einem Nutzer ein Bild mit hoher Qualität anzuzeigen und/oder die Bilder zur Gargutbestimmung zu verwenden.
Es ist eine Ausgestaltung, dass zum Erstellen einer Bildsequenz mehrere Bilder mit einer hohen Auflösung, einem vorgegebenen Kompressionsgrad und mit einer automatisch eingestellten Belichtungszeit erzeugt werden. Dadurch wird der Vorteil erreicht, dass eine Bildsequenz mit einem kleinen Datenvolumen erzeugbar ist, bei dem die einzelnen Bilder für einen Nutzer besonders gut erkennbar sind.
Es ist eine Ausgestaltung, dass zum Erkennen des Zustands des Garguts mindestens ein Bild mit einer niedrigen Auflösung, einem vorgegebenen Kompressionsgrad, einer vorgegebenen Belichtungszeit und mit einem vorgegebenen Weißabgleich erzeugt werden. Durch die niedrige Auflösung werden vorteilhafterweise eine Zeitdauer zu Bildverarbeitung, eine Datengröße und ein Datentransfervolumen verringert. Durch den vorgegebenen Kompressionsgrad kann vorteilhafterweise sichergestellt werden, dass dieser nicht bis zu einem Grad erhöht wird, bei dem eine zum Feststellen des Zustands des Garguts relevante Bildinformation verloren geht. Durch die vorgegebene Belichtungszeit und oder den vorgegebenen Weißabgleich wird vorteilhafterweise sichergestellt, dass ein Satz von Bildern erzeugbar ist, die innerhalb des gleichen Garablaufs besonders gut vergleichbar sind. Dies ist besonders vorteilhaft bei einer Bildaufnahme zum Feststellen eines Bräunungsgrads oder Bräunungsfortschritts.
Es ist eine Ausgestaltung, dass zum Erkennen der Einschubebene, auf der sich das Gargut befindet, mindestens ein Bild mit einer niedrigen Auflösung, einem vorgegebenen Kompressionsgrad und mit einer reduzierten Farbtiefe erzeugt wird. Durch die niedrige Auflösung und die reduzierte Farbtiefe werden vorteilhafterweise eine Zeit zu Bildverarbeitung, eine Datengröße und ein Datentransfervolumen verringert. Durch den vorgegebenen Kompressionsgrad kann vorteilhafterweise sichergestellt werden, dass keine zum Feststellen des Zustands des Garguts relevante Bildinformation verloren geht. Die Belichtungszeit kann automatisch eingestellt werden oder vorgegeben sein.
Es ist eine Ausgestaltung, dass das zum Erkennen der Einschubebene erzeugte Bild als Graustufenbild erzeugt wird. Dadurch kann vorteilhafterweise eine Zeit zu Bildverarbeitung, eine Datengröße und ein Datentransfervolumen noch weiter verringert werden, insbesondere falls ein Algorithmus verwendet wird, bei dem eine Farbinformation zum Feststellen der Einschubhöhe nicht benötigt wird.
Es ist eine Ausgestaltung, dass zum Erkennen der Verschmutzung des Garraums mindestens ein Bild mit einer vorgegebenen Auflösung, einem vorgegebenen Kompressionsgrad und mit einer reduzierten Farbtiefe erzeugt wird. Bei einem Erkennen der Verschmutzung des Garraums können hohe Helligkeitsschwankungen vorkommen, z.B. aufgrund eines Inhalts des Garraums, z.B. zwischen einem leeren Garraum mit dunklen Wänden und einem Garraum, in dem eine Einschubebene mit Backpapier ausgelegt ist. Um dies zu berücksichtigen, können z.B. mehrere Bilder mit unterschiedlichen Belichtungszeiten aufgenommen werden. Die Belichtungszeit kann automatisch eingestellt werden oder vorgegeben sein.
Es ist eine Weiterbildung, ein sog. HDR ("High Dynamic Range")-Bild aus einer Reihe von Bildern mit unterschiedlichen Belichtungszeiten zu erzeugen. In diesem Fall ist der zeitliche Abstand der zu diesem Zweck aufgenommenen Bilder vorteilhafterweise kurz. Dies kann beispielsweise durch eine Aufnahme von Bildern ohne Verzögerungszeit zwischen den Bildaufnahmen erreicht werden.
Es ist eine Weiterbildung, dass mindestens ein Bild für eine Datenanalyse abgespeichert wird. Insbesondere können Bilder für alle Zwecke oder nur für mindestens einen der Zwecke für eine Datenanalyse abgespeichert werden. Es ist eine Ausgestaltung, dass zum Vorhalten für eine Datenanalyse mindestens ein Bild mit einer niedrigen Auflösung, einem vorgegebenen Kompressionsgrad und/oder einer vorgegebenen Belichtungszeit erzeugt wird.
Es ist eine Ausgestaltung, dass das mindestens eine erzeugte Bild zum Vorhalten für eine spätere Datenanalyse an eine externe Instanz übermittelt wird, z.B. an ein Smartphone, einen Netzwerkserver und/oder einen Cloudrechner.
Es ist eine Ausgestaltung, dass, z.B. während eines Garablaufs oder eines Reinigungsablaufs (z.B. einer Pyrolyse, einer katalytischen Selbstreinigung oder einer manuellen Reinigung)
- Entschieden wird, ein Bild zu einem bestimmten Zweck aufzunehmen,
- die diesem bestimmten Zweck zugehörigen Kameraeinstellungen bereitgestellt bzw. abgerufen werden,
- die mindestens eine Behandlungsraumkamera gemäß den bereitgestellten Kameraeinstellungen konfiguriert wird,
- das Bild erzeugt (insbesondere aufgenommen und ggf. nachbearbeitet) wird und
- das erzeugte Bild zur Verwendung zu dem bestimmten Zweck bereitgestellt wird.
Jedem Bildaufnahmezweck kann dazu ein bestimmter Satz von Kameraeinstellungen zugeordnet sein, der in einem Datenspeicher abrufbar abgespeichert ist und damit bereitgestellt ist.
Dass das erzeugte Bild zur Verwendung zu dem bestimmten Zweck bereitgestellt wird, kann umfassen, dass eine Steuerung eines Garablaufs oder eine Reinigungsablaufs beruhend auf dem erzeugten Bild - und ggf. weiteren zu dem gleichen Zweck erzeugten Bildern - angepasst wird, z.B. mindestens ein Garparameter (z.B. eine Garraumtemperatur) angepasst wird, der Garablauf mit Erreichen eines Garzeitendes beendet wird, zwischen Garphasen mit unterschiedlichen Garparametereinstellungen umgeschaltet wird, usw.
Es ist eine Weiterbildung, dass der Zweck der Bildaufnahme als Zusatzinformation zu einem jeweiligen Bild gespeichert wird. Dadurch können die Bilder vorteilhafterweise in einem Datenspeicher nach Zweck sortiert und zweckspezifisch analysiert werden. Es ist eine Weiterbildung, dass die zu einem jeweiligen Zweck verwendeten Kameraeinstellungen mit dem Bild verknüpft gespeichert werden, z.B. als Metadaten.
Die Aufgabe wird auch gelöst durch ein Haushaltsgerät aufweisend einen Behandlungsraum und mindestens eine Behandlungsraumkamera mit mindestens einer variierbaren Kameraeinstellung, wobei das Haushaltsgerät zur Durchführung des Verfahrens wie oben beschrieben eingerichtet ist. Das Haushaltsgerät kann analog zu dem Verfahren ausgebildet sein und weist die gleichen Vorteile auf.
Das Haushaltsgerät ist insbesondere ein Haushalts-Gargerät, speziell ein Backofen, ggf. mit Mikrowellen- und/oder Dampfbehandlungsfunktion und/oder automatischer Selbstreinigungsfunktion (Pyrolyse, katalytischer Selbstreinigung, usw.).
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine vereinfachte Skizze eines Haushaltsgeräts in Form eines Backofens;
Fig.2 zeigt als Zeitstrahl über eine Zeit t mögliche Bildaufnahmezeitpunkte; und Fig.3 zeigt eine mögliche Ausgestaltung des erfindungsgemäßen Verfahrens.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine vereinfachte Skizze eines Gargeräts in Form eines Backofens 1. Dazu weist der Backofen 1 einen Garraum 2 auf, dessen frontseitige Beschickungsöffnung durch eine verschwenkbare Tür 3 verschließbar ist. Garraum 2 weist mehrere Einschubebenen E1 bis E3 auf, in welche ein Gargutträger T wie Backbieck oder ein Gitterrost einschiebbar sind. Auf dem Gargutträger T ist Gargut G ablegbar, hier: auf Einschubebene E2. Der Backofen 1 weist ferner eine Steuereinrichtung 4 zur Durchführung von Betriebsabläufen wie Gar- und Reinigungsabläufen auf, wie hier durch einen beispielhaft gezeigten elektrischen Unterhitze-Heizkörper 5 angedeutet.
Die Steuereinrichtung 4 ist auch als Datenverarbeitungseinrichtung zum Durchführen des Verfahrens eingerichtet, z.B. programmiert ist. Eine Garraumkamera 6 in Form einer digi- talen Farbkamera ist dazu datentechnisch mit der Steuereinrichtung 4 verbunden und kann insbesondere Bilder aus dem Garraum 2 aufnehmen und an die Steuereinrichtung 4 übertragen. Eine objektivseitige Linse 7 der Kamera 6 ist dem Garraum 2 ausgesetzt. Das die Linse 7 aufweisende Objektiv kann in einer Weiterbildung einstellbar sein, z.B. im Hinblick auf einen Fokus und/oder eine Bildweite, usw.
Der Backofen 1 weist außerdem eine Bedienblende 8 mit einem insbesondere berührungsempfindlichen Bildschirm ("Touchscreen"), auf dem in einer Weiterbildung auch von der Kamera 6 aufgenommene Bilder oder Ausschnitte davon anzeigbar sind.
Auch kann der Backofen 1 mit einem Kommunikationsmodul 9 ausgerüstet sein, über das Daten (insbesondere einschließlich der Bilder bzw. Bilddaten) von der Steuereinrichtung an eine externe Instanz wie ein Nutzerendgerät, insbesondere an ein mobiles Nutzerendgerät wie ein Smartphone P oder Tablet usw. und/oder an einen Netzwerkserver N oder Cloudrechner übertragbar sind. Das Kommunikationsmodul 9 kann z.B. ein Ethernet- Modul, ein WLAN-Modul, ein Bluetooth-Modul usw. umfassen.
Fig.2 zeigt als Zeitstrahl über eine Zeit t mögliche Bildaufnahmezeitpunkte, die beispielsweise mittels der Garraumkamera 6 aus Fig.1 erzeugbar sind. Beispielhaft sollen hier Bilder für drei verschiedene Zwecke Zj mit i = 1 , ..., 3 erzeugt werden, z.B. für
Zweck Z Erkennen der Verschmutzung des Garraums 2 durch Aufnahme eines Bilds vor oder zu Beginn eines Garablaufs mit einer vorgegebenen Auflösung, einem vorgegebenen Kompressionsgrad, einer automatisch eingestellten Belichtungszeit und mit einer reduzierten Farbtiefe.
Zweck Z2: Erzeugen einer Bildsequenz durch Erzeugen mehrerer Bilder mit einer hohen Auflösung, einem vorgegebenen Kompressionsgrad und mit einer automatisch eingestellten Belichtungszeit zu den hier insbesondere zeitlich äquidistanten Zeitpunkten ti , ts, , ts und t?, usw. Diese Bilder können z.B. in einem Datenspeicher des Backofens 1 gespeichert werden (z.B. in einem Datenspeicher der Steuereinrichtung 4) und auf Nutzerwunsch auf dem Display der Bedienblende 8 und/oder nach Übertragung über das Kommunikationsmodul 9 auf dem Smartphone P abgespielt werden. Zweck Z3: Steuerung des Garablaufs durch Bräunungserkennung, insbesondere zum Bestimmen eines Garzeitendes und Beenden des Garablaufs bei Erreichen des Garzeitendes durch Erzeugen mehrerer Bilder mit einer niedrigen Auflösung, einem vorgegebenen Kompressionsgrad, einer vorgegebenen Belichtungszeit und mit einem vorgegebenen Weißabgleich zu den hier insbesondere zeitlich äquidistanten Zeitpunkten t2 und t6, usw.
Fig.3 zeigt eine mögliche Ausgestaltung des erfindungsgemäßen Verfahrens, die beispielhaft anhand des Backofens 1 näher erläutert wird.
Bei den Verfahren wird in einem Schritt S1 mittels der Steuereinrichtung 4 entschieden, mittels der Garraumkamera 6 zu einem Zeitpunkt tj ein Bild zu einem zugehörigen Zweck Zj zu erzeugen, z.B. für eine Steuerung des Garablaufs gemäß Zweck Z3.
In einem Schritt S2 liest die Steuereinrichtung 4 die diesem Zweck Zj in einem, ggf. internen, Datenspeicher (o. Abb.) bereitgestellten zugehörigen Kameraeinstellungen aus und übertragt sie an die Garraumkamera 6. Zum Zweck Z3 können die Kameraeinstellungen beispielweise eine bestimmte, für alle Bilder zum Zweck Z3 gleiche Bildauflösung, die niedriger ist als eine höchstmögliche Bildauflösung, ein vorgegebener, für alle Bilder zum Zweck Z3 gleicher Kompressionsgrad größer null und/oder ein vorgegebener, für alle Bilder zum Zweck Z3 gleicher Weißabgleich sein.
In einem Schritt S3 wird die Garraumkamera 6 gemäß diesen Kameraeinstellungen konfiguriert.
In einem Schritt S4 mittels der Garraumkamera 6 ein Bild erzeugt. Die Bilderzeugung kann insbesondere eine Bildaufnahme mittels eines Bildsensors der Garraumkamera 6 und einen Bildnachverarbeitung des durch den Bildsensor aufgenommenen Rohbilds umfassen. Die Bildnachverarbeitung kann in der Garraumkamera 6 durchgeführt werden, z.B. in einer Datenverarbeitungseinrichtung davon, oder kann in einer anderen Komponente des Backofens wie der Steuereinrichtung 4 durchgeführt werden.
In einem Schritt S5 wird das erzeugte Bild der Steuereinrichtung 4 zur Verwendung zu dem bestimmten Zweck Zj bereitgestellt, indem das erzeugte Bild von der Garraumkamera 6 an die Steuereinrichtung 4 übertragen wird, z.B. zur Steuerung des Garablaufs durch Bräunungserkennung anhand nur der zu den Zeitpunkten t2 und te aufgenommenen Bilder.
Es wird dann zu Schritt S1 zurückverzweigt.
Dieses Verfahren entspricht einem "Multiplexen" der Kameraeinstellungen der Garraumkamera 6 abhängig von den Zwecken, für welche die Bilder verwendet werden.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
So kann z.B. vor oder mit Beginn des Garablaufs auf ein Bild aufgenommen werden, um die Einschubebene E1 - E3, in die der Gargutträger T eingeschoben worden ist zu bestimmen. Die Steuereinrichtung 4 kann dann z.B. die in die Heizkörper des Garraums 2 wie den Unterhitze-Heizkörper 4, mindestens einen Oberhitze-Heizkörper, einen Heizluftheizkörper usw. eingebrachte Heizleistung anhängig von der gewählten Einschubebene E1 - E3 variieren.
So kann z.B. vor oder mit Beginn des Garablaufs ein Bild aufgenommen werden, um die Position des Garguts 6 in dem Bild zu bestimmen. Folgend können in einer Variante zur Bestimmung des Zustands des Garguts G nur diejenigen Bildpunkte ausgewertet werden, die das Gargut G zeigen.
Außerdem kann z.B. vor oder mit Beginn des Garablaufs ein Bild aufgenommen werden, um die Art des Garguts 6 zu bestimmen, z.B. Hähnchen, Brotteig, Pizza, usw. Die Steuereinrichtung 4 kann dann z.B. dazu eingerichtet sein, den Garablauf automatisch an die erkannte Art des Garguts G anzupassen, z.B. eine Garraumtemperatur und deren Verlauf anpassen, usw. Die Erkennung des Garguts kann mittels Methoden künstlicher Intelligenz (Kl) erfolgen, z.B. durch Nutzung eines neuronalen Netzes. Dazu ist es besonders vorteilhaft, wenn zuvor die Position des Garguts 6 in dem Bild bestimmt worden ist.
Zudem können zusätzlich oder alternativ zum Bräunungsgrad Bilder aufgenommen werden, um ein Volumen oder eine Volumenänderung des Garguts G zu bestimmen. Dies ist besonders vorteilhaft bei Teig, z.B. Brotteig, um zwischen einer Aufgehphase und einer Bräunungsphase zu unterscheiden. Die Steuereinrichtung 4 kann dann z.B. dazu eingerichtet sein, den Garablauf automatisch an die erkannten Phasen oder Phasenenden anzupassen. Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole- ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1 Backofen
2 Garraum
3 Tür
4 Steuereinrichtung
5 Unterhitze-Heizkörper
6 Garraumkamera
7 Linse
8 Bedienblende mit Display
9 Kommunikationsmodul
E1-E3 Einschubebenen
G Gargut
N Netzwerkserver
P Smartphone
S1-S5 Verfahrensschritte t Zeit tj Zeitpunkte zur Erzeugung von Bildern
T Gargutträger
Zj Zwecke

Claims

Patentansprüche Verfahren (S1-S5) zum Betreiben eines Haushaltsgeräts (1) mit einem Behandlungsraum (2) und mindestens einer Behandlungsraumkamera (6) mit mindestens einer variierbaren Kameraeinstellung, bei dem
- mittels der mindestens einen Behandlungsraumkamera (6) zeitlich versetzt (to - 1?) mehrere Bilder erzeugt werden (S4) und
- mindestens zwei der Bilder für mindestens zwei unterschiedliche Zwecke (Zi - Z3) verwendet werden, wobei
- mindestens eine Kameraeinstellung der mindestens einen Behandlungsraumkamera (6) zweckabhängig variiert wird (S2, S3). Verfahren (S1-S5) nach Anspruch 1 , bei dem die mindestens eine Kameraeinstellung mindestens eine Kameraeinstellung aus der Gruppe
- Bildauflösung;
- Kompressionsgrad;
- Farbtiefe;
- Weißabgleich;
- Sensorverstärkung;
- Belichtungszeit;
- Gamma-Korrektur;
- Dateiformat des Bildes;
- Verwendung eines Blitzes;
- Objektiveinstellung, falls die Behandlungsraumkamera (6) ein einstellbares Objektiv (7) aufweist, umfasst. Verfahren (S1-S5) nach einem der vorhergehenden Ansprüche, bei dem das Haushaltsgerät (1) ein Haushalts-Gargerät, insbesondere Ofen, der Behandlungsraum (2) ein Garraum und die Behandlungsraumkamera (6) eine Garraumkamera ist. 4. Verfahren (S1-S5) nach Anspruch 3, bei dem die unterschiedlichen Zwecke (Zi - Z3) mindestens zwei Zwecke (Z1 - Z3) aus der Gruppe:
- Geometrische Garguterkennung von in dem Garraum befindlichem Gargut (G);
- Inhaltliche Garguterkennung von in dem Garraum befindlichem Gargut (G);
- Erkennen eines Zustands von in dem Garraum (2) befindlichem Gargut (G) (Z3);
- Erkennen einer Verschmutzung des Garraums (Z1);
- Erkennen einer Einschubebene (E1-E3), auf der sich das Gargut (G) befindet;
- Anzeigen mindestens eines Bilds für einen Nutzer (Z2);
- Vorhalten für eine Datenanalyse umfassen.
5. Verfahren (S1-S5) nach Anspruch 4, bei dem der Zustand des in dem Garraum (2) befindlichen Garguts (G) mindestens einen Zustand aus der Gruppe
- Bräunungsgrad an einer Oberfläche des Garguts (G) (Z3);
- Volumen oder Volumenänderung des Garguts (G) umfasst.
6. Verfahren (S1-S5) nach den Ansprüchen 2 und 3 und einem der Ansprüche 4 und 5, bei dem für einen Zweck mindestens ein Bild mit
- einer hohen Auflösung,
- ohne Bildkompression und mit
- einer automatisch eingestellten Belichtungszeit erzeugt wird.
7. Verfahren (S1-S5) nach den Ansprüchen 2 und 3 und einem der Ansprüche 4 bis 6, bei dem zum Erstellen einer Bildsequenz (Z2) mehrere Bilder mit
- einer hohen Auflösung,
- einem vorgegebenen Kompressionsgrad und mit
- einer automatisch eingestellten Belichtungszeit erzeugt werden (S2, S3).
8. Verfahren (S1-S5) nach den Ansprüchen 2 und 3 und einem der Ansprüche 4 bis 7, bei dem zum Erkennen des Zustands des Garguts (G) (Z3) mindestens ein Bild mit - einer niedrigen Auflösung,
- einem vorgegebenen Kompressionsgrad,
- einer vorgegebenen Belichtungszeit und mit
- einem vorgegebenen Weißabgleich erzeugt wird (S2, S3).
9. Verfahren (S1-S5) nach den Ansprüchen 2 und 3 und einem der Ansprüche 4 bis 8, bei dem zum Erkennen der Einschubebene, auf der sich das Gargut befindet, mindestens ein Bild mit
- einer niedrigen Auflösung,
- einem vorgegebenen Kompressionsgrad und
- einer reduzierten Farbtiefe erzeugt wird.
10. Verfahren (S1-S5) nach Anspruch 9, bei dem das zum Erkennen der Einschubebene erzeugte Bild als Graustufenbild abgespeichert wird.
11. Verfahren (S1-S5) nach den Ansprüchen 2 und 3 und einem der Ansprüche 4 bis 10, bei dem zum Erkennen der Verschmutzung des Garraums (G) (Zi) mindestens ein Bild mit
- einer vorgegebenen Auflösung,
- einem vorgegebenen Kompressionsgrad und
- einer automatisch eingestellten Belichtungszeit und mit
- einer reduzierten Farbtiefe erzeugt wird (S2, S3).
12. Verfahren (S1-S5) nach den Ansprüchen 2 und 3 und einem der Ansprüche 4 bis 11, bei dem zum Vorhalten für eine spätere Datenanalyse mindestens ein Bild mit
- einer niedrigen Auflösung,
- einem vorgegebenen Kompressionsgrad und
- einer vorgegebenen Belichtungszeit erzeugt wird.
13. Verfahren (S1-S5) nach Anspruch 12, bei dem das mindestens eine erzeugte Bild zum Vorhalten für eine spätere Datenanalyse an eine externe Instanz (P, N) übermittelt wird. 14. Verfahren (S1-S5) nach einem der vorhergehenden Ansprüche, bei dem
- Entschieden wird, ein Bild zu einem bestimmten Zweck erzeugen (S1),
- die diesem bestimmten Zweck zugehörigen Kameraeinstellungen bereitgestellt werden (S2),
- die mindestens eine Kamera gemäß den bereitgestellten Kameraeinstellungen konfiguriert wird (S3),
- das Bild erzeugt wird (S4) und
- das erzeugte Bild zur Verwendung zu dem bestimmten Zweck bereitgestellt wird (S5). 15. Haushaltsgerät (1), insbesondere Haushalts-Gargerät, aufweisend einen Behandlungsraum (2) und mindestens eine Behandlungsraumkamera (6) mit mindestens einer variierbaren Kameraeinstellung, wobei das Haushaltsgerät (1) zur Durchführung des Verfahrens (S1-S5) nach einem der vorhergehenden Ansprüche eingerichtet ist.
PCT/EP2023/076660 2022-10-03 2023-09-27 Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera WO2024074365A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22382923.5 2022-10-03
EP22382923 2022-10-03

Publications (1)

Publication Number Publication Date
WO2024074365A1 true WO2024074365A1 (de) 2024-04-11

Family

ID=83689616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/076660 WO2024074365A1 (de) 2022-10-03 2023-09-27 Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera

Country Status (1)

Country Link
WO (1) WO2024074365A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742051A1 (de) * 2019-05-20 2020-11-25 Miele & Cie. KG Belichtungsregelung von gargütern

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742051A1 (de) * 2019-05-20 2020-11-25 Miele & Cie. KG Belichtungsregelung von gargütern

Similar Documents

Publication Publication Date Title
EP3500798B1 (de) Feststellen eines bräunungsgrads von gargut
EP3446040B1 (de) Verfahren zum feststellen einer reinigungsnotwendigkeit eines gewerblichen gargeräts und gewerbliches gargerät
DE202011002570U1 (de) Vorrichtung zur automatischen Wärmebehandlung von Lebensmitteln
EP3770507A1 (de) Verfahren zum betreiben eines gargeräts und gargerät
DE102008016824B4 (de) Verfahren zum Automatisieren eines Garverlaufs
DE102016107617A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019200583A1 (de) Gargerät und Verfahren zum Betreiben eines Gargeräts
EP4229336A1 (de) Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts
DE102017209841A1 (de) Anzeigesystem, Dunstabzug und Verfahren zur Anzeige zumindest eines Zustandes auf einem Kochfeld
EP3742051B1 (de) Belichtungsregelung von gargütern
DE102013102295A1 (de) Verfahren zur Anpassung eines Lebensmittel-Garprozesses
WO2024074365A1 (de) Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera
WO2020074478A1 (de) Verfahren zum zubereiten von gargut, gargerät und gargeräte-system
WO2022148593A1 (de) Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
EP4051962A1 (de) Bestimmen eines ziel-verarbeitungszustands eines zu behandelnden garguts
DE102019107828B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
EP3550211B1 (de) Verfahren für ein gargerät zur automatischen ermittlung des nettogewichts eines garguts und gargerät
DE102019130443B4 (de) Verfahren und System zur Darstellung eines in einem Gargerät durchgeführten Garprozesses
BE1030426B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
WO2023011841A1 (de) Verfahren zum überwachen von gargut und haushaltsgargerät
DE102014103457A1 (de) Verfahren zum Auswählen eines Garprogramms und Gargerät
BE1030917B1 (de) Gargerät und Verfahren zum Betreiben eines Gargeräts
DE102019119742A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102023209367A1 (de) Betreiben eines Gargeräts mit einer digitalen Garraum-Farbkamera
DE102023106671A1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23777278

Country of ref document: EP

Kind code of ref document: A1