WO2023011841A1 - Verfahren zum überwachen von gargut und haushaltsgargerät - Google Patents

Verfahren zum überwachen von gargut und haushaltsgargerät Download PDF

Info

Publication number
WO2023011841A1
WO2023011841A1 PCT/EP2022/068892 EP2022068892W WO2023011841A1 WO 2023011841 A1 WO2023011841 A1 WO 2023011841A1 EP 2022068892 W EP2022068892 W EP 2022068892W WO 2023011841 A1 WO2023011841 A1 WO 2023011841A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
cooking
camera
event
Prior art date
Application number
PCT/EP2022/068892
Other languages
English (en)
French (fr)
Inventor
Martin Graf
Mike Karl
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Priority to EP22740886.1A priority Critical patent/EP4381234A1/de
Priority to CN202280054228.1A priority patent/CN117769630A/zh
Publication of WO2023011841A1 publication Critical patent/WO2023011841A1/de

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens

Definitions

  • the invention relates to a method for monitoring items to be cooked in a cooking chamber of a household cooking appliance during an operating process, in particular a cooking process, using a sequence of images recorded by a camera.
  • the invention also relates to a household cooking appliance that is set up to carry out the method.
  • the invention can be used particularly advantageously to determine a degree of browning or the progress of browning, in particular in an oven.
  • DE 10 2019 113 281 A1 discloses a method for controlling exposure in a cooking appliance with an integrated camera, comprising: taking a start image with a predetermined basic exposure time; segmenting the start image into cooked product area portions and non-cooked product area portions; creating an exposure mask for the cooking product surface portions, which hides the non-cooking product surface portions; Adjusting the exposure time using the exposure mask so that a predetermined target brightness of the cooking product surface portions is achieved; and capturing a target image with the adjusted exposure time.
  • EP 3 608 593 A1 discloses a cooking system comprising (a) an oven having an oven cavity accessible via an oven door; and (b) an external computing means; wherein the furnace is provided with (a1) at least one optical sensor for recording image data in the furnace cavity; (a2) means for detecting the closing of the door and for triggering the optical sensor; (a3) processing means for performing a basic image analysis to determine if the cavity is not empty; (a4) communication means for providing image data to the external computing means; wherein the external computing means is adapted to perform a food recognition routine based on the image data provided by the communication means; (b2) selection of cooking parameters based on the determined food parameters; and (b3) transmitting the selected cooking parameters to the oven.
  • DE 10 2016 215 550 A1 discloses a method for determining the degree of browning of food in a cooking chamber of a household cooking appliance, which household cooking appliance has a camera directed into the cooking chamber and a light source for illuminating the cooking spatially, and a reference image is recorded by means of the camera, a first measurement image is recorded at a first brightness of the light source, a second measurement image is recorded at a second brightness of the light source, a differential image is generated from the first measurement image and the second measurement image, and the difference image is compared with the reference image.
  • EP 2 444 733 A2 discloses an oven having a cooking chamber in which food is cooked; a heat source that heats the food in the cooking cavity; a light source that illuminates an interior portion of the cooking cavity; an image sensor that scans the inner part of the cooking chamber and the food; a display part that displays an image of the food scanned by the image sensor; and a control part that corrects a food image distorted by light from the light source to display the corrected food image on the display part.
  • the object is achieved by a method for monitoring items to be cooked in a cooking chamber of a household cooking appliance during an operating process using a sequence of images recorded by a camera, in which image parameters of the camera are automatically set at the beginning of the cooking process and in the subsequent course of the cooking process the initially set image parameters are retained by the camera until at least one specified event occurs.
  • this method has the advantage that the food to be cooked records the food with the same image dynamics during the cooking process and it is therefore ensured that a change in the color and brightness of the food in the recorded images only due to an actual change on the surface of the food and not by image Parameter adjustments of the camera are artifacts generated. This in turn increases the accuracy and reliability of the determination of the cooking progress.
  • the operating sequence can be a cooking sequence set, e.g. by a user or a cooking program.
  • the operation may be a keep-warm operation, a pyrolysis operation, and so on.
  • the fact that the initially set image parameters are retained at least until at least one predefined event occurs includes the possibility that the image parameters of the camera can be reset or adjusted when a specific event occurs, but need not be done.
  • changes in the color and brightness of the food to be cooked can be recorded particularly precisely in the recorded images after a change in the lighting situation, which also increases the accuracy and reliability of the determination of the cooking progress.
  • the method also advantageously avoids a user having to adapt image parameters himself at the beginning of a cooking process or after the occurrence of the predetermined event, or having to initiate the adaptation himself, which further increases user satisfaction.
  • Another advantage is that the method can be reliably implemented using a cheap camera and simple evaluation logic. A complex and expensive solution with a high dynamic range, such as that used in DSLR cameras, is not necessary.
  • the method is based on the knowledge that when there is a change in the brightness or the color impression of the food to be cooked in a cooking chamber due to changed lighting conditions or changes in the color of the food to be cooked, a camera moves or a camera system typically automatically adapts to these new lighting conditions, for example by means of white and black balance, brightness balance, exposure time and, if necessary, other correction parameters.
  • the camera constantly evaluates current image sections in order to set or adapt these image parameters for a subsequent image acquisition and thereby optimize the image acquisition, for example with regard to the best possible use of the dynamic range.
  • the exposure time can be adjusted based on the brightest image section, so that there is no significant overexposure of the image then recorded.
  • the white balance is determined based on a section of the image that is considered to be almost white: if the camera finds such a white area, it adjusts the color temperature. Black levels and other image parameters, in particular those that affect the dynamic range, are also automatically adjusted to a specific scene. These adjustments are made because the dynamic range of a camera is not arbitrarily large and therefore a compromise has to be made between several parameters that strongly influence each other and the scene. If images of a continuous cooking process are recorded using this conventional method, each image recording is based on individually set or readjusted image parameters.
  • the method is now based on the further finding that in an image sequence for a continuous cooking process, such as is necessary for detecting the browning of the food to be cooked, automatic adjustments to the image parameters for each recorded image are disadvantageous, since this affects the image dynamics of the images recorded in an image sequence changes and as a result an assessment of the cooking progress, in particular browning progress, becomes less reliable during the cooking process based on the image sequence.
  • the monitoring of the cooking progress can generally include optical monitoring of a surface of the cooking item for a color change, e.g. to (more) brown for a browning progress or, in the case of cooking items not browning or not significantly browning, to a different color change, e.g. from light green to dark green for certain vegetables etc.
  • a color change e.g. to (more) brown for a browning progress or, in the case of cooking items not browning or not significantly browning, to a different color change, e.g. from light green to dark green for certain vegetables etc.
  • the domestic cooking appliance is an oven with a cooking space or has an oven, for example a stove.
  • the food to be cooked in the cooking chamber can be heated by energy input using resistance heaters and/or IR radiators (oven), microwave row waves and/or steam.
  • the household appliance can also be a combination appliance, e.g. an oven/microwave combination oven, an oven with a steam treatment function, etc.
  • the household cooking appliance can have one or more cameras directed into the cooking chamber. At least one camera can be arranged in or behind a wall of the cooking chamber. In one development, a camera corresponds to a camera sensor such as a CCD sensor. Alternatively, the camera can also include other components such as an optical system, etc., which can be adjusted in particular automatically.
  • image parameters of the camera influencing a dynamic range of the camera are set at the beginning of the operating process can in particular include the image parameter settings being made once at the start of the cooking process (e.g. triggered by a user or a cooking program) and then all images in the image sequence with the same image parameters recorded until a specified event occurs.
  • the image parameters can also be referred to as image acquisition parameters.
  • starting can be understood “immediately after starting” or in a short time (e.g. between 1 and 30 s) after the beginning of the operation.
  • the fact that the initially set image parameters are retained until at least one predefined event occurs can also include the case in which no such event occurs. In this case, the images will be captured under the same initial image parameter settings until the cooking process is complete.
  • the image (recording) parameters can include an exposure time, a white balance, a black balance, an amplification (gain), a saturation (saturation), a color temperature, etc.
  • the images of the image sequence can therefore be recorded, for example with the same exposure time and with the same result of a white balance and/or black balance, at least until a predetermined event occurs.
  • the image parameters include all image parameters that can be set or set automatically by a camera. This does not conflict with the fact that one or more of the image parameters can also be set manually or by the user and/or there are other image parameters that can only be set manually.
  • a comparison is made between an image recorded before the event and an image recorded after the event to check whether the event has changed the images beyond a first, lower, specified level or a second, larger, specified level, and if this is not the case, further images are taken without readjustment of the image parameters, if the images have changed beyond the first dimension but not the second dimension, following image parameters of the camera are automatically readjusted once and with the new set image parameters, further images are taken, and if the images have changed beyond the second dimension, at least one further action is carried out.
  • This embodiment includes in particular that an image comparison of images before and after the event is carried out (e.g. a pixel-by-pixel deviation is determined) and the result of the comparison is compared with the first and second measure.
  • the result of the comparison can, for example, be a value dependent on the size of the deviation, while the first measure and the second measure can be, for example, first and second threshold values, respectively.
  • This configuration has the advantage that it can be checked whether the event has changed the lighting conditions and/or an optical property of the surface of the food to such an extent that the initially set image parameters are still used for the images recorded after the end of the event are appropriate or not. If so, the image parameters do not need to be changed, which has the advantage that the image sequence recorded after the event can be connected almost seamlessly to the image sequence recorded before the event. This can be advantageous, for example, if cooking progress is determined from the image history.
  • the second case provides an advantage that a dynamic range of the images can be improved and the sequence of images captured after the event can still be connected to the sequence of images captured before the event in a practically meaningful manner.
  • the settings made again for the following images are retained in particular until the The cooking process has ended or a new event occurs, with the image parameters being set once again automatically once a new event occurs, etc.
  • the new event can be a different event or the same event as the previous event.
  • the first and the second case enable the cooking progress to be determined particularly reliably.
  • the third case takes into account the situation in which the food to be cooked has changed so much that the sequence of images recorded after the event can no longer be meaningfully connected to the sequence of images recorded before the event.
  • at least one ("further") action can then be triggered, e.g. the procedure can be aborted or the procedure restarted.
  • Reaching the second level means that the image content of the images has changed more than when the first level was reached.
  • the predetermined event comprises a door opening of the cooking chamber door (i.e. its opening and subsequent closing), which can be automatically detected by a door opening sensor, for example.
  • the images may not have changed in practice due to the door opening, e.g. if a user only opens the door for a short time to take a closer look at the food to be cooked or to prick it slightly.
  • the image parameters of the camera for image recording can then be retained, since the door opening is usually too short to cause a change in the optical impression of the surface.
  • the images may have changed slightly due to the door opening, e.g. if a user moves the food or the associated food support to the next higher or next lower shelf, which only slightly changes the lighting conditions and/or the food is moved slightly .
  • the third case above can occur, for example, when you switch between food levels that are further apart, for example from a lower food level to a highest food level, the food has been turned or stirred, the food has been removed has been cooked, food has been added, the food has been poured over or covered, e.g. with milk or sauce, etc.
  • the predefined event includes an excessive increase or decrease in at least one measured value of at least one non-imaging sensor.
  • This may be implemented such that the predetermined event is deemed to have occurred if at least one measurement (i.e., a measurement, a sequence of measurements, or a derivative thereof) meets or exceeds an upper threshold and/or meets or falls below a lower threshold.
  • a non-imaging sensor can be understood in particular as a sensor that is not a camera. This configuration can be relevant, for example, if the surface of the food changes very quickly in a certain operating mode (e.g. "Grill max"). When changing the operating mode, a jump in a sensor signal can then occur, e.g humidity sensors, oxygen sensors, etc.
  • the at least one non-imaging sensor can, for example, include at least one sensor from the group
  • a temperature sensor for sensing a surface temperature of the food (e.g. an IR sensor);
  • core temperature probe also known as a roast skewer
  • Chemical sensor e.g. for detecting chemical substances released during tanning; include, but is not limited to.
  • the lambda probe can be used, for example, as an oxygen sensor and/or humidity sensor.
  • the specified event includes a sudden change in measured values of at least one non-imaging sensor. This can be implemented by evaluating a sequence of measured values. For example, if the change in two consecutive measured values or measured value sequences exceeds a predefined threshold value, this can be evaluated as an event.
  • the specified event includes the elapse of a specified period of time, possibly under specified cooking parameters such as a specified cooking chamber temperature, operating mode, etc.
  • the specified period of time can be a counting down or counting down timer period, for example when a set device shutdown is reached . A possible example is starting a post-cooking process.
  • the predetermined period of time can include reaching a jump mark in defined auto programs and baking processes.
  • the predefined event includes a noticeable change in image content of images recorded sequentially in time by the camera.
  • the evaluation of the image content can include simple calculations of the values of the pixels, such as averaging and/or a difference analysis, such as described in more detail below. This refinement has the advantage that optical changes in the food to be cooked can be detected particularly promptly and continuously or quasi-continuously.
  • the evaluation of the image content can relate to the entire image or to at least one image section showing the item to be cooked.
  • the images or image sections used for the image comparisons can include images recorded consecutively or at a predetermined interval (e.g. every third, fourth, etc. image).
  • the sensor here is the camera itself.
  • a difference analysis is carried out and a rating number resulting from the difference analysis with the first level and, if still necessary, with is compared to the second measure.
  • the images include at least one image recorded before the event (in particular exactly one image, specifically the last image before the event) and at least one image recorded after the event (in particular exactly one image, specifically the first image after the event).
  • the evaluation number represents the measure of an image deviation or image change between the compared images.
  • a separate differential analysis to check whether the event has changed the images beyond a predetermined level can then be dispensed with.
  • a mean value of differences between corresponding pixel values of at least one image channel of the respective images is calculated as the evaluation number.
  • the image parameters of the camera are reset or adjusted if the evaluation number reaches or exceeds a predetermined threshold value.
  • Such a difference analysis is advantageously particularly robust and can also be carried out quickly.
  • the difference analysis using the last image before the event and the first image after the event is particularly advantageous.
  • the image channels represent the channels or color space coordinates of the excluded images, e.g. the R, G and B color space coordinates or color channels for RGB images, the H, S and V color space coordinates for HSV images, etc.
  • the mean is an arithmetic mean.
  • a geometric mean, a median, etc. can be used.
  • the rating number is calculated in the form of the mean value for all image channels.
  • the mean value D can then be calculated, for example, for an RGB image with an image width W and an image height H, a red value R1 (x, y) of a pixel with the coordinates (x, y) of image 1, a green value G1 (x, y) a pixel with the coordinates (x, y) of image 1, a blue value B1 (x, y) of a pixel with the coordinates (x, y) of image 1, a red value R2 (x, y) of a pixel with the coordinates ( x, y) of image 2, a green value G2 (x, y) of a pixel with the coordinates (x, y) of image 2 and a blue value B2 (x, y) of a pixel with coordinates (x, y) of the image 2 according to be calculated.
  • Thr a predetermined threshold value
  • the color values can range from 0 to 255, and then the value of D also ranges from 0 to 255.
  • the mean value D is calculated separately for one, several or all image channels and the image parameters of the camera are reset or adjusted if one, several or all mean values D reach or exceed an associated, possibly different, threshold value .
  • a correlation coefficient of pixel values of at least one image channel of the respective images is calculated as the evaluation number and the image parameters of the camera are reset if at least one correlation coefficient reaches or exceeds at least one threshold value.
  • the calculation of a correlation coefficient is well known and will therefore not be discussed further. It is particularly advantageous if a linear correlation coefficient is calculated as the evaluation number. However, in principle, non-linear correlation coefficients can also be calculated as an evaluation number. Analogously to the mean value described above, the correlation coefficients for one, several or all image channels can also be calculated separately and compared with respective, possibly also different, threshold values.
  • the image parameters of the camera are set based on the entire recorded image, e.g. by carrying out a difference analysis across all pixels.
  • the image parameters of the camera are set using only at least one image section of the recorded image, which depicts the item to be cooked.
  • This has the advantage that the dynamic range of the camera is adapted particularly effectively to the food to be cooked and the cooking progress can therefore be monitored particularly reliably, since parts of the image that do not show the food to be cooked and do not change or do not change like the food during a cooking process (e.g a food carrier or a Wall of the cooking chamber) are not, or at least not so much, taken into account.
  • This can, for example, be implemented in such a way that the difference analysis is only carried out over the pixels of the at least one image section.
  • At least one image detail can be preset, e.g. a central area that omits an edge of the image, which usually shows a food support or a wall of the cooking space.
  • At least one image section is defined by object recognition. This advantageously enables a particularly good image separation between the food to be cooked and the food not to be cooked, and thus a particularly accurate and reliable determination of the progress of cooking.
  • at least one image section can be recognized and defined in a recorded image, which as far as possible only shows food to be cooked.
  • Such an object recognition on the food to be cooked is known in principle and is therefore not explained further.
  • an object analysis is carried out at least in the first (or one of the first) of the recorded images and a check is carried out to determine whether the images have been changed by the event beyond a first, lower, specified extent or a second, larger, specified extent have, is carried out only on the basis of image sections determined by the object analysis.
  • only the image sections determined by object analysis are used to determine cooking progress or the like.
  • the at least one further action comprises carrying out an image analysis to determine whether the food to be cooked has been rearranged (e.g. by moving between rack levels that are further apart, turning and/or stirring), changed (e.g. food to be cooked has been added, the food has been poured over or covered, etc.), removed and/or replaced has been.
  • the type of image deviation can advantageously be determined and at least one further action can be carried out in a targeted manner.
  • the image analysis includes object recognition on an image recorded before the event and object recognition on an image recorded after the event, and a subsequent comparison of the results of the object recognitions.
  • Artificial intelligence methods etc. can also be used in order to obtain a result that is as reliable as possible.
  • the method has the advantage that an image analysis that is complex in terms of computation is only carried out if a large deviation in the image contents has been determined beforehand using comparatively simple computational means.
  • yet another action may include restarting the process, and so on.
  • Restarting can include automatic restarting based on the result of the image analysis and the object detected after the event.
  • the object is also achieved by a household cooking appliance that is set up to carry out or run the above method.
  • the household cooking appliance can be designed analogously to that and has the same advantages.
  • the domestic cooking appliance has a cooking chamber that can be closed by means of a door, at least one camera directed into the cooking chamber and a data processing device for evaluating the images recorded by the at least one camera for the cooking progress of the food to be cooked in the cooking chamber.
  • the data processing device can, for example, be an independent data processing device or can be functionally integrated into a control unit of the domestic cooking appliance.
  • FIG. 1 shows a simplified sketch of a domestic cooking appliance as a sectional side view
  • FIG. 1 shows a sectional representation in a side view of a sketch of a domestic cooking appliance in the form of an oven 1 with a heatable cooking space 2, the loading opening on the front of which can be closed by a door 3.
  • the closed door can be detected by a door opening sensor 4, e.g. a micro switch, which is connected to a control device 5.
  • the control device 5 is also connected to a camera 6 directed into the cooking chamber 3 .
  • Food G to be cooked can be arranged in different rack levels E1, E2, E3 in the cooking chamber 3.
  • existing lighting means o. Fig.
  • On which of the rack levels E1 to E3 the item to be cooked G is arranged (here: on rack level E2) can be determined automatically by evaluating the images recorded by the camera 6 .
  • control device 5 is also set up to run the method according to the invention, which is used below by way of example to determine the cooking progress, in particular a degree of browning, of the food G to be cooked.
  • step S1 the cooking chamber 3 is loaded with the food to be cooked G, cooking parameters such as a cooking chamber temperature, a type of heating (e.g. top heat, hot air, etc.) etc. are set, if necessary as part of a automatic cooking program, door 2 is closed and the cooking process is started.
  • cooking parameters such as a cooking chamber temperature, a type of heating (e.g. top heat, hot air, etc.) etc. are set, if necessary as part of a automatic cooking program, door 2 is closed and the cooking process is started.
  • a step S2 the image (recording) parameters of the camera 6 are now set automatically.
  • a subsequent step S3 it is checked whether a predetermined event, here: a door opening process (open door 2 and close it again) has occurred. If this is not the case ("N"), further images of the item to be cooked G are recorded and stored in a step S4 with these image parameters and thus without their automatic adjustment to image changes.
  • the cooking progress for example the progress of a degree of browning, is determined from this sequence of images in a basically known manner. If a desired target degree of browning is reached, a message is issued to the user and/or the cooking process ends.
  • a difference analysis is carried out using this image and the last image recorded before the door opening process. If the evaluation number resulting from this is below a first threshold value Thr1 ("Y"), it is concluded that these two images practically do not differ—at least for the purpose of monitoring the cooking progress. In this (first) case, as shown, a branch is made back to step S3 or to step S4 and images are then recorded with the image parameters already previously defined in step S2.
  • step S7 If the evaluation number is above the first threshold value Thr1 ("N"), a branch is made to step S7, in which it is checked whether the evaluation number is below a second threshold value Thr2 or not. If this is the case ("Y"), it is concluded that while these two images are slightly different for the purpose of monitoring the progress of cooking, they still show the same food without moving, turning, changing, etc. This can be the case, for example, if a user has placed the food G on the food level E3. In this (second) case, a branch is made back to step S2 and the image parameters are reset. The following images are recorded with the newly set image parameters and connected to the image sequence in front of the door opening.
  • the two images no longer show the same cooking item or show the same cooking item, but this has been changed in such a way that monitoring of the tanning progress by merging the image sequences before and after the event does not make sense. This can be the case, for example, if a user has turned the food G, covered it, removed it or replaced it.
  • at least one further action is triggered in a step S8, e.g. the monitoring of the tanning progress is restarted, for example by branching back to step S2 without connecting the image sequence to the image sequence recorded before the door was opened or, as shown , the procedure is aborted.
  • a numerical specification can also include exactly the specified number as well as a usual tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Electric Ovens (AREA)

Abstract

Ein Verfahren (S1-S8) dient zum Überwachen eines in einem Garraum (3) eines Haushaltsgargeräts (1) befindlichen Garguts (G) während eines Betriebsablaufs, insbesondere Garablaufs, wobei anhand von mittels mindestens einer Kamera (6) aufgenommenen Folge von Bildern, bei dem mit Beginn des Betriebsablaufs automatisch Bildparameter der Kamera (2) eingestellt werden (S2) und im folgenden Verlauf des Garablaufs die anfänglich eingestellten Bildparameter zumindest bis zum Eintreten mindestens eines vorgegebenen Ereignisses von der Kamera (6) beibehalten werden (S3). Ein Haushaltsgargerät (1), ist dazu eingerichtet, das Verfahren (S1-S8) ablaufen zu lassen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Feststellung eines Bräunungsgrads bzw. Bräunungsfortschritts, insbesondere in einem Backofen.

Description

Verfahren zum Überwachen von Gargut und Haushaltsgargerät
Die Erfindung betrifft ein Verfahren zum Überwachen von in einem Garraum eines Haushaltsgargeräts befindlichen Garguts während eines Betriebsablaufs, insbesondere Garablaufs, anhand von mittels einer Kamera aufgenommenen Folge von Bildern. Die Erfindung betrifft auch ein Haushaltsgargerät, das zur Durchführung des Verfahrens eingerichtet ist. Die Erfindung ist insbesondere vorteilhaft anwendbar auf eine Feststellung eines Bräunungsgrads bzw. Bräunungsfortschritts, insbesondere in einem Backofen.
DE 10 2019 113 281 A1 offenbart ein Verfahren zur Belichtungsregelung in einem Gargerät mit einer integrierten Kamera, umfassend: Aufnehmen eines Startbilds mit einer vorgegebenen Grundbelichtungszeit; Segmentieren des Startbilds in Gargut-Flächenanteile und Nicht-Gargut-Flächenanteile; Erstellen einer Belichtungsmaske für die Gargut- Flächenanteile, welche die Nicht-Gargut-Flächenanteile ausblendet; Anpassen der Belichtungszeit unter Verwendung der Belichtungsmaske, so dass eine vorgegebene Zielhelligkeit der Gargut-Flächenanteile erreicht wird; und Aufnehmen eines Zielbilds mit der angepassten Belichtungszeit.
EP 3 608 593 A1 offenbart ein Kochsystem, aufweisend (a) einen Ofen mit einer Ofenkavität, der über eine Ofentür zugänglich ist; und (b) ein externes Rechenmittel; wobei der Ofen mit versehen ist (a1) mit mindestens einem optischen Sensor zum Aufnehmen von Bilddaten in der Ofenkavität; (a2) Mittel zum Erkennen des Schließens der Tür und zum Auslösen des optischen Sensors; (a3) Verarbeitungsmittel zur Durchführung einer grundlegenden Bildauswertung, um festzustellen, ob der Hohlraum nicht leer ist; (a4) Kommunikationsmittel zum Bereitstellen von Bilddaten an das externe Rechenmittel; wobei das externe Rechenmittel daran angepasst ist, eine Lebensmittelerkennungsroutine anhand der Bilddaten durchzuführen, die durch das Kommunikationsmittel bereitgestellt wurden; (b2) Auswahl von Garparametern basierend auf den ermittelten Lebensmittelparametern; und (b3) Übertragen der ausgewählten Garparameter an den Ofen.
DE 10 2016 215 550 A1 offenbart ein Verfahren zum Feststellen eines Bräunungsgrads von Gargut in einem Garraum eines Haushalts-Gargeräts, welches Haushalts-Gargerät eine in den Garraum gerichtete Kamera und eine Lichtquelle zum Beleuchten des Gar- raums aufweist, und wobei mittels der Kamera ein Referenzbild aufgenommen wird, ein erstes Messbild bei einer ersten Helligkeit der Lichtquelle aufgenommen wird, ein zweites Messbild bei einer zweiten Helligkeit der Lichtquelle aufgenommen wird, aus dem ersten Messbild und dem zweiten Messbild ein Differenzbild erzeugt wird und das Differenzbild mit dem Referenzbild verglichen wird.
EP 2 444 733 A2 offenbart einen Ofen, aufweisend einen Garraum, in dem Lebensmittel gegart werden; eine Wärmequelle, die die Lebensmittel in dem Garraum erwärmt; eine Lichtquelle, die einen inneren Teil des Garraums beleuchtet; einen Bildsensor, der den inneren Teil des Garraums und die Lebensmittel abtastet; einen Anzeigeteil, der ein Bild des vom Bildsensor gescannten Lebensmittels anzeigt; und ein Steuerteil, das ein durch Licht von der Lichtquelle verzerrtes Lebensmittelbild korrigiert, um das korrigierte Lebensmittelbild auf dem Anzeigeteil anzuzeigen.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine nutzerfreundliche Möglichkeit zur besonders zuverlässigen Feststellung eines Garfortschritts, insbesondere Bräunungsfortschritts, von Gargut während eines Garablaufs anhand von Bildfolgen bereitzustellen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zum Überwachen von in einem Garraum eines Haushaltsgargeräts befindlichen Garguts während eines Betriebsablaufs anhand von mittels einer Kamera aufgenommenen Folge von Bildern, bei dem mit Beginn des Garablaufs automatisch Bildparameter der Kamera eingestellt werden und im folgenden Verlauf des Garablaufs die anfänglich eingestellten Bildparameter bis zum Eintreten mindestens eines vorgegebenen Ereignisses von der Kamera beibehalten werden.
Dieses Verfahren ergibt durch das "Einfrieren" der Bildparameter bzw. Bildparametereinstellungen der Kamera den Vorteil, dass das Gargut während des Garvorgangs das Gargut mit der gleichen Bilddynamik aufnimmt und daher sichergestellt ist, dass eine Änderung der Farbe und Helligkeit des Garguts in den aufgenommenen Bildern nur aufgrund einer tatsächlichen Änderung an der Oberfläche des Garguts erfolgt und nicht durch Bild- Parameteranpassungen der Kamera erzeugte Artefakte sind. Dies wiederum erhöht eine Genauigkeit und Zuverlässigkeit der Bestimmung des Garfortschritts.
Der Betriebsablauf kann ein, z.B. durch einen Nutzer oder ein Garprogramm, eingestellter Garablauf sein. Alternativ kann der Betriebsablauf ein Warmhaltebetrieb, ein Pyrolyseablauf, usw. sein. Im Folgenden wird sich auf einen Garablauf bezogen, wobei aber auch andere Betriebsabläufe mitgemeint sein können, falls anwendbar.
Dass die anfänglich eingestellten Bildparameter zumindest bis zum Eintreten mindestens eines vorgegebenen Ereignisses beibehalten werden, umfasst die Möglichkeit, dass mit Eintretens eines bestimmten Ereignisses die Bildparameter der Kamera neu eingestellt bzw. angepasst werden können, aber nicht vorgenommen zu werden brauchen. Dies ergibt den weiteren Vorteil, dass sich bei einer möglichen Änderung der Beleuchtungssituation aufgrund des Ereignisses der Dynamikbereich der Kamera automatisch daran anpassen lässt und danach ebenfalls wieder eingefroren wird. Dadurch wiederum können Änderungen der Farbe und Helligkeit des Garguts in den aufgenommenen Bildern nach einer geänderten Beleuchtungssituation besonders genau erfasst werden, was ebenfalls eine Genauigkeit und Zuverlässigkeit der Bestimmung des Garfortschritts erhöht.
Durch das Verfahren wird vorteilhafterweise auch vermieden, dass ein Nutzer zu Beginn eines Garvorgangs oder nach Eintritt des vorgegebenen Ereignisses Bildparameter selbst anzupassen braucht oder die Anpassung selbst zu initiieren braucht, was eine Nutzerzufriedenheit weiter erhöht.
Ein weitere Vorteil besteht darin, dass das Verfahren mittels einer günstigen Kamera und einfachen Auswertelogik zuverlässig umsetzbar ist. Eine aufwändige und teure Lösung mit einem hohen Dynamikumfang, wie er beispielsweise in DSLR-Kameras verwendet wird, ist nicht notwendig.
Das Verfahren beruht auf der Erkenntnis, dass dann, wenn eine Änderung der Helligkeit oder des Farbeindrucks von in einem Garraum befindlichen Gargut aufgrund geänderter Beleuchtungsbedingungen oder Farbänderungen des Garguts auftritt, sich eine Kamera bzw. ein Kamerasystem diesen neuen Beleuchtungsbedingungen typischerweise automatisch anpasst, z.B. durch Weiß- und Schwarzabgleich, Helligkeitsabgleich, Belichtungszeit und ggf. weitere Korrekturparameter. Dazu wertet die Kamera ständig aktuelle Bildausschnitte aus, um diese Bildparameter für eine folgende Bildaufnahme einzustellen bzw. anzupassen und dadurch die Bildaufnahme zu optimieren, z.B. im Hinblick auf einen möglichst gut ausgenutzten Dynamikumfang. Beispielsweise kann anhand des hellsten Bildausschnitts eine Anpassung der Belichtungszeit vorgenommen werden, so dass es zu keiner nennenswerten Überbelichtung des dann aufgenommenen Bilds kommt. Der Weißabgleich wird z.B. anhand eines Bildausschnitts bestimmt, der als nahezu weiß angesehen wird: wenn die Kamera einen solchen weißen Bereich findet, passt die Farbtemperatur an. Auch Schwarzwerte und weitere, insbesondere den Dynamikbereich beeinflussende, Bildparameter werden so automatisch an eine bestimmte Szene angepasst. Diese Anpassungen werden durchgeführt, weil der Dynamikbereich einer Kamera nicht beliebig groß ist und es daher zu einem Kompromiss aus mehreren, sich stark gegenseitig beeinflussenden Parametern und der Szene kommen muss. Werden Bilder eines fortlaufenden Garablaufs mit dieser herkömmlichen Methode aufgenommen, beruht jede Bildaufnahme auf individuell eingestellten bzw. nachgeregelten Bildparametern.
Das Verfahren beruht nun auf der weiteren Erkenntnis, dass bei einer Bildfolge für einen fortlaufenden Garablauf, wie sie beispielsweise für eine Detektion einer Gargutbräunung notwendig ist, automatische Anpassungen der Bildparameter für jedes aufgenommene Bild nachteilig sind, da dies die Bilddynamik der in einer Bildfolge aufgenommenen Bilder ändert und dadurch eine Beurteilung des Garfortschritts, insbesondere Bräunungsfortschritts, während des Garablaufs anhand der Bildfolge weniger zuverlässig wird.
Das Überwachen des Garfortschritts kann allgemein ein optisches Überwachen einer Oberfläche des Garguts auf einen Farbwechsel umfassen, z.B. nach (stärker) braun für einen Bräunungsfortschritts oder für den Fall von nicht oder nicht wesentlich bräunendem Gargut auf einen anderen Farbwechsel, z.B. von hellgrün zu dunkelgrün bei bestimmtem Gemüsen usw.
Es ist eine Weiterbildung, dass das Haushaltsgargerät ein Ofen mit einem Garraum ist oder einen Ofen aufweist, z.B. ein Herd. Das in dem Garraum befindliche Gargut kann durch Energieeintrag mittels Widerstandsheizkörper und/oder IR-Strahler (Backofen), Mik- rowellen und/oder Dampf behandelt werden. Das Haushaltsgerät kann also auch ein Kombinationsgerät sein, z.B. ein Backofen/Mikrowellen-Kombinationsgerät, ein Backofen mit Dampfbehandlungsfunktion, usw.
Das Haushaltsgargerät kann ein oder mehrere in den Garraum gerichtete Kameras aufweisen. Mindestens eine Kamera kann in oder hinter einer Wandung des Garraums angeordnet sein. Eine Kamera entspricht in einer Weiterbildung einem Kamerasensor wie z.B. einen CCD-Sensor. Alternativ kann die Kamera auch weitere Komponenten wie eine - insbesondere automatisch einstellbare - Optik usw. umfassen.
Dass mit Beginn des Betriebsablaufs einen Dynamikumfang der Kamera beeinflussende Bildparameter der Kamera eingestellt werden, kann insbesondere umfassen, dass mit Start des Garablaufs (z.B. ausgelöst durch einen Nutzer oder ein Garprogramm) die Bildparametereinstellungen einmalig vorgenommen werden und folgend alle Bilder der Bildfolge mit den gleichen Bildparametern aufgenommen werden, bis ein vorgegebenes Ereignis eintritt. Die Bildparameter können auch als Bildaufnahmeparameter bezeichnet werden. Unter "mit Beginn" kann "unmittelbar nach Beginn" oder in kurzer Zeit (z.B. zwischen 1 und 30 s) nach Beginn des Betriebsablaufs verstanden werden.
Dass die anfänglich eingestellten Bildparameter bis zum Eintreten mindestens eines vorgegebenen Ereignisses beibehalten werden, kann auch den Fall umfassen, dass kein solches Ereignis eintritt. In diesem Fall werden die Bilder bis zur Beendigung des Garablaufs unter den gleichen anfänglichen Bildparametereinstellungen aufgenommen.
Die Bild(aufnahme)parameter können unter anderem eine Belichtungszeit, einen Weißabgleich, einen Schwarzabgleich, eine Verstärkung (Gain), eine Sättigung (Saturation), eine Farbtemperatur usw. umfassen. Die Bilder der Bildfolge können daher zumindest bis zum Eintreten eines vorgegebenen Ereignisses beispielsweise mit der gleichen Belichtungszeit und einem gleichen Ergebnis eines Weißabgleichs und/oder Schwarzabgleichs aufgenommen werden. Insbesondere umfassen die Bildparameter alle von einer Kamera automatisch einstellbaren oder eingestellten Bildparameter. Dem steht nicht entgegen, dass ein oder mehrere der Bildparameter auch manuell bzw. nutzerseitig einstellbar sind und/oder es andere Bildparameter gibt, die nur manuell einstellbar sind. Es ist eine Ausgestaltung, dass anhand eines Vergleichs eines vor dem Ereignis aufgenommenen Bilds und eines nach dem Ereignis aufgenommenen Bilds überprüft wird, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben, und falls dies nicht der Fall ist, weitere Bilder ohne erneute Einstellung der Bildparameter aufgenommen werden, falls sich die Bilder über das erste Maß, aber nicht das zweite Maß, hinaus geändert haben, folgend Bildparameter der Kamera einmalig erneut automatisch eingestellt werden und mit den neu eingestellten Bildparametern weitere Bilder aufgenommen werden, und falls sich die Bilder über das zweite Maß hinaus geändert haben, mindestens eine weitere Aktion durchgeführt wird.
Diese Ausgestaltung umfasst insbesondere, dass ein Bildvergleich von Bildern vor und nach dem Ereignis durchgeführt wird (z.B. eine pixelweise Abweichung bestimmt wird) und das Ergebnis des Vergleichs mit dem ersten und zweiten Maß verglichen wird. Das Ergebnis des Vergleichs kann z.B. ein von der Größe der Abweichung abhängiger Wert sein, während das erste Maß und das zweite Maß z.B. erste bzw. zweite Schwellwerte sein können.
Durch diese Ausgestaltung wird der Vorteil erreicht, dass überprüft werden kann, ob sich durch das Ereignis die Beleuchtungsverhältnisse und/oder eine optische Eigenschaft der Oberfläche des Garguts so weit geändert haben, dass die anfänglich eingestellten Bildparameter auch noch für die nach Beendigung des Ereignisses aufgenommenen Bilder passend sind oder nicht. Falls ja, brauchen die Bildparameter nicht geändert zu werden, was den Vorteil ergibt, dass sich die nach dem Ereignis aufgenommene Bildfolge praktisch nahtlos an die vor dem Ereignis aufgenommene Bildfolge anschließen lässt. Dies kann z.B. vorteilhaft sein, wenn ein Garfortschritt aus dem Bildverlauf bestimmt wird.
Der zweite Fall ergibt den Vorteil, dass ein Dynamikbereich der Bilder verbessert werden kann und sich die nach dem Ereignis aufgenommene Bildfolge immer noch in praktisch sinnvoller Weise an die vor dem Ereignis aufgenommene Bildfolge anschließen lässt. Analog zu der Einstellung der Bildparameter zu Beginn des Garablaufs werden insbesondere die erneut vorgenommenen Einstellungen für folgende Bilder beibehalten, bis der Garablauf beendet ist oder ein neues Ereignis eintritt, wobei mit Eintreten eines neuen Ereignisse die Bildparameter erneut einmalig automatisch eingestellt werden, usw. Das neue Ereignis kann ein anderes oder das gleiche Ereignis sein wie das vorherige Ereignis.
Der erste und der zweite Fall ermöglichen eine besonders zuverlässige Bestimmung des Garfortschritts.
Der dritte Fall berücksichtigt die Situation, dass sich das Gargut so stark verändert hat, dass die nach dem Ereignis aufgenommene Bildfolge sich nicht mehr sinnvoll an die vor dem Ereignis aufgenommene Bildfolge anschließen lässt. Im letzteren Fall kann dann mindestens ein ("weitere") Aktion ausgelöst werden, z.B. das Verfahren abgebrochen werden oder das Verfahren neu gestartet werden. Erreichen des zweiten Maßes bedeutet, dass sich die Bildinhalte der Bilder stärker verändert haben als mit Erreichen des ersten Maßes.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis eine Türöffnung der Tür des Garraums (d.h., deren Öffnen und folgendes Schließen) umfasst, was z.B. durch einen Türöffnungssensor automatisch erkannt werden kann. Analog zu dem obigen ersten Fall können sich die Bilder durch die Türöffnung praktisch nicht verändert haben, z.B. wenn ein Nutzer die Tür nur für eine kurze Zeit öffnet, um das Gargut genauer zu betrachten oder es leicht anzustechen. Die Bildparameter der Kamera zur Bildaufnahme können dann beibehalten werden, da die Türöffnung in der Regel zu kurz ist, um eine Änderung des optischen Eindrucks der Oberfläche hervorzurufen.
Analog zu dem obigen zweiten Fall können sich die Bilder durch die Türöffnung geringfügig verändert haben, z.B. wenn ein Nutzer das Gargut bzw. den zugehörigen Gargutträger auf die nächsthöhere oder nächsttiefere Einschubebene bewegt, was die Beleuchtungsverhältnisse nur geringfügig ändert und/oder das Gargut geringfügig bewegt wird.
Der obige dritte Fall kann z.B. dann eintreten, wenn zwischen weiter auseinanderliegenden Gargutebenen gewechselt wird, z.B. von einer unteren Gargutebene zu einer höchsten Gargutebene, das Gargut umdreht oder umgerührt worden ist, das Gargut entnom- men worden ist, Gargut hinzugefügt worden ist, das Gargut übergossen oder bedeckt worden ist, z.B. mit Milch oder Sauce, usw.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis einen übermäßigen Anstieg oder Abfall mindestens eines Messwerts mindestens eines nicht-bildgebenden Sensors umfasst. Dies kann so umgesetzt werden, dass das vorgegebene Ereignis als eingetreten angesehen wird, wenn mindestens ein Messwert (d.h., ein Messwert, eine Folge von Messwerten oder eine Ableitung davon) einen oberen Schwellwert erreicht oder überschreitet und/oder einen unteren Schwellwert erreicht oder unterschreitet. Unter einem nicht-bildgebenden Sensor kann insbesondere ein Sensor verstanden werden, der keine Kamera ist. Diese Ausgestaltung kann z.B. relevant sein, wenn sich in einer bestimmten Betriebsart (z.B. "Grill max“) die Oberfläche des Garguts sehr schnell verändert. Bei einem Wechsel der Betriebsart kann es dann zu einem Sprung eines Sensorsignals kommen, z.B. zu einem Sprung eines Sensorsignals eines Feuchtigkeitssensors, Sauerstoffsensors, usw.
Der mindestens eine nicht-bildgebenden Sensor kann beispielsweise mindestens einen Sensor aus der Gruppe
Temperaturfühler zum Abfühlen einer Oberflächentemperatur des Garguts (z.B. ein IR-Sensor);
Kerntemperaturfühler (auch als Bratenspieß bekannt);
Feuchtigkeitssensor;
Lambdasonde;
Chemischer Sensor, z.B. zum Detektieren von bei einer Bräunung freigesetzten chemischen Stoffen; umfassen, ist aber nicht darauf beschränkt. Die Lambdasonde kann z.B. als Sauerstoffsensor und/oder Feuchtigkeitssensor verwendet werden.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis eine sprunghafte Änderung von Messwerten mindestens eines nicht-bildgebenden Sensors umfasst. Dies kann durch Auswerten einer Folge von Messwerten umgesetzt werden. Überschreitet beispielsweise die Änderung zweier aufeinanderfolgender Messwerte oder Messwertfolgen einen vorgegebenen Schwellwert, kann dies als ein Ereignis gewertet werden. Es ist eine Ausgestaltung, dass das vorgegebene Ereignis ein Ablaufen einer vorgegebenen Zeitdauer umfasst, ggf. unter vorgegebenen Garparametern wie einer vorgegebenen Garraumtemperatur, Betriebsart usw. Die vorgegebene Zeitdauer kann in einer Weiterbildung eine rück- oder vorlaufende Timerzeitdauer sein, beispielsweise mit Erreichen einer gesetzten Geräteabschaltung. Ein mögliches Beispiel ist ein Starten eines Nachgarvorgangs. Alternativ oder zusätzlich kann die vorgegebene Zeitdauer ein Erreichen einer Sprungmarke in definierten Auto-Programmen und Backvorgängen umfassen.
Es ist eine Ausgestaltung, dass das vorgegebene Ereignis eine merkliche Änderung von Bildinhalten von mit der Kamera zeitlich hintereinander aufgenommenen Bildern umfasst. Das Auswerten der Bildinhalte kann einfache Berechnungen der Werte der Bildpunkte wie z.B. eine Mittelwertbildung und/oder eine Differenzanalyse wie z.B. weiter unten genauer beschrieben umfassen. Diese Ausgestaltung ergibt den Vorteil, dass optische Änderungen des Garguts besonders zeitnah und kontinuierlich oder quasi-kontinuierlich erfasst werden können. Das Auswerten der Bildinhalte kann sich auf das gesamte Bild oder auf mindestens einen Bildausschnitt beziehen, welcher bzw. welche das Gargut zeigen. Die für die Bildvergleiche verwendeten Bilder bzw. Bildausschnitte können aufeinanderfolgend aufgenommene Bilder oder in einem vorgegebenen Abstand (z.B. jedes dritte, vierte usw. Bild) Bilder umfassen. Der Sensor ist hier die Kamera selbst.
Es ist eine Ausgestaltung, dass zum Feststellen, ob sich die Bilder durch das Ereignis über das mindestens eine vorgegebene Maß hinaus geändert haben, eine Differenzanalyse durchgeführt wird und eine sich aus der Differenzanalyse ergebende Bewertungszahl mit dem ersten Maß und, falls dann noch notwendig, mit dem zweiten Maß verglichen wird. So wird eine rechentechnisch vergleichsweise einfache und schnelle Erkennung gewonnen, in welchem Maß sich die Bilder bzw. deren Bildinhalte verändert haben. Die Bilder umfassen mindestens ein vor dem Ereignis aufgenommenes Bild (insbesondere genau ein Bilds, speziell des letzten Bilds vor dem Ereignis) und mindestens ein nach dem Ereignis aufgenommenes Bild (insbesondere genau ein Bild, speziell das erste Bild nach dem Ereignis). Die Bewertungszahl stellt das Maß für eine Bildabweichung bzw. Bildänderung zwischen den verglichenen Bildern dar. Diese Differenzanalyse kann auch, wie bereits oben angedeutet, analog als Ereignis verwendet werden. Auf eine gesonderte Differenzanalyse zum Überprüfen, ob sich die Bilder durch das Ereignis über ein vorgegebenes Maß hinaus geändert haben, kann dann verzichtet werden. Es ist eine Ausgestaltung, dass als Bewertungszahl ein Mittelwert von Differenzen entsprechender Bildpunktwerte mindestens eines Bildkanals der jeweiligen Bilder berechnet wird. Die Bildparameter der Kamera werden neu eingestellt bzw. angepasst, wenn die Bewertungszahl einen vorgegebenen Schwellwert erreicht oder überschreitet. Eine solche Differenzanalyse ist vorteilhafterweise besonders robust und zudem schnell durchführbar. Besonders vorteilhaft ist die Differenzanalyse unter Verwendung des letzten Bilds vor dem Ereignis und des ersten Bilds nach dem Ereignis.
Die Bildkanäle stellen die Kanäle oder Farbraumkoordinaten der ausgenommenen Bilder dar, z.B. die Farbraumkoordinaten bzw. Farbkanäle R, G und B für RGB-Bilder, die Farbraumkoordinaten H, S und V für HSV-Bilder usw.
Es ist eine besonders vorteilhafte Weiterbildung, dass der Mittelwert ein arithmetischer Mittelwert ist. Alternativ kann z.B. ein geometrischer Mittelwert, ein Medianwert usw. verwendet werden.
Es ist eine Weiterbildung, dass die Bewertungszahl in Form des Mittelwert für alle Bildkanäle berechnet wird. Der Mittelwert D kann dann beispielsweise für ein RGB-Bild mit einer Bildbreite W und einer Bildhöhe H, einem Rotwert R1 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 1 , einem Grünwert G1 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 1, einem Blauwert B1 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 1, einem Rotwert R2 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 2, einem Grünwert G2 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 2 und einem Blauwert B2 (x, y) eines Bildpunkts mit den Koordinaten (x, y) des Bilds 2 gemäß
Figure imgf000011_0001
berechnet werden. D = 0 deutet, dass die beiden Bilder identisch sind, D = 255 bedeutet, dass sich die beiden Bilder stark unterscheiden. Erreicht oder überschreitet der Mittelwert D einen vorgegebenen Schwellwert Thr, d.h., dass D > Thr oder D > Thr gilt, werden die Bildparameter für folgende Bildaufnahmen erneut eingestellt bzw. angepasst. Die Farbwerte können z.B. zwischen 0 und 255 liegen, und dann liegt auch der Wert von D im Bereich von 0 bis 255.
Es ist eine zur Einsparung einer Rechenleistung oder einer schnelleren Berechnung des Mittelwerts D vorteilhafte Weiterbildung, dass D anhand nur eines Bildkanals berechnet wird.
Es ist eine Weiterbildung, dass der Mittelwert D für einen, mehrere oder alle Bildkanäle getrennt berechnet wird und die Bildparameter der Kamera neu eingestellt bzw. angepasst werden, wenn einer, mehrere oder alle Mittelwerte D einen zugehörigen ggf. auch unterschiedlichen, Schwellwert erreichen oder überschreiten.
Es ist eine Ausgestaltung, dass als Bewertungszahl ein Korrelationskoeffizient von Bildpunktwerten mindestens eines Bildkanals der jeweiligen Bilder berechnet wird und die Bildparameter der Kamera neu eingestellt werden, wenn mindestens ein Korrelationskoeffizient mindestens einen Schwellwert erreicht oder überschreitet. Die Berechnung eines Korrelationskoeffizienten ist allgemein bekannt und wird daher nicht weiter ausgeführt. Es ist besonders vorteilhaft, wenn als Bewertungszahl ein linearer Korrelationskoeffizient berechnet wird. Jedoch können grundsätzlich auch nichtlineare Korrelationskoeffizienten als Bewertungszahl berechnet werden. Analog zu dem oben beschriebenen Mittelwert können auch die Korrelationskoeffizienten für einen, mehrere oder alle Bildkanäle getrennt berechnet und mit jeweiligen, ggf. auch unterschiedlichen, Schwellwerten verglichen werden.
Es ist eine Weiterbildung, dass die Bildparameter der Kamera anhand des gesamten aufgenommenen Bilds eingestellt werden, z.B. mittels Durchführung einer Differenzanalyse über alle Bildpunkte.
Es ist eine Ausgestaltung, dass die Bildparameter der Kamera anhand nur mindestens eines Bildausschnitts des aufgenommenen Bilds eingestellt werden, welches das Gargut abbildet. Dies ergibt den Vorteil, dass der Dynamikbereich der Kamera besonders effektiv an das Gargut angepasst und sich daher der Garfortschritt besonders zuverlässig überwachen lässt, da Teile des Bilds, welche das Gargut nicht zeigen und sich während eines Garvorgangs nicht oder nicht wie das Gargut ändern (z.B. ein Gargutträger oder eine Wandung des Garraums) nicht oder zumindest nicht so stark berücksichtigt werden. Dies kann z.B. so umgesetzt sein, dass die Differenzanalyse nur über die Bildpunkte des mindestens einen Bildausschnitts durchgeführt wird.
Mindestens ein Bildausschnitt kann voreingestellt sein, z.B. ein zentraler Bereich, der einen Rand des Bilds, das in der Regel einen Gargutträger oder eine Wandung des Garraums zeigt, auslässt.
Es ist eine Weiterbildung, dass mindestens ein Bildausschnitt durch Objekterkennung festgelegt wird. Dies ermöglicht vorteilhafterweise eine besonders gute Bildtrennung zwischen Gargut und Nichtgargut und damit eine besonders genaue und zuverlässige Bestimmung eines Garfortschritts. Bei dieser Weiterbildung kann z.B. in einem aufgenommenen Bild mindestens ein Bildausschnitt erkannt und festgelegt werden, welcher möglichst nur Gargut zeigt. Eine solche Objekterkennung auf Gargut ist grundsätzlich bekannt und wird daher nicht weiter ausgeführt.
Es ist eine Ausgestaltung, dass eine Objektanalyse zumindest in dem ersten (oder einem der ersten) der aufgenommenen Bildern durchgeführt wird und das Überprüfen, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben, nur anhand von durch die Objektanalyse bestimmten Bildausschnitten durchgeführt wird. Es ist eine Weiterbildung, dass nur die durch Objektanalyse bestimmten Bildausschnitte zur Bestimmung eines Garfortschritts o.ä. verwendet werden.
Es ist eine - wie bereits oben für den dritten Fall angedeutete - Ausgestaltung, dass die mindestens eine weitere Aktion ein Durchführen einer Bildanalyse daraufhin umfasst, ob das Gargut umgestellt worden ist (z.B. durch Umsetzen zwischen weiter auseinanderliegenden Einschubebenen, Wenden und/oder Umrühren), verändert (z.B. Gargut hinzugefügt worden ist, das Gargut übergossen oder bedeckt worden ist, usw.), entnommen und/oder ausgetauscht worden ist. Dadurch lässt sich vorteilhafterweise die Art der Bildabweichung bestimmen und mindestens noch eine weitere Aktion gezielt darauf angestellt anschließen.
Es ist eine Ausgestaltung, dass die Bildanalyse eine Objekterkennung an einem vor dem Ereignis aufgenommenen Bild und eine Objekterkennung an einem nach dem Ereignis aufgenommenen Bild und einen folgenden Vergleich der Ergebnisse der Objekterkennungen umfasst. Dabei können auch Verfahren der Künstlichen Intelligenz usw. eingesetzt werden, um ein möglichst zuverlässiges Ergebnis zu erhalten. Das Verfahren ergibt den Vorteil, dass eine rechentechnisch aufwändige Bildanalyse nur durchgeführt wird, wenn zuvor mit rechentechnisch vergleichsweise einfachen Mitteln eine große Abweichung der Bildinhalte festgestellt worden ist.
Abhängig von dem sich ergeben habenden Ergebnis kann die noch eine weitere Aktion ein Neustarten des Verfahrens usw. umfassen. Das Neustarten kann ein automatisches Neustarten beruhend auf dem Ergebnis der Bildanalyse und dem nach dem Ereignis erkannten Objekt umfassen.
Die Aufgabe wird auch gelöst durch ein Haushaltsgargerät, das dazu eingerichtet ist, das obige Verfahren durchzuführen bzw. ablaufen zu lassen. Das Haushaltsgargerät kann analog zu dem ausgebildet werden und weist die gleichen Vorteile auf.
So ist es eine Ausgestaltung, dass das Haushaltsgargerät einen mittels einer Tür verschließbaren Garraum, mindestens eine in den Garraum gerichtete Kamera und eine Datenverarbeitungseinrichtung zum Auswerten der mittels der mindestens einen Kamera aufgenommenen Bilder auf einen Garfortschritt von in dem Garraum befindlichem Gargut aufweist.
Die Datenverarbeitungseinrichtung kann beispielsweise eine eigenständige Datenverarbeitungseinrichtung sein oder kann funktional in eine Steuereinheit des Haushaltsgargeräts integriert sein.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine vereinfachte Skizze eines Haushaltsgargeräts; und
Fig.2 zeigt einen möglichen Ablauf des erfindungsgemäßen Verfahrens.
Fig.1 zeigt Schnittdarstellung in Seitenansicht eine Skizze eines Haushaltsgargeräts in Form eines Backofens 1 mit einem heizbaren Garraum 2, deren frontseitige Beschickungsöffnung durch eine Tür 3 verschließbar ist. Die verschlossene Tür lässt sich durch einen Türöffnungssensor 4, z.B. einen Mikroschalter, der mit einer Steuereinrichtung 5 verbunden ist, erkennen. Die Steuereinrichtung 5 ist außerdem mit einer in den Garraum 3 gerichteten Kamera 6 verbunden. Gargut G kann in verschiedenen Einschubebenen E1 , E2, E3 im Garraum 3 angeordnet werden. In einem oberen Bereich des Garraums 3 vorhandene Beleuchtungsmittel (o. Abb.) dienen der Beleuchtung des Garraums 3 und des Garguts. Je höher die Einschubebene E1 bis E3 ist, desto stärker wird das Gargut G beleuchtet und erscheint damit umso heller. Auf welcher der Einschubebenen E1 bis E3 das Gargut G angeordnet ist (hier: auf Einschubebene E2), lässt sich durch Auswertung der von der Kamera 6 aufgenommenen Bilder automatisch feststellen.
Die Steuereinrichtung 5 ist vorliegend außer zur Steuerung eines Garablaufs auch dazu eingerichtet, das erfindungsgemäße Verfahren ablaufen zu lassen, das im Folgenden beispielhaft dazu verwendet wird, einen Garfortschritt, insbesondere einen Bräunungsgrad, des Garguts G festzustellen.
Fig.2 zeigt einen möglichen Ablauf des erfindungsgemäßen Verfahrens: In einem Schritt S1 wird der Garraum 3 mit dem Gargut G bestückt, werden Garparameter wie eine Garraumtemperatur, eine Heizart (z.B. Oberhitze, Heißluft usw.) usw. eingestellt, ggf. im Rahmen eines automatischen Garprogramms, wird die Tür 2 geschlossen und wird der Garablauf gestartet.
In einem Schritt S2 werden nun die Bild(aufnahme)parameter der Kamera 6 automatisch eingestellt. In einem folgenden Schritt S3 wird überprüft, ob ein vorgegebenes Ereignis, hier: ein Türöffnungsvorgang (Tür 2 öffnen und wieder schließen) eingetreten ist. Ist dies nicht der Fall ("N"), werden in einem Schritt S4 mit diesen Bildparametern, und also ohne deren automatische Anpassung an Bildänderungen, weitere Bilder des Garguts G aufgenommen und abgespeichert. Aus dieser Bildfolge wird auf grundsätzlich bekannte Weise der Garfortschritt, z.B. ein Fortschritt eines Bräunungsgrads, ermittelt. Wird ein gewünschter Ziel- Bräunungsgrad erreicht, wird an den Nutzer ein Hinweis ausgegeben und/oder der Garablauf beendet.
Falls jedoch ein Türöffnungsvorgang festgestellt wird ("J"), wird danach in einem Schritt S5 ein weiteres Bild unter den gleichen Bildparametern wie vor dem Türöffnungsvorgang aufgenommen.
In einem folgenden Schritt S6 wird anhand dieses Bilds und des letzten vor dem Türöffnungsvorgang aufgenommenen Bilds eine Differenzanalyse durchgeführt. Liegt die sich daraus ergebende Bewertungszahl unterhalb eines ersten Schwellwerts Thr1 ("J"), wird geschlossen, dass sich diese beiden Bilder - zumindest für den Zweck der Überwachung des Garfortschritts - praktisch nicht unterscheiden. In diesem (ersten) Fall wird, wie gezeigt, zurück zu Schritt S3 oder zu Schritt S4 zurückverzweigt und folgend Bilder mit den bereits zuvor in Schritt S2 festgelegten Bildparametern aufgenommen.
Liegt die Bewertungszahl oberhalb des ersten Schwellwerts Thr1 ("N"), wird zu Schritt S7 verzweigt, in dem überprüft wird, ob die Bewertungszahl unterhalb eines zweiten Schwellwerts Thr2 liegt oder nicht. Ist dies der Fall ("J"), wird geschlossen, dass sich diese beiden Bilder zwar für den Zweck der Überwachung des Garfortschritts etwas unterscheiden, aber dennoch das gleiche Gargut ohne Umsetzen, Wenden, Verändern usw. zeigen. Dies kann z.B. der Fall sein, wenn ein Nutzer das Gargut G auf eine die Gargutebene E3 verbracht hat. In diesem (zweiten) Fall wird zu Schritt S2 zurückverzweigt und die Bildparametern neu eingestellt. Folgende Bilder werden mit den neu eingestellten Bildparametern aufgenommen und an die Bildfolge vor der Türöffnung angeschlossen.
Liegt die Bewertungszahl oberhalb des zweiten Schwellwerts Thr2 ("N"), wird geschlossen, dass die beiden Bilder nicht mehr das gleiche Gargut zeigen oder zwar das gleiche Gargut zeigen, aber dieses so verändert worden ist, dass sich eine Überwachung des Bräunungsfortschritts durch Zusammenlegung der Bildfolgen vor und nach dem Ereignisse nicht sinnvoll ist. Dies kann z.B. der Fall sein, wenn ein Nutzer das Gargut G gewendet, bedeckt entnommen oder ausgetauscht hat. In diesem (dritten) Fall wird in einem Schritt S8 mindestens eine weitere Aktion ausgelöst, z.B. die Überwachung des Bräu- nungsfortschritts neu gestartet, beispielsweise indem zurück Schritt S2 zurückverzweigt wird, ohne die Bildfolge an die vor der Türöffnung aufgenommene Bildfolge anzuschließen oder, wie gezeigt, das Verfahren abgebrochen wird.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei- spiel beschränkt.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1 Backofen
2 Garraum 3 Tür
4 Türöffnungssensor
5 Steuereinrichtung
6 Kamera
E1-E3 Einschubebenen G Gargut
S1-S8 Verfahrensschritte

Claims

PATENTANSPRÜCHE
1. Verfahren (S1-S8) zum Überwachen eines in einem Garraum (3) eines Haushaltsgargeräts (1) befindlichen Garguts (G) während eines Betriebsablaufs, insbesondere Garablaufs, anhand von mittels mindestens einer Kamera (6) aufgenommenen Folge von Bildern, bei dem mit Beginn des Betriebsablaufs automatisch Bildparameter der Kamera (2) eingestellt werden (S2) und im folgenden Verlauf des Garablaufs die anfänglich eingestellten Bildparameter zumindest bis zum Eintreten mindestens eines vorgegebenen Ereignisses von der Kamera (6) beibehalten werden (S3).
2. Verfahren (S1-S8) nach Anspruch 1 , bei dem anhand eines Vergleichs eines vor dem Ereignis aufgenommenen Bilds und eines nach dem Ereignis aufgenommenen Bilds überprüft wird, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben (S6, S7), und
- falls dies nicht der Fall ist, weitere Bilder ohne erneute Einstellung der Bildparameter aufgenommen werden (S4),
- falls sich die Bilder über das erste Maß, aber nicht das zweite Maß, hinaus geändert haben, folgend Bildparameter der Kamera einmalig erneut automatisch eingestellt werden (S2) und mit den neu eingestellten Bildparametern weitere Bilder aufgenommen werden (S4), und
- falls sich die Bilder über das zweite Maß hinaus geändert haben, mindestens eine weitere Aktion durchgeführt wird (S8).
3. Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis eine Türöffnung der Tür des Garraums (3) umfasst.
4. Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis das vorgegebene Ereignis einen übermäßigen Anstieg oder Abfall mindestens eines Messwerts mindestens eines nicht-bildgebenden Sensors umfasst.
5. Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis eine sprunghafte Änderung von Messwerten mindestens eines nicht-bildgebenden Sensors umfasst.
6. Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis ein Ablaufen einer vorgegebenen Zeitdauer umfasst.
7. Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem das vorgegebene Ereignis eine merkliche Änderung von Bildinhalten von mit der Kamera (6) zeitlich hintereinander aufgenommenen Bildern umfasst.
8. Verfahren (S1-S8) nach einem der Ansprüche 2 bis 7, bei dem zum Feststellen, ob sich die Bilder durch das Ereignis über das mindestens eine vorgegebene Maß hinaus geändert haben (S6, S7) eine Differenzanalyse durchgeführt wird und eine sich aus der Differenzanalyse ergebende Bewertungszahl mit dem ersten Maß (S5) und ggf. dem zweiten Maß (S6) verglichen wird.
9. Verfahren (S1-S8) nach Anspruch 8, bei dem als Bewertungszahl ein Mittelwert von Differenzen entsprechender Bildpunktwerte mindestens eines Bildkanals der jeweiligen Bilder berechnet wird und die Bildparameter der Kamera neu eingestellt werden, wenn mindestens ein Mittelwert mindestens einen Schwellwert überschreitet.
10. Verfahren (S1-S8) nach Anspruch 8, bei dem als Bewertungszahl ein Korrelationskoeffizient von Bildpunktwerten mindestens eines Bildkanals der jeweiligen Bilder berechnet wird und die Bildparameter der Kamera neu eingestellt werden, wenn mindestens ein Korrelationskoeffizient mindestens einen Schwellwert erreicht oder überschreitet.
11 . Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche, bei dem eine Objektanalyse zumindest in dem ersten der aufgenommenen Bildern durchgeführt wird und das Überprüfen, ob sich die Bilder durch das Ereignis über ein erstes, geringeres vorgegebenes Maß oder ein zweites, größeres vorgegebenes Maß hinaus geändert haben, nur anhand von durch die Objektanalyse bestimmten Bildausschnitten durchgeführt wird.
12. Verfahren (S1-S8) nach einem der Ansprüche 2 bis 11, bei dem die mindestens eine weitere Aktion ein Durchführen einer Bildanalyse daraufhin umfasst, ob das Gargut
- umgestellt,
- verändert,
- entnommen und/oder
- ausgetauscht worden ist.
13. Verfahren (S1-S8) nach Anspruch 12, bei dem dann, wenn als Ergebnis der Bildanalyse festgestellt worden ist, dass das Gargut umgestellt, verändert, entnommen und/oder ausgetauscht worden ist, das Verfahren (S1-S8) neu begonnen wird.
14. Haushaltsgargerät (1), aufweisend einen mittels einer Tür (2) verschließbaren Garraum (3), mindestens eine in den Garraum (3) gerichtete Kamera (6) und eine Datenverarbeitungseinrichtung (5) zum Auswerten der mittels der mindestens einen Kamera (6) aufgenommenen Bilder auf einen Garfortschritt von in dem Garraum (3) befindlichem Gargut (G), wobei das Haushaltsgargerät (1) dazu eingerichtet ist, das Verfahren (S1-S8) nach einem der vorhergehenden Ansprüche ablaufen zu lassen.
PCT/EP2022/068892 2021-08-04 2022-07-07 Verfahren zum überwachen von gargut und haushaltsgargerät WO2023011841A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22740886.1A EP4381234A1 (de) 2021-08-04 2022-07-07 Verfahren zum überwachen von gargut und haushaltsgargerät
CN202280054228.1A CN117769630A (zh) 2021-08-04 2022-07-07 用于监视待烹饪食物的方法和家用烹饪器具

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021208447.8A DE102021208447A1 (de) 2021-08-04 2021-08-04 Verfahren zum Überwachen von Gargut und Haushaltsgargerät
DE102021208447.8 2021-08-04

Publications (1)

Publication Number Publication Date
WO2023011841A1 true WO2023011841A1 (de) 2023-02-09

Family

ID=82492616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/068892 WO2023011841A1 (de) 2021-08-04 2022-07-07 Verfahren zum überwachen von gargut und haushaltsgargerät

Country Status (4)

Country Link
EP (1) EP4381234A1 (de)
CN (1) CN117769630A (de)
DE (1) DE102021208447A1 (de)
WO (1) WO2023011841A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007048834A1 (de) * 2006-10-17 2008-04-24 BSH Bosch und Siemens Hausgeräte GmbH Hausgerätevorrichtung mit wenigstens einer Kamera
EP2444733A2 (de) 2009-06-15 2012-04-25 LG Electronics Inc. Kochgerät und steuerverfahren dafür
DE102016215550A1 (de) 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut
EP3608593A1 (de) 2018-08-10 2020-02-12 Electrolux Appliances Aktiebolag Kochsystem
DE102019113281A1 (de) 2019-05-20 2020-11-26 Miele & Cie. Kg Belichtungsregelung von Gargütern

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019200583A1 (de) 2018-12-21 2020-06-25 BSH Hausgeräte GmbH Gargerät und Verfahren zum Betreiben eines Gargeräts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007048834A1 (de) * 2006-10-17 2008-04-24 BSH Bosch und Siemens Hausgeräte GmbH Hausgerätevorrichtung mit wenigstens einer Kamera
EP2444733A2 (de) 2009-06-15 2012-04-25 LG Electronics Inc. Kochgerät und steuerverfahren dafür
DE102016215550A1 (de) 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut
EP3608593A1 (de) 2018-08-10 2020-02-12 Electrolux Appliances Aktiebolag Kochsystem
DE102019113281A1 (de) 2019-05-20 2020-11-26 Miele & Cie. Kg Belichtungsregelung von Gargütern

Also Published As

Publication number Publication date
DE102021208447A1 (de) 2023-02-09
EP4381234A1 (de) 2024-06-12
CN117769630A (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
EP3500798B1 (de) Feststellen eines bräunungsgrads von gargut
EP3446040B1 (de) Verfahren zum feststellen einer reinigungsnotwendigkeit eines gewerblichen gargeräts und gewerbliches gargerät
DE102019120008B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102016107617A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
EP3715721A1 (de) Verfahren zum betreiben eines gargeräts und gargerät
DE2951434A1 (de) Heizvorrichtung
DE202011002570U1 (de) Vorrichtung zur automatischen Wärmebehandlung von Lebensmitteln
DE102019107834A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019200583A1 (de) Gargerät und Verfahren zum Betreiben eines Gargeräts
WO2020074474A1 (de) Verfahren zum behandeln von gargut und haushalts-gargerät
DE102019107819A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE10353299B4 (de) Verfahren zur Regelung einer Heizeinrichtung zur Nahrungsmittelzubereitung und geeignete Vorrichtung
DE102019107846A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
WO2022078839A1 (de) Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts
EP3742051B1 (de) Belichtungsregelung von gargütern
DE102019107828B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
EP4381234A1 (de) Verfahren zum überwachen von gargut und haushaltsgargerät
DE102019107859A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019107815B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
WO2021083738A1 (de) Bestimmen eines ziel-verarbeitungszustands eines zu behandelnden garguts
BE1030426B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
WO2024074365A1 (de) Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera
BE1030431B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
DE102023209367A1 (de) Betreiben eines Gargeräts mit einer digitalen Garraum-Farbkamera
DE102023106671A1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22740886

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280054228.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022740886

Country of ref document: EP

Effective date: 20240304