WO2022148593A1 - Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät - Google Patents

Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät Download PDF

Info

Publication number
WO2022148593A1
WO2022148593A1 PCT/EP2021/084786 EP2021084786W WO2022148593A1 WO 2022148593 A1 WO2022148593 A1 WO 2022148593A1 EP 2021084786 W EP2021084786 W EP 2021084786W WO 2022148593 A1 WO2022148593 A1 WO 2022148593A1
Authority
WO
WIPO (PCT)
Prior art keywords
browning
cooking
image
food
cooked
Prior art date
Application number
PCT/EP2021/084786
Other languages
English (en)
French (fr)
Inventor
Julien Adam
Kadir NIGAR
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Priority to EP21836083.2A priority Critical patent/EP4274997A1/de
Priority to CN202180089596.5A priority patent/CN116802681A/zh
Priority to US18/265,728 priority patent/US20240044498A1/en
Publication of WO2022148593A1 publication Critical patent/WO2022148593A1/de

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Definitions

  • the invention relates to a method for determining the end of a cooking time for food to be cooked in a cooking chamber of a household cooking appliance, in which a brightness value-separable image of the cooking chamber is generated at the beginning of a cooking process, and the brightness value-separable image is segmented using its color coordinates which results in food-to-be-cooked pixels associated with the food to be cooked and surrounding pixels associated with an area around the food-to-be-cooked, a user is offered the option of entering a target degree of browning, images of the cooking chamber are taken at different times during a cooking process, in these images using the food to be cooked -Pixels a respective actual degree of browning is calculated, the actual degree of browning is compared with the target degree of browning and the food to be cooked is treated in the cooking chamber until the actual degree of browning has reached the target degree of browning.
  • the invention also relates to a household cooking appliance designed to carry out the method. The invention is particularly advantageously applicable to baking ovens.
  • EP 3477206 A1 discloses a cooking appliance comprising a cooking chamber and an image capturing device for capturing an image of food within the chamber.
  • a computing device can be configured to calculate a parameter for the food based on the captured image, which can be displayed on a user interface.
  • WO 2019/091741 A1 discloses an oven that detects whether food in a cooking chamber is cooked, wherein a control unit that receives data provided by a sensor determines color data based on this data and by interpreting said data Color data determines whether the food is fully cooked.
  • a control unit that receives data provided by a sensor determines color data based on this data and by interpreting said data Color data determines whether the food is fully cooked.
  • an RGB image of the cooking chamber is converted into an L*a*b image, in (a*, b*) color plane upper and lower threshold values for the color coordinates a* and b* are specified for those lying within the threshold values
  • Pixels an averaged brightness value is calculated, the averaged brightness value being compared as a measure of browning of the food with a target browning value. It is the object of the present invention to at least partially overcome the disadvantages of the prior art and in particular to provide a possibility of determining the end of a cooking time of a cooking process particularly reliably using a target degree
  • the object is achieved by a method for determining the end of a cooking time for food to be cooked in a cooking chamber of a household cooking appliance, in which at the beginning of a cooking process a light value-separable image of the cooking chamber is generated, the light value-separable image is segmented using the color coordinates Cluster analysis is carried out, which results in food-to-be-cooked pixels associated with the food to be cooked and surrounding pixels associated with an area around the food-to-be-cooked, a user is offered to enter a target degree of browning and images of the cooking chamber are taken at different times during a cooking process, in these images using the food to be cooked -pixels a respective actual degree of browning is calculated and the actual degree of browning is compared to the target degree of browning and the food to be cooked is treated in the cooking chamber until the actual degree of browning has at least approximately reached the target degree of browning.
  • This method has the advantage that cooking product pixels in a recorded image can be separated particularly reliably from surrounding pixels with a comparatively low computing effort.
  • the use of a cluster analysis is particularly advantageous for this purpose, since this results in a significantly better distinction between cooking item pixels and surrounding pixels, in particular if the cooking item has a similar color, in contrast to, for example, segmentation by—particularly fixed threshold values for the color coordinates like its surroundings, e.g. light brown food and baking paper.
  • an actual degree of browning can be compared particularly reliably with a target degree of browning.
  • the procedure can advantageously be carried out independently of the knowledge of the type of food being cooked in the cooking chamber.
  • the domestic cooking appliance can be an oven with at least one heat radiator (e.g. tubular heater or IR radiator), a microwave oven, a steamer or any combination thereof, e.g. an oven with a microwave and/or steamer function.
  • heat radiator e.g. tubular heater or IR radiator
  • microwave oven e.g. tubular heater or IR radiator
  • steamer e.g. an oven with a microwave and/or steamer function.
  • Generating an image of the cooking chamber "at the beginning" of a cooking process includes using a camera, for example, to take an image of the cooking chamber before the start of the cooking process, at the start of the cooking process or shortly after the start of the cooking process (e.g. within a minute).
  • a lightness-separable image is understood to be an image constructed in the form of pixels, in which the color coordinates of the individual pixels are expressed as coordinates of a color space in which a ("brightness") coordinate corresponds to a brightness ("lightness").
  • a color space can, for example, be the L*a*b* color space according to EN ISO 11664-4 (also referred to as CIELAB or CIEL*a*b*) with the lightness component or coordinate L*.
  • Performing the segmentation on the image that can be separated in terms of brightness value includes in particular an automatic classification of the pixels, in particular all pixels, in a color plane of the color space, ie in two or more subgroups without considering the brightness value coordinate.
  • a particularly good, image-content-dependent separation between the cooking item pixels and the surrounding pixels of the cooking item can be achieved by means of the cluster analysis.
  • an assignment of the pixels in the recorded image to the respective segments is obtained, so that it is known which of the pixels are cooking food pixels and which are surrounding pixels.
  • Color coordinates are understood to mean coordinates of the light value-separable image which are not or do not represent any light value coordinates. In the L*a*b* color space, this corresponds to the coordinates a* and b*, etc. In the following, all coordinates of a (full) color space (eg L*, a* and b*) are used to distinguish them from the color coordinates as "Color space coordinates".
  • segmentation is carried out on the light value-separable image based on the color coordinates therefore includes segmentation being carried out in a "color plane" spanned by the color coordinates, ie the segmentation only considers or takes into account the values of the pixels in this color plane .
  • the image recorded by a camera or an analog color image sensor can originally be in a different color space than in a color space with its own brightness value coordinate, e.g. as an RGB image, which makes it easier to use conventional color cameras for image recording.
  • the recorded image is not present as an image that can be separated in terms of brightness value, it is converted pixel by pixel into an image that can be separated in terms of brightness value and is thereby generated.
  • the recorded image can also be recorded directly in the form of a light value separable image and thereby generated. It is thus a possible embodiment that at the beginning of the cooking process, an RGB image of the cooking chamber is recorded and converted into an image that can be separated by light value.
  • the fact that a user is offered to enter a target degree of tanning can include that a user is asked in color (e.g. using a display of selectable brown colors on a screen or "display") and/or using character strings (e.g. "slight", “with - tel” and “well done", using a number scale, for example between “0” and “10", etc.) a selection is offered to set a degree of browning.
  • the colored browning scale can be permanently specified, e.g. based on a type of cooking product entered by the user.
  • the colored browning scale can be precalculated on the basis of the image recorded at the beginning or initially, which results in a particularly good assessment of the target browning degrees that can be achieved in the course of the cooking process.
  • images of the cooking space are taken at different times during a cooking process includes, in particular, that the images taken during the cooking process
  • the images are analogous to the image recorded at the beginning or initially in a color space that can be separable in terms of brightness value, because their pixels are already originally in this color space or have been transformed into a color space that can be separated in terms of brightness value.
  • This has the advantage that reaching the target degree of browning can be detected particularly reliably.
  • the actual degree of browning and the target degree of browning thus correspond to respective points in the lightness-separable color space, including a value on the lightness coordinate.
  • the target degree of browning is also possible to describe the target degree of browning as a color point in the originally recorded color space (eg the RGB color space) and to leave the images recorded during the cooking process (after the initial image) in the originally recorded color space. This saves on computational effort.
  • the originally recorded color space eg the RGB color space
  • the fact that a respective actual degree of browning is calculated in these images using the cooking item pixels includes in particular that in these images a value averaged over the respective color space coordinates of the cooking item pixels is calculated and the actual degree of browning and the actual degree of browning color point corresponds to these averaged values.
  • the fact that the actual degree of browning is compared with the target degree of browning includes in particular that a distance between the actual degree of browning and the target degree of browning is calculated in the color space.
  • the fact that the target degree of browning is at least approximately reached corresponds to reaching the end of the cooking time.
  • at least one action can be triggered, e.g. the cooking process is ended, the temperature of the cooking chamber is lowered to a warming temperature and/or a message is output to a user, e.g. a beep, a display on the screen 8 or a message be output on a mobile device of the user.
  • That the food to be cooked is treated in the cooking chamber until the target degree of browning is at least approximately reached can include that the food to be cooked is treated in the cooking chamber until the difference between the actual degree of browning and the target degree of browning is a predetermined one distance reached or fallen short of.
  • an RGB image of the cooking chamber is recorded and converted into an L*a*b* image—in particular pixel by pixel.
  • An L*a*b* representation has the advantage that a subsequent segmentation using only the color components (in the case of L*a*b* or CIELAB the color space components a* and b*) is particularly simple and reliable leaves.
  • the original recording as an RGB image is advantageous since many commercially available cameras are RGB cameras.
  • the L*a*b* color space describes all perceivable colors. It uses a three-dimensional color space in which the lightness or lightness coordinate L* is perpendicular to the color plane (a*,b*).
  • the a* coordinate indicates the chromaticity and color intensity between green and red and the b* coordinate indicates the chromaticity and color intensity between blue and yellow.
  • L* (“Lightness") can be e.g. B. accept values between 0 and 100 and a* and b* can be varied between e.g. -128 and 127. In the following, automatic segmentation is only performed in the color plane (a*,b*).
  • the segmentation is performed using a cluster analysis, in particular using a k-means-type algorithm.
  • a cluster analysis in particular using a k-means-type algorithm.
  • two or more focal points are set randomly in the (a*; b*) color plane under consideration and then the pixels of the recorded image (in its brightness-separated color space representation) are assigned to the focal points based on their color plane coordinates.
  • the k-means-like algorithm uses two focal points, which is particularly advantageous for differentiating between cooking item pixels and surrounding pixels.
  • the k-means-like algorithm can be a k-means algorithm (as such) or an algorithm derived from it (e.g. a k-median, k-means++ or k-medoids algorithm etc.) be.
  • the k-means algorithm can be implemented as Lloyd's algorithm or MacQueen's algorithm, for example.
  • the cluster analysis can be performed using an expectation maximization algorithm.
  • the k-means algorithm can be viewed as a special case of an expectation maximization algorithm.
  • the trained neural network can, for example, be what is known as a “convolutional neural network” (also referred to as CNN or ConvNet), in particular a deep CNN (“deep convolutional neural network”), advantageously a so-called “deep convolutional semantic segmentation neural network”. ".
  • An example of such a network is the so-called SegNet, as described e.g. in the article "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation” by Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017.
  • the k-means-like algorithm is followed by an opening operation in a color plane of the image that can be separated in terms of brightness value.
  • a "noisy area” can be understood to mean an area in the recorded image in which cooking item pixels and surrounding pixels are largely unconnected (“noisy"), so that this area cannot be reliably assigned to either the cooking item or the surrounding area.
  • So-called erosion and/or dilatation operators can be used, for example, in a manner known in principle, to carry out the opening operation.
  • An additional or alternative configuration to the use of the k-means-like algorithm consists in carrying out the segmentation using a user-guided "region-growing algorithm". This advantageously enables a particularly reliable separation of cooking item and surrounding pixels, since the cooking item area can be recognized by a user and entered into the domestic cooking appliance. This is particularly useful, for example, if the automatic segmentation is based on only two focal points and the food is placed on baking paper and the color of the baking paper is much closer to the color of the food than the baking tray, or if food of a significantly different color is placed in the cooking space have been.
  • a user can, for example, see the recorded image (in the full color space) and be given the opportunity to identify certain pixels or image areas as belonging to the food, for example by tapping on the image areas on a touch-sensitive screen (“touch screen”). ) or by a selection using a cursor.
  • An area is then defined by the region-growing algorithm in the color plane (eg the (a*; b*) color plane) around the touching point or touching area, the pixels of which have the same or similar color to the color of the touching point or touching area has, and the pixels located in this area are categorized as food pixels.
  • the region-growing algorithm continues to check the pixels that are then adjacent to the pixels taken in until there are no more pixels that meet the condition that they are within the specified distance R.
  • the area expanded in this way can be displayed to the user in the image, and the user can then discard the area and/or define further image areas or pixels as belonging to the food to be cooked. It is a further development that the user can adjust the distance R in order to generate the surface more sensitively (smaller R) or less sensitively (larger R).
  • the segmentation follows or can follow the k-means-like algorithm with a user-managed "region-growing algorithm".
  • the user can use the region-growing algorithm to assign an image area incorrectly assigned to the food to be cooked to the environment using the k-means-like algorithm.
  • a browning curve (“predicted browning curve") is calculated for the current item to be cooked.
  • a well-fitting prediction browning curve of the item to be cooked can be created for many applications even without knowledge of the type of item to be cooked.
  • the real browning curves advantageously range from uncooked to fully cooked, possibly even to overcooked.
  • the predicted browning curve can in turn be used, for example, to offer a user various target browning degrees, which are defined by the points of the predicted browning curve, for selection, adapted to the food to be cooked.
  • a user can be offered, for example, to enter a target degree of tanning using color fields that are filled with colors of spaced points of the prediction tanning curve are.
  • a prediction browning curve is understood in particular to mean the calculated future ("predictive") development of the degree of browning of the surface of the food to be cooked in the color space.
  • the database can be a component of the cooking appliance or can be kept in an external instance that can be communicatively coupled to the cooking appliance, such as a network server or a cloud memory.
  • the prediction browning curve is calculated by a linear equation system being created for the individual (time) points of the prediction curve, which links them via matrix factors with the initial averaged color space coordinates of the cooking product pixels and the matrix factors by means of a - in particular linear - are determined from the averaged color space coordinates of the cooking item pixels of the real browning curves stored in the database.
  • a user can now use the predicted tanning curve to select a target degree of tanning among the color points ⁇ are offered for selection.
  • All calculated tanning points of the prediction tanning curve a selection from the calculated degrees of tanning or - for example by interpolation to color points that lie between calculated degrees of tanning of the prediction tanning curve - more than the calculated degrees of tanning can be displayed in color in color fields.
  • individual target degrees of browning are displayed on a screen as respective color fields or boxes and a user is offered the option of displaying additional fields of target degrees of browning that lie between the previously displayed degrees of browning.
  • a corresponding character string can be displayed associated with the boxes, either near the color fields or in the color fields.
  • a user-friendly selection that the user is additionally or alternatively offered the option of entering a target degree of browning using character-based descriptions of the target degree of browning, for example using texts such as “light”, “medium “, dark” or using numbers such as "1", , i.e. without a colored display of the selectable target degrees of browning.
  • the originally recorded image is also displayed. It is a design tion that when a user selects a target degree of browning, the item to be cooked is displayed in the image as browned with the selected target degree of browning, for example in the sense of a “virtual reality”. The higher the selected target browning level, the browner the food is displayed, etc.
  • a user displays real images and/or real browning curves of the same or similar food to be cooked (e.g. a pizza margherita) with different real degrees of browning a database and selects the target degree of tanning based on a selection of an image from the set of images with different degrees of tanning retrieved from the database.
  • a respective degree of browning is stored in the images retrieved from the database, which can then be adopted as the target degree of browning of the current food to be cooked.
  • the degrees of browning of these images can be calculated for carrying out the method.
  • This development has the advantage that the target degree of browning can be determined using recordings of actually browned items to be cooked, which show a more realistic image of the item to be cooked than a simple mathematical superimposition of a degree of browning of the still untanned current item to be cooked.
  • the food to be cooked is treated in one embodiment in the cooking chamber until the target degree of browning in the color space differs from an averaged current one Actual tanning value has passed a minimum.
  • an image of the item to be cooked is recorded at specified, in particular regular, intervals, an average image point is formed in the light value-separable color space based on the image points for the item to be cooked and with the target degree of browning (ie with the target degree of browning corresponding color point in the color space).
  • This configuration is particularly advantageous if the actual degree of browning does not exactly reach the target degree of browning, so that the cooking process - slightly after the ideal termination time - is nevertheless aborted if the actual degree of browning reaches the target degree of browning "so well as possible". It is one embodiment that after the start of the cooking process, images of the current food to be cooked are recorded at predetermined time intervals, the actual degree of browning of the food is determined from these images using the food-to-be-cooked pixels, and the prediction browning curve for the actual degree of browning the current food to be cooked is recalculated and the target degree of browning is adjusted from the prediction browning curve for the current food.
  • the target degree of tanning can be adjusted in accordance with the probable customer request.
  • the target degree of browning can be adjusted with or without user confirmation or renewed user input.
  • the "newly" calculated prediction tanning curve can also be calculated, for example, using the linear equation system described above and a regression method, the values of the color space coordinates L*, a* and b* for the images already recorded then being known. If, for example, 10 images have already been taken at times t1, . . . , t10 before the prediction tanning curve is recalculated, the above equation system can be used as be formulated, where the values of the color space coordinates for the Times t1, ...., t10 are known. The matrix coefficients k can again be found by means of a regression analysis using the real tanning curves stored in the database.
  • the new calculated prediction tanning curve is shorter than the initially calculated prediction tanning curve (i.e. the most brown color space points of the initially calculated prediction tanning curve includes), a user selected target tanning level relative to a ratio of the lengths of both predicted tanning curves to be shifted on the "new" predicted tanning curve.
  • the new prediction browning curve only includes browning levels that correspond to the tanning degrees "1" to "8" of the initially calculated prediction tanning curve, a new target tanning degree "6" can be selected on the new prediction tanning curve, the color of which corresponds to the target tanning degree selected on the basis of the originally calculated prediction tanning curve "5" corresponds.
  • the target degree of tanning selected on the basis of the initially calculated prediction tanning curve can no longer be achieved. This can be the case, for example, if the food currently being cooked remains comparatively light even after a longer cooking time (e.g. fish), but a user, based on the initially calculated prediction browning curve (which is independent of the type of food currently being cooked), has a comparatively brown color target browning level selected. In this case, for example, a message or a signal can be output to the user that the desired target degree of tanning cannot be achieved and the user can then enter a new target degree of tanning using the new prediction tanning curve. Alternatively or additionally, a target degree of tanning (e.g. "medium”) selected on the basis of the initially calculated prediction tanning curve can be automatically adapted to the new prediction tanning curve.
  • a target degree of tanning e.g. "medium”
  • a household cooking appliance having a cooking chamber, at least one camera directed into the cooking chamber, a graphical user interface and a data processing device, the household appliance being set up to use the at least one color image sensor to determine a brightness value at the beginning of a cooking process - to generate a separable image of the cooking chamber, to use the data processing device to segment the brightness-value-separable image based on the non-brightness color coordinates, which results in cooking item pixels belonging to the item to be cooked and surrounding pixels belonging to an area surrounding the item to be cooked, a user is offered via the graphical user interface to enter a target degree of browning and to use the data processing device to take images of the cooking chamber at intervals during a cooking process, to calculate a respective actual degree of browning in these images based on the cooking product pixels and the actual degree of browning to compare with the target degree of browning and the food to be cooked is treated in the cooking chamber until the actual degree of browning has at least approximately reached the target degree of browning.
  • the household cooking appliance can be designed analogously to the method and vice versa, and has the same advantages.
  • Food to be cooked placed in the cooking chamber can be treated by means of at least one food treatment device, e.g. by thermal radiation (produced e.g. by tubular heating elements, IR radiators, etc.), microwaves (produced by a microwave generator) and/or steam, in particular superheated steam or "Super Heated Steam” (e.g. generated by an evaporator).
  • thermal radiation produced e.g. by tubular heating elements, IR radiators, etc.
  • microwaves produced by a microwave generator
  • steam in particular superheated steam or "Super Heated Steam” (e.g. generated by an evaporator).
  • the at least one color image sensor can include at least one color camera that is sensitive in the visible spectrum and triggers in a pixel-like manner, or another color image sensor.
  • the color image sensor can originally generate RGB images.
  • the graphical user interface may include, for example, a cursor-actuable band/or color touch-sensitive screen ("touch screen").
  • a light value separable image of the cooking chamber can be generated by means of the at least one color image sensor
  • the color image sensor originally generates a light value separable image or that the color image sensor originally creates an image that cannot be bright value separable (e.g. RGB image) is generated, which is converted or converted by the data processing device into a light value separable image.
  • FIG. 1 shows a sketch of a domestic cooking appliance as a sectional side view
  • FIG. 2 shows a possible sequence of a method for determining the end of a cooking time for food to be cooked in a cooking chamber of the household cooking appliance from FIG. 1;
  • FIG. 3 shows a plan view of a screen 8 of the household cooking appliance from FIG. 1, which is designed with three color fields for selecting a target degree of browning;
  • FIG. 4 shows a plan view of a screen 8 of the household cooking appliance from FIG. 1, which is designed with six color fields for selecting a target degree of browning
  • the cooking chamber 1 shows a household cooking appliance in the form of an oven 1 with a cooking chamber 2 whose loading opening on the front can be closed by a door 3 .
  • the cooking chamber 2 can be heated here by radiant heaters in the form of upper heating element 4 and lower heating element 5 shown as an example.
  • the camera 6 is coupled in terms of data technology to a data processing device 7 , the data processing device 7 also being coupled in terms of data technology to a graphical user interface in the form of a color screen 8 .
  • the household cooking appliance can also have lighting means for illuminating the cooking chamber 2 (not shown).
  • FIG. 2 shows a possible sequence of a method for determining the end of a cooking time for food G to be cooked in a cooking chamber of the oven 1.
  • a step SO the food to be cooked G is placed in the cooking chamber 2 and the process sequence is started via the screen 8 or another actuating device of the oven 1 .
  • a step S 1 an RGB image of the cooking chamber, which also shows the item to be cooked G, is recorded by the camera 5 and transmitted to the data processing device 7 .
  • a step S2 the RGB image is converted into an L*a*b* image using the data processing device 7 .
  • step S3 the data processing device 7 uses a k-means algorithm with two performed. As a result, each of the pixels is classified as a cooking item pixel or as a surrounding pixel.
  • a step S4 the data processing device 7 performs an opening operation in the (a*; b*) color plane.
  • pixels present in areas of the image affected by noise are from the groups of food pixels and surrounding pixels
  • a user is offered the implementation of a "region growing" via the screen 8 and, if the user uses this, carried out.
  • pixels previously classified as environment pixels can be regrouped as cooking product pixels, or vice versa, in a user-controlled manner
  • step S6 mean values of the three color space coordinates L*, a* and b* are formed from the food image points by means of the data processing device 7, namely and a linear equation system is set up therefrom (step S6a).
  • step S6b a linear regression analysis is then carried out using the data processing device 7 using the linear equation system and using real browning curves of various cooking items retrieved from a (device-internal or device-external) database D, which results in the matrix coefficients of the linear system of equations.
  • step S6c a predicted browning curve for the item to be cooked G in the L*a*b* color space is calculated by the data processing device 7 using the linear equation system.
  • a step S7 several color fields are displayed to the user on the color screen 8, the colors of which correspond to spaced points of the prediction tanning curve and thus to different target degrees of tanning, as shown by way of example in FIG.
  • the color fields can be identified by text and/or numbers, eg "low”, “medium” and “through” or "1" to "10".
  • the user can now select a specific target degree of tanning, for example by touching a desired color field or by a corresponding cursor operation.
  • the target degree of browning corresponds to a corresponding target point FL * a * b * color space.
  • FIG. 3 also shows the possibility of selecting the target degree of tanning using color fields F1, F2, F5 defined in the color screen 8, which are homogeneously filled with one of the colors of the prediction tanning curve with increasing target degree of tanning here.
  • the individual points of the prediction tanning curve thus correspond to the respective degrees of tanning.
  • the user can select a target degree of tanning by tapping on a color field F1, F2 or F5 and then confirm it if necessary.
  • Descriptive texts are also available in the color fields F1, F2, F5, here: “Light” for a little cooked food G, “Medium” for a medium-brown cooked food G and “Dark” for a well or darkly cooked food G.
  • descriptive texts can also be arranged outside of the color fields, e.g. below or above.
  • a field FG for displaying an image of the item to be cooked G can also be present on the color screen 8, e.g. the image originally recorded or an image recorded during the cooking process.
  • the latter case can be present, for example, if the target degree of tanning is to be calculated using a new prediction tanning curve, as is already described in more detail above and below.
  • the food G can be colored in such a way that its color corresponds to the associated target degree of browning, e.g. in the manner of a "virtual reality" adaptation.
  • a field FE is defined in the color screen 8, which, when actuated, displays additional target degrees of tanning, as shown in FIG. 4 using the additional color fields F2, F4 and F6.
  • the cooking curtain is started in step S8 by activating the top heating element 4 and/or the bottom heating element 5.
  • the camera records an actual RGB image of the cooking chamber 2 at a point in time ti of the cooking process and converts it into a L*ä*b* image.
  • mean values of the three color space coordinates L*, a* and b* are formed on the basis of the cooking product pixels of the actual image recorded at time ti of the cooking process, viz ( ) ( ) ( ) which corresponds to an actual degree of browning in the form of an actual color point in the L*a*b* color space.
  • a distance of the actual color point F(ti) of the last recorded image from the target point F target in the L*a*b* color space is calculated. It is also checked whether the - possibly coordinate-dependent - distance reaches or falls below a predetermined value. If this is not the case ("N", ie the actual degree of browning of the item to be cooked G is still comparatively far from the target degree of browning), the process branches back to step S9. In this case, successive images are recorded by the camera 5, in particular at regular time intervals (e.g. every 10 s, 30 s or 60 s).
  • At least one action will be triggered in a step S11, e.g. the cooking process will be ended, the temperature of the cooking chamber will be lowered to a warming temperature and/or a message will be output to a user (e.g. a beep , a display on the screen 8 or a message on the user's mobile device).
  • a user e.g. a beep , a display on the screen 8 or a message on the user's mobile device.
  • step S11 a course of the distances between the actual color points F(ti) is recorded in step S11, it not being necessary to check in the alternative version whether the distance has reached or fallen below a predetermined value.
  • step S12 it is then alternatively or additionally checked whether the course has reached a minimum. If this is not the case ("N"), a branch is made back to step S9, otherwise ("Y") a transition is made to step S12. Not shown, but optional against, is the possibility of checking how often, for example, steps S9 to S11 have been run through and at regular time intervals (e.g.
  • step S6 the prediction tanning curve is recalculated analogously to step S6, but then in the linear system of equations instead of the average values of the color space coordinates the average values of the color space coordinates L * ( ti ) of the captured images at the corresponding steps or time points ti are used, insofar as ti is available for the corresponding steps or points in time, as described above.
  • a new prediction tanning curve then results. This possibility can be followed by a step similar to step S7, in which the user can adjust his target degree of tanning using the new prediction tanning curve. Alternatively, the target degree of browning can be adjusted automatically.
  • the possibility of adjusting the target degree of tanning can only be offered and possibly carried out in a further development if the new prediction tanning curve deviates noticeably from the previously calculated prediction tanning curve, e.g. because the curve deviation (e.g. calculated using the method least squares) exceeds a predetermined level and/or because the previously set target degree of tanning is no longer contained in the new prediction tanning curve.
  • the curve deviation e.g. calculated using the method least squares
  • step S8 Since the cooking process is already running, step S8 is skipped and the process goes directly to step S9.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Electric Ovens (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Ein Verfahren (S1-S12) zum Bestimmen eines Garzeitendes von in einem Garraum (2) eines Haushalts-Gargeräts (1) befindlichem Gargut (G) umfasst, dass zu Beginn eines Garvorgangs (S8) ein hellwert-separierbares Bild des Garraums (2) erzeugt wird (S1-S2), an dem hellwert-separierbaren Bild eine Segmentierung durch Clusteranalyse anhand seiner Farbkoordinaten vorgenommen wird (S3-S5), welche dem Gargut (G) zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts (G) zugehörige Umgebungs-Bildpunkte ergibt, einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben (S7), während eines Garvorgangs zeitlich beabstandet Bilder des Garraums (2) aufgenommen werden (S9), in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird (S10) und der Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad verglichen wird (S11) und das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat (S12). Ein Haushalts-Gargerät (1) ist zur Durchführung des Verfahrens ausgestaltet. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Backöfen.

Description

VERFAHREN ZUM BESTIMMEN EINES GARZEITEINDES VON GARGUT
SOWIE HAUSHALTSGARGERÄT
Die Erfindung betrifft ein Verfahren zum Bestimmen eines Garzeitendes von in einem Garraum eines Haushalts-Gargeräts befindlichem Gargut, bei dem zu Beginn eines Gar- vorgangs ein hellwert-separierbares Bild des Garraums erzeugt wird, an dem hellwert- separierbaren Bild eine Segmentierung anhand seiner Farbkoordinaten vorgenommen wird, welche dem Gargut zugehörige Gargut-Bildpunkte und einer Umgebung des Gar- guts zugehörige Umgebungs-Bildpunkte ergibt, einem Nutzer angeboten wird, einen Ziel- Bräunungsgrad einzugeben, während eines Garvorgangs zeitlich beabstandet Bilder des Garraums aufgenommen werden, in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird, der Ist-Bräunungsgrad mit dem Ziel- Bräunungsgrad verglichen wird und das Gargut so lange in dem Garraum behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad erreicht hat. Die Erfindung betrifft auch ein zur Durchführung des Verfahrens ausgestaltetes Haushalts-Gargerät. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Backöfen.
EP 3477206 A1 offenbart ein Kochgerät, das eine Kochkammer und eine Bildaufnahme- vorrichtung zum Erfassen eines Bildes eines Nahrungsmittels innerhalb der Kammer um- fasst. Eine Datenverarbeitungseinheit kann so konfiguriert werden, dass sie einen Para- meter für das Lebensmittel basierend auf dem aufgenommenen Bild berechnet, der auf einer Benutzeroberfläche angezeigt werden kann.
WO 2019/091741 A1 offenbart einen Ofen, der erfasst, ob darin in einem Garraum vor- handenes Lebensmittel gegart ist, wobei eine Steuereinheit, die von einem Sensor bereit- gestellte Daten empfängt, Farbdaten basierend auf diesen Daten ermittelt und durch In- terpretieren besagter Farbdaten bestimmt, ob das Lebensmittel fertiggegart ist. Dazu wird ein RGB-Bild des Garraums in ein L*a*b-Bild umgewandelt, in (a*, b*)-Farbebene obere und untere Schwellwerte für die Farbkoordinaten a* und b* angegeben werden, für die innerhalb der Schwellwerte liegenden Bildpunkte ein gemittelter Helligkeitswert berechnet wird, der gemittelte Helligkeitswert als Maß für eine Bräunung des Lebensmittels mit ei- nem Ziel-Bräunungswert verglichen wird. Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine Möglichkeit bereitzustellen, mit rechentechnisch geringem Aufwand ein Garzeitende eines Garvorgangs anhand eines Ziel-Bräunungsgrads besonders zuverlässig zu bestimmen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevor- zugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zum Bestimmen eines Garzeitendes von in einem Garraum eines Haushalts-Gargeräts befindlichem Gargut, bei dem zu Beginn eines Garvorgangs ein hellwert-separierbares Bild des Garraums erzeugt wird, an dem hellwert-separierbaren Bild eine Segmentierung anhand der Farbkoordinaten durch Clusteranalyse vorgenommen wird, welche dem Gargut zugehörige Gargut- Bildpunkte und einer Umgebung des Garguts zugehörige Umgebungs-Bildpunkte ergibt, einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben und während eines Garvorgangs zeitlich beabstandet Bilder des Garraums aufgenommen werden, in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist- Bräunungsgrad berechnet wird und der Ist-Bräunungsgrad mit dem Ziel- Bräunungsgrad verglichen wird und das Gargut so lange in dem Garraum behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat.
Dieses Verfahren gibt den Vorteil, dass Gargut mit einem vergleichsweise geringen Re- chenaufwand in einem aufgenommenen Bild Gargut-Bildpunkte besonders zuverlässig von Umgebungs-Bildpunkten trennbar sind. Dazu ist insbesondere die Nutzung einer Clusteranalyse vorteilhaft, da sich so im Gegensatz z.B. zu einer Segmentierung durch - insbesondere fest vorgegebene Schwellwerte für die Farbkoordinaten - eine erheblich bessere Unterscheidung zwischen Gargut-Bildpunkten und Umgebungs-Bildpunkten ergibt, insbesondere falls das Gargut eine ähnliche Farbe aufweist wie seine Umgebung, z.B. hellbraunes Gargut und Backpapier. Dadurch wiederum kann ein Ist-Bräunungsgrad besonders zuverlässig mit einem Ziel-Bräunungsgrad verglichen werden. Das Verfahren ist vorteilhafterweise unabhängig von der Kenntnis der Art des in dem Garraum behandel- ten Garguts durchführbar.
Das Haushalts-Gargerät kann ein Backofen mit mindestens einem Wärmestrahler (z.B. Rohrheizkörper oder IR-Strahler) , ein Mikrowellenofen, ein Dampfgarer oder eine beliebi- ge Kombination daraus sein, z.B. ein Backofen mit einer Mikrowellen- und/oder Dampf- garfunktion sein.
Dass ein Bild des Garraums "zu Beginn" eines Garvorgangs erzeugt wird, umfasst, dass z.B. mittels einer Kamera ein Bild des Garraums vor Beginn des Garvorgangs, mit Beginn des Garvorgangs oder kurz nach Beginn des Garvorgangs (z.B. innerhalb einer Minute) aufgenommen wird.
Unter einem hellwert-separierbaren Bild wird ein bildpunktartig aufgebautes Bild verstan- den, bei dem die Farbkoordinaten der einzelnen Bildpunkte als Koordinaten eines Far- braums ausgedrückt werden, bei dem eine ("Hellwert"-)Koordinate einem Hellwert ("Lightness") entspricht. Ein solcher Farbraum kann z.B. der L*a*b*-Farbraum gemäß EN ISO 11664-4 (auch als CIELAB oder CIEL*a*b* bezeichnet) mit der Helligkeits- Komponente oder -Koordinate L* sein.
Das Vornehmen der Segmentierung an dem hellwert-separierbaren Bild umfasst insbe- sondere eine automatische Eingruppierung der Bildpunkte, insbesondere aller Bildpunkte, in einer Farbebene des Farbraums, d.h., ohne Betrachtung der Hellwertkoordinate in zwei oder mehr Untergruppen. In Gegensatz zu einer einfachen Segmentierung durch Schwellwertsetzung in der Farbebene lässt sich durch die Clusteranalyse eine besonders gute, bildinhaltsabhängige Separierung zwischen den Gargut-Bildpunkten und den Um- gebungs-Bildpunkten des Garguts erreichen. Als ein Ergebnis der Segmentierung wird insbesondere eine Zuordnung der Bildpunkte in dem aufgenommenen Bild zu den jeweili- gen Segmenten erlangt, so dass bekannt ist, welche der Bildpunkte Gargut-Bildpunkte und welche Umgebungsbildpunkte sind. Dies kann z.B. auf Grundlage der Kenntnis ge- schehen, dass Farben einer Umgebung des Garguts wie einer Ofenmuffel (z.B. Farbe des Emails) oder eines Gargutträgers zumindest ungefähr bekannt sind. Unter "Farbkoordinaten" werden Koordinaten des hellwert-separierbaren Bilds verstan- den, welche keine Hellwertkoordinate sind oder darstellen. Im L*a*b*-Farbraum entspricht dies den Koordinaten a* und b*, usw. Im Folgenden werden alle Koordinaten eines (vol- len) Farbraums (z.B. L*, a* und b*) zur Unterscheidung von den Farbkoordinaten als "Far- braumkoordinaten" bezeichnet.
Dass an dem hellwert-separierbaren Bild eine Segmentierung anhand der Farbkoordina- ten vorgenommen wird umfasst also, dass die Segmentierung in einer durch die Farbko- ordinaten aufgespannten "Farbebene" vorgenommen wird, die Segmentierung also nur die Werte der Bildpunkte in dieser Farbebene betrachtet oder berücksichtigt.
Das durch eine Kamera oder einen analogen Farbbildsensor aufgenommene Bild kann in originär in einem anderem Farbraum vorliegen als in einem Farbraum mit eigenständiger Hellwert-Koordinate, z.B. als ein RGB-Bild, was eine Nutzung herkömmlicher Farbkame- ras zur Bildaufnahme erleichtert. Das aufgenommene Bild wird dann, falls es nicht als ein hellwert-separierbares Bild vorliegt, bildpunktweise in ein hellwert-separierbares Bild um- gerechnet und dadurch erzeugt. Alternativ kann das aufgenommene Bild auch direkt in Form eines hellwert-separierbaren Bild aufgenommen und dadurch erzeugt sein. Es ist somit eine mögliche Ausgestaltung, dass zu Beginn des Garvorgangs ein RGB-Bild des Garraums aufgenommen wird und in ein hellwert-separierbares Bild umgewandelt wird.
Dass einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben, kann umfas- sen, dass einem Nutzer farblich (z.B. anhand einer Anzeige auswählbarer Braunfarben in einem Bildschirm oder "Display") und/oder anhand von Zeichenfolgen (z.B. "leicht", "mit- tel" und "gut durch", anhand einer Ziffernskala bspw. zwischen "0" und "10", usw.) einen Auswahl angeboten wird, einen Bräunungsgrad einzustellen. Die farbliche Bräunungsska- la kann in einer besonders einfachen Ausgestaltung fest vorgegeben sein, z.B. beruhend auf einer nutzerseitig eingegebenen Art des Garguts. Alternativ kann die farbliche Bräu- nungsskala auf Basis des zu Beginn bzw. anfänglich aufgenommenen Bild vorausberech- net werden, was einen besonders gute Einschätzung der im Lauf des Garvorgangs er- reichbaren Ziel-Bräunungsgrade ergibt.
Dass während eines Garvorgangs zeitlich beabstandet Bilder des Garraums aufgenom- men werden, umfasst insbesondere, dass die während des Garvorgangs aufgenomme- nen Bilder analog zu dem zu Beginn oder anfänglich aufgenommenen Bild in einem hell- wert-separierbaren Farbraum vorliegen, weil deren Bildpunkte bereits originär in diesem Farbraum vorliegen oder in einen hellwert-separierbaren Farbraum transformiert worden sind. Dies ergibt den Vorteil, dass sich ein Erreichen des Ziel-Bräunungsgrads besonders zuverlässig erkennen lässt. In diesem Fall entsprechen der Ist-Bräunungsgrad und der Ziel-Bräunungsgrad also jeweiligen Punkten in dem hellwert-separierbaren Farbraum, einschließlich einem Wert auf der Hellwertkoordinate. Allgemein ist es jedoch auch mög- lich, den Ziel-Bräunungsgrad als Farbpunkt in dem originär aufgenommenen Farbraum (z.B. dem RGB-Farbraum) zu beschreiben und die während des Garvorgangs (nach dem anfänglichen Bild) aufgenommenen Bilder in dem originär aufgenommenen Farbraum zu belassen. Dies spart an Rechenaufwand.
Dass in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird, umfasst insbesondere, dass in diesen Bildern ein über die jeweiligen Far- braumkoordinaten der Gargut-Bildpunkte gemittelter Wert berechnet wird und der Ist- Bräunungsgrad und der Ist-Bräunungsgrad dem Farbpunkt mit diesen gemittelten Werten entspricht.
Dass der Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad verglichen wird, umfasst insbe- sondere, dass in dem Farbraum ein Abstand zwischen dem Ist-Bräunungsgrad und dem Zielbräunungsgrad berechnet wird.
Dass der Ziel-Bräunungsgrad zumindest ungefähr erreicht ist entspricht einem Erreichen eines Garzeitendes. Mit Erreichen des Garzeitendes kann mindestens eine Aktion ausgelöst werden, z.B. der Garvorgang beendet werden, eine Temperatur des Garraums auf eine Warmhaltetemperatur gesenkt werden und/oder eine Nachricht an einen Nutzer ausgegeben werden, bspw. ein Piepton, einen Anzeige im Bildschirm 8 oder einen Nachricht auf ein mobiles Endgerät des Nutzers ausgegeben werden.
Dass das Gargut so lange in dem Garraum behandelt wird, bis der Ziel-Bräunungsgrad zumindest ungefähr erreicht ist, kann umfassen, dass das Gargut so lange in dem Gar- raum behandelt wird, bis der Abstand zwischen Ist-Bräunungsgrad und Ziel- Bräunungsgrad einen vorgegebenen Abstand erreicht oder unterschreitet. Es ist eine Ausgestaltung, dass zu Beginn des Garvorgangs ein RGB-Bild des Garraums aufgenommen wird, und - insbesondere bildpunktweise - in ein L*a*b*- Bild umgewandelt wird. Eine L*a*b*-Darstellung weist den Vorteil auf, dass sich eine folgende Segmentie- rung anhand nur der Farbkomponenten (bei L*a*b* bzw. CIELAB der Farbraumkompo- nenten a* und b*) besonders einfach und zuverlässig lässt. Die originäre Aufnahme als RGB-Bild ist vorteilhaft, da viele handelsübliche Kameras RGB-Kameras sind.
Der L*a*b*-Farbraum beschreibt alle wahrnehmbaren Farben. Er nutzt einen dreidimensi- onalen Farbraum, bei dem die Hell- oder Helligkeitskoordinate L* senkrecht auf der Farb- ebene (a*,b*) steht. Dabei gibt die a*-Koordinate die Farbart und Farbintensität zwischen Grün und Rot an und die b*-Koordinate die Farbart und die Farbintensität zwischen Blau und Gelb an. Je größer positive Werte von a* und b* sind und je kleiner negative Werte von a* und b* sind, desto intensiver wird der Farbton. Falls a* = 0 und b* = 0 ist, liegt ein unbunter Farbton auf der Helligkeitsachse vor. In üblichen Softwareumsetzungen kann L* ("Lightness", Helligkeit) z. B. Werte zwischen 0 und 100 annehmen und a* und b* können z.B. zwischen -128 und 127 variiert werden. Folgend wird eine automatische Segmentie- rung nur in der Farbebene (a*,b*) vorgenommen.
Es ist eine Ausgestaltung, dass die Segmentierung anhand einer Clusteranalyse insbe- sondere unter Nutzung eines k-Means-artigen Algorithmus vorgenommen wird. So wird der Vorteil erreicht, dass ein einfach umsetzbarer und leistungsfähiger Algorithmus zur Segmentierung verwendet werden kann, der z.B. im Vergleich zu neuronalen Netzwerken wenig Rechenleistung benötigt. Dabei werden in der betrachteten (a*; b*)-Farbebene ins- besondere zwei oder mehr Schwerpunkte zufällig gesetzt und dann die Bildpunkte des aufgenommenen Bilds (in seiner helligkeitsseparierten Farbraumdarstellung) anhand ihrer Farbebenenkoordinaten den Schwerpunkten zugeordnet. Dadurch werden Segmente bzw. Gruppierungen ähnlicher Bildpunkte (deren Zahl der Zahl der Schwerpunkte ent- spricht) gebildet. Es ist eine Weiterbildung, dass der k-Means-artige Algorithmus zwei Schwerpunkte nutzt, was zur Unterscheidung von Gargut-Bildpunkten und Umgebungs- Bildpunkten besonders vorteilhaft ist.
Der k-Means-artige Algorithmus kann ein k-Means-Algorithmus (als solcher) oder ein dar- aus abgeleiteter Algorithmus (z.B. ein k-Median, k-Means++- oder k-Medoids-Algorithmus usw.) sein. Der k-Means-Algorithmus kann z.B. als Lloyd-Algorithmus oder MacQueen’s Algorithmus umgesetzt sein.
Alternativ kann die Clusteranalyse unter Nutzung eines Erwartungs-Maximierungs- Algorithmus vorgenommen werden. In einer Sichtweise kann der k-Means-Algorithmus als Spezialfall eines Erwartungs-Maximierungs-Algorithmus angesehen werden.
Auch ist es möglich, zur Clusteranalyse ein trainiertes neuronales Netzwerk zu verwen- den. Das trainierte neuronale Netzwerk kann beispielsweise ein sog. "Convolutional Neu- ral Network" (auch als CNN oder ConvNet bezeichnet) sein, insbesondere ein tiefes CNN ("deep Convolutional Neural Network"), vorteilhafterweise ein sog. "deep convolutional semantic Segmentation neural network". Ein Beispiel eines solchen Netzwerks ist das sog. SegNet, wie es z.B. in dem Artikel "SegNet: A Deep Convolutional Encoder-Decoder Ar- chitecture for Image Segmentation” by Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017 beschrie- ben ist. Es ist eine Weiterbildung, dass die Clusteranalyse anhand eines trainierten neu- ronales Netzwerks ein trainiertes GAN ("Generative Adversarial Network") nutzt., speziell ein superauflösendes GAN, ein sog. "SRGAN", Ein Beispiel eines SRGANs ist beispiels- weise beschrieben in: “Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network”, Christian Ledig et al., IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Juli 2017.
Es ist eine Ausgestaltung, dass sich zur Segmentierung dem k-Means-ähnlichen Algo- rithmus eine Opening-Operation in einer Farbebene des hellwert-separierbaren Bilds an- schließt. So wird der Vorteil erreicht, dass ein "Rauschen" (noise) der Gargut-Bildpunkte in dem aufgenommenen Bild unterdrückt wird, da zu rauschbehafteten Bereichen gehöri- ge Bildpunkte aus der Segmentierung bzw. Gruppierung entfernt und nicht mehr betrach- tet werden. Unter einem "rauschbehafteten Bereich" kann ein Bereich in dem aufgenom- menen Bild verstanden werden, in dem Gargut-Bildpunkte und Umgebungsbildpunkte weitgehend unzusammenhängend ("rauschend") vorhanden sind, so dass dieser Bereich weder dem Gargut noch der Umgebung zuverlässig zugeordnet werden kann. So wird wiederum der Vorteil erreicht, dass Bildbereiche besonders zuverlässig dem Gargut zuge- rechnet werden können, da unscharfe bzw. ausfransende Randbereiche eliminiert wer- den. Zur Durchführung der Opening-Operation können z.B. auf grundsätzlich bekannte Weise sog. Erosions- und/oder and Dilatation-Operatoren verwendet werden.
Eine zur Nutzung des k-Means-ähnlichen Algorithmus zusätzliche oder alternative Ausge- staltung besteht darin, die Segmentierung mittels eines nutzergeführten "Region-Growing- Algorithmus" durchzuführen. Dies ermöglicht vorteilhafterweise eine besonders zuverläs- sige Separierung von Gargut- und Umgebungs-Bildpunkten, da Gargutbereich durch ei- nen Nutzer erkannt und an dem Haushalts-Gargerät eingegeben werden können. Dies ist beispielsweise besonders nützlich, wenn die automatische Segmentierung anhand nur zweier Schwerpunkte vorgenommen wird und das Gargut auf einem Backpapier liegt und die Farbe des Backpapiers deutlich näher an der Farbe des Garguts als dem Backblech liegt oder wenn Gargüter mit deutlich unterschiedlicher Farbe in den Garraum verbracht worden sind.
Bei dieser Ausgestaltung kann einem Nutzer beispielsweise das aufgenommene Bild (im vollen Farbraum) angezeigt werden und ihm die Möglichkeit gegeben wird, bestimmte Bildpunkte oder Bildbereiche als dem Gargut zugehörig zu kennzeichnen, z.B. durch An- tippen der Bildbereiche auf einem berührungsempfindlichen Bildschirm ("Touchscreen") oder durch eine Auswahl mittels eines Cursors. Dann wird durch den Region-Growing- Algorithmus in der Farbebene (z.B. der (a*; b*)-Farbebene) um den Berührungspunkt oder Berührungsbereich herum eine Fläche definiert, deren Bildpunkte eine gleiche oder ähnli- che Farbe zur Farbe des Berührungspunkts oder Berührungsbereichs aufweist, und die in dieser Fläche befindlichen Bildpunkte werden als Gargut-Bildpunkte kategorisiert. Dies kann beispielsweise so umgesetzt sein, dass überprüft wird, ob ein zu dem nutzerseitig ausgewählten Bildbereich oder Bildpunkt benachbarter Bildpunkt in der Farbebene inner- halb eines vorgegebenen Abstands R zu dem Farbpunkt des Bildpunkts oder einem Farbpunkt, welcher dem Durchschnitt der Farbpunkte des Berührungsbereichs in der Far- bebene entspricht, befindet. Ist dies der Fall, wird der benachbarte Bildpunkt dem Gargut zugerechnet, sonst der Umgebung. Der Region-Growing-Algorithmus wird mit einer Über- prüfung der dann zu den hereingenommenen Bildpunkten benachbarten Bildpunkten so lange weitergeführt, bis keine Bildpunkte mehr dieser Bedingung, dass sie innerhalb des vorgegebenen Abstands R liegen, mehr erfüllen. Die so erweiterte Fläche kann dem Nut- zer in dem Bild angezeigt werden, und der Nutzer kann dann die Fläche verwerfen und/oder weitere Bildbereiche oder Bildpunkte als dem Gargut zugehörig definieren. Es ist eine Weiterbildung, dass der Nutzer den Abstand R anpassen kann, um die Fläche emp- findlicher (kleineres R) oder weniger empfindlich (größeres R) zu generieren.
Es ist eine Weiterbildung, dass sich der Segmentierung dem k-Means-ähnlichen Algo- rithmus ein nutzergeführter "Region-Growing-Algorithmus" anschließt oder anschließen kann. So wird der Vorteil erreicht, dass durch den k-Means-ähnlichen Algorithmus falsch oder nicht zugeordnete Bildbereiche bzw. Bildpunkte durch einen Nutzer korrigiert bzw. hinzugefügt werden können: ist beispielsweise ein bestimmter Bildbereich durch den k- Means-ähnlichen Algorithmus als der Umgebung zugerechnet worden, obwohl er Gargut zeigt, kann der Nutzer diesen Bereich durch den Region-Growing-Algorithmus den Gargut zuordnen. Umgekehrt kann der Nutzer einen durch den k-Means-ähnlichen Algorithmus fälschlicherweise dem Gargut zugerechneten Bildbereich durch den Region-Growing- Algorithmus der Umgebung zuordnen.
Es ist eine Weiterbildung, dass die Segmentierung im Laufe des Garvorgangs wiederholt wird. Dadurch wird der Vorteil erreicht, dass z.B. eine Bewegung, Volumenänderung usw. des Garguts berücksichtigt werden kann, z.B. nach in vorgegebenen Zeitabständen. So kann der Ist-Bräunungsgrad besonders zuverlässig bestimmt werden..
Es ist eine Ausgestaltung, dass beruhend auf den gemittelten Farbraumkoordinaten der Gargut-Bildpunkte des anfänglich aufgenommenen hellwert-separierbaren Bilds (z.B. den Koordinaten L*, a* und b* des L*a*b*-Farbraums) und anhand von in einer Datenbank abgespeicherten realen Bräunungskurven für unterschiedliche Gargüter eine Bräunungs- kurve ("Prädiktions-Bräunungskurve") für das aktuelle Gargut berechnet wird. So wird der Vorteil erreicht, dass eine gut passende Prädiktions-Bräunungskurve des aktuell zu ga- renden Garguts auch ohne Kenntnis der Art des aktuell zu garenden Garguts für viele Anwendungsfälle erstellbar ist. Die realen Bräunungskurven reichen vorteilhafterweise von ungegart bis voll gegart, ggf. sogar bis übergart.
Die Prädiktions-Bräunungskurve kann wiederum z.B. dazu verwendet werden, einem Nut- zer gargutangepasst verschiedene durch die Punkte der Prädiktions-Bräunungskurve de- finierte Ziel-Bräunungsgrade zur Auswahl anzubieten. Dazu kann einem Nutzer bei- spielsweise angeboten werden, einen Ziel-Bräunungsgrad anhand von Farbfeldern einzu- geben, die mit Farben beabstandeter Punkten der Prädiktions-Bräunungskurve ausgefüllt sind. Unter einer Prädiktions-Bräunungskurve wird insbesondere die berechnete, zeitlich in der Zukunft liegende ("prädiktive") Entwicklung des Bräunungsgrads der Gargutoberflä- che des aktuellen Garguts im Farbraum verstanden. Die Datenbank kann eine Kompo- nente des Gargeräts sein oder kann in einer mit dem Gargerät kommunikativ koppelbaren externen Instanz wie einem Netzwerk-Server oder einem Cloud-Speicher vorgehalten werden.
Es ist eine Ausgestaltung, dass die Prädiktions-Bräunungskurve berechnet wird, indem für die einzelnen (Zeit-)Punkte der Prädiktionskurve ein lineares Gleichungssystem erstellt wird, das sie über Matrixfaktoren mit den anfänglichen gemittelten Farbraumkoordinaten der Gargut-Bildpunkte verknüpft und die Matrixfaktoren mittels einer - insbesondere linea- ren - aus den gemittelten Farbraumkoordinaten der Gargut-Bildpunkte der in der Daten- bank abgespeicherten realen Bräunungskurven bestimmt werden.
Beispielsweise können die Farbpunkte F (L*, a*, b*) der Prädiktions-Bräunungskurve im Farbrau für das aktuelle Gargut anhand des linearen Gleichungssystems für den L*a*b*- Farbraum für die Zeitpunkte ti = t1, tn anhand des linearen Gleichungssystems
Figure imgf000012_0001
berechnet werden, wobei L*init dem aus dem anfänglich (d.h., zum Zeitpunkt tO) aufge- nommenen hellwert-separierbaren Bild des aktuellen Garguts über die Gargut-Bildpunkte gemittelten L*-Wert, ä* init dem aus dem anfänglich aufgenommenen hellwert- separierbaren Bild über die Gargut-Bildpunkte gemittelten a*-Wert, b* init dem aus dem anfänglich aufgenommenen hellwert-separierbaren Bild über die Gargut-Bildpunkte gemit- telten b*-Wert entsprechen und k Matrixkoeffizienten sind. Die Matrixkoeffizienten k wer- den mittels mathematischer Regressionsanalyse aus den aus der Datenbank abgespei- cherten realen Bräunungskurven berechnet. Somit lässt sich für das aktuelle Gargut eine Prädiktions-Bräunungskurve mit den Farbpunkten
Figure imgf000012_0002
} für die Zeitpunkte ti = t1, tn bzw. für die Schritte
Figure imgf000013_0002
vo-
Figure imgf000013_0001
rausberechnen.
Einem Nutzer kann nun anhand der für die Prädiktions-Bräunungskurve eine Auswahl an Ziel-Bräunungsgraden unter den Farbpunkten
Figure imgf000013_0003
Figure imgf000013_0004
} zur Auswahl angeboten werden. Dabei können einem Nutzer alle berechneten Bräunungspunkte der Prädiktions-Bräunungskurve, eine Auswahl aus den berechneten Bräunungsgraden oder - beispielsweise durch Interpolation auf Farbpunkte, die zwischen berechneten Bräunungsgraden der Prädiktions-Bräunungskurve liegen - mehr als die berechneten Bräunungsgrad farblich in Farbfeldern angezeigt werden. Die Anzeige einzelner Ziel-Bräunungsgrade auf einem Bildschirm als jeweilige Farbfelder oder Boxen, also nicht als kontinuierliche oder quasi-kontinuierliche Skala, erleichtert einem Nutzer vorteilhafterweise eine Auswahl eines Bräunungsgrads, da er im Gegensatz zu einer kontinuierliche oder quasi-kontinuierliche Skala einen Bräunungsgrad zuverlässig treffen kann.
Es ist eine Weiterbildung, dass einzelne Ziel-Bräunungsgrade auf einem Bildschirm als jeweilige Farbfelder oder Boxen angezeigt werden und einem Nutzer angeboten wird, zusätzliche Felder von Ziel-Bräunungsgraden anzuzeigen, die zwischen den zuvor ange- zeigten Bräunungsgraden liegen. So kann die einfache Auswählbarkeit vorteilhafterweise mit einer variabel erhöhten Zahl von Ziel-Bräunungsgraden kombiniert werden. Den Bo- xen kann eine entsprechende Zeichenfolge zugeordnet angezeigt werden, und zwar in der Nähe der Farbfelder oder in den Farbfeldern.
Es ist eine für eine nutzerfreundliche Auswahl besonders vorteilhafte Ausgestaltung, dass dem Nutzer zusätzlich oder alternativ angeboten wird, dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad anhand von zeichenbasiert beschriebenen Ziel-Bräunungsgraden einzugeben., beispielsweise anhand von Texten wie "hell", "medium", dunkel" oder an- hand von Zahlen wie "1", ..., "10". Die Zeichen können also Buchstaben und/oder Ziffern umfassen. Es ist eine Weiterbildung, dass Ziel-Bräunungsgrade nur zeichenhaft auf dem Bildschirm angezeigt werden, also ohne farbliche Darstellung der auswählbaren Ziel- Bräunungsgrade.
Es ist eine Weiterbildung, dass bei Angebot zur Auswahl des Ziel-Bräunungsgrads zu- sätzlich das ursprünglich aufgenommene Bild angezeigt wird. Dabei ist es eine Ausgestal- tung, dass bei Auswahl eines Ziel-Bräunungsgrads durch einen Nutzer das Gargut in dem Bild als mit dem ausgewählten Ziel-Bräunungsgrad gebräunt angezeigt wird, z.B. im Sin- ne einer "Virtual Reality". Je höher dann der ausgewählte Ziel-Bräunungsgrad ist, desto brauner wird das Gargut dargestellt, usw.
Es ist eine Weiterbildung, dass ein Nutzer anstelle des ursprünglich aufgenommenen Bilds (z.B. mit einer Pizza Hawaii als aktuellem Gargut) reale Bilder und/oder reale Bräu- nungskurven eines gleichen oder ähnlichen Garguts (z.B. einer Pizza Margherita) mit un- terschiedlichen realen Bräunungsgraden aus einer Datenbank abruft und den Ziel- Bräunungsgrad anhand einer Auswahl eines Bilds aus dem Menge der aus der Daten- bank abgerufenen Bilder mit unterschiedlichen Bräunungsgraden auswählt. Den aus der Datenbank abgerufenen Bildern ist ein jeweiliger Bräunungsgrad hinterlegt, welcher dann als der Ziel-Bräunungsgrad des aktuellen Garguts übernommen werden kann. Alternativ kann können die Bräunungsgrade dieser Bilder zur Durchführung des Verfahrens berech- net werden. Diese Weiterbildung ergibt den Vorteil, dass der Ziel-Bräunungsgrad anhand von Aufnahmen real gebräunter Gargüter bestimmt werden kann, die ein realistischeres Abbild des Garguts zeigen als eine einfache rechnerische Überlagerung eines Bräu- nungsgrads des noch ungebräunten aktuellen Garguts.
Mit der finalen Eingabe eines Ziel-Bräunungsgrads (z.B. Bestätigung eines ausgewählten Ziel-Bräunungsgrads) durch einen Nutzer wird das Gargut in einer Ausgestaltung so lange in dem Garraum behandelt wird, bis ein Abstand des Ziel-Bräunungsgrads in dem Far- braum von einem gemittelten aktuellen Ist-Bräunungswert ein Minimum durchlaufen hat. Dazu wird in einer Weiterbildung in vorgegebenen, insbesondere regelmäßigen, Abstän- den ein Bild des Garguts aufgenommen, anhand der Gargut-Bildpunkte ein gemittelter Bildpunkt in dem hellwert-separierbares Farbraum gebildet und mit dem Ziel- Bräunungsgrad (d.h., mit dem dem Ziel-Bräunungsgrad entsprechenden Farbpunkt in dem Farbraum) verglichen. Diese Ausgestaltung ist besonders vorteilhaft, wenn der Ist- Bräunungsgrad den Ziel-Bräunungsgrad nicht genau erreicht, so dass dann der Garvor- gang - zeitlich geringfügig nach dem idealen Abbruchzeitpunkt - dennoch abgebrochen wird, wenn der Ist-Bräunungsgrad den Ziel-Bräunungsgrad "so gut wie möglich" erreicht hat. Es ist eine Ausgestaltung, dass nach Beginn des Garvorgangs Bilder des aktuellen Gar- guts in vorgegebenen zeitlichen Abständen aufgenommen werden, aus diesen Bildern anhand der Gargut-Bildpunkte der Ist-Bräunungsgrad des Garguts bestimmt wird, anhand der Ist-Bräunungsgrade die Prädiktions-Bräunungskurve für das aktuelle Gargut neu be- rechnet wird und aus der Prädiktions-Bräunungskurve für das aktuelle Gargut der Ziel- Bräunungsgrad angepasst wird. So wird der Vorteil erreicht, dass dann, wenn anhand aktueller Bilder erkannt wird, dass die Prädiktions-Bräunungskurve von der anfänglich berechneten Prädiktions-Bräunungskurve merklich abweicht, der Ziel-Bräunungsgrad ent- sprechend dem wahrscheinlichen Kundenwunsch angepasst werden kann. Der Ziel- Bräunungsgrad kann mit oder ohne Nutzerbestätigung oder erneute Nutzereingabe ange- passt werden.
Die "neu" berechnete Prädiktions-Bräunungskurve kann z.B. ebenfalls mittels des oben beschriebenen linearen Gleichungssystems und einer Regressionsmethode berechnet werden, wobei dann die Werte der Farbraumkoordinaten L*, a* und b* für die bereits auf- genommenen Bilder bekannt sind. Sind beispielsweise vor Neuberechnung der Prädikti- ons-Bräunungskurve bereits 10 Bilder zu den Zeitpunkten t1, ...., t10 aufgenommen wor- den, aufgenommen worden, kann das obige Gleichungssystem als
Figure imgf000015_0001
formuliert werden, wobei die Werte der Farbraumkoordinaten für die
Figure imgf000015_0002
Zeitpunkte t1, ...., t10 bekannt sind. Die Matrixkoeffizienten k lassen sich wieder durch eine Regressionsanalyse unter Nutzung der in der Datenbank abgespeicherten realen Bräunungskurven auffinden.
Beispielsweise kann so dann, wenn die neue berechnete Prädiktions-Bräunungskurve kürzer ist als die anfänglich berechnete Prädiktions-Bräunungskurve (also die am meisten braunen Farbraumpunkte der anfänglich berechneten Prädiktions-Bräunungskurve nicht umfasst), ein von einem Nutzer ausgewählter Ziel-Bräunungsgrad relativ zu der einem Verhältnis der Längen beider Prädiktions-Bräunungskurven auf der "neuen" Prädiktions- Bräunungskurve verschoben werden. War die anfänglich berechnete Prädiktions- Bräunungskurve bspw. 10 Einheiten lang, wobei Bräunungsgraden zwischen "1" und "10" von dem Nutzer ausgewählt werden konnten (mit "0" dem ungegarten Gargut), umfasst die neue Prädiktions-Bräunungskurve aber nur Bräunungsgrade, die den Bräunungsgra- den "1" bis "8" der anfänglich berechneten Prädiktions-Bräunungskurve entsprechen, ein neuer Ziel-Bräunungsgrad "6" auf der neuen Prädiktions-Bräunungskurve ausgewählt werden, der farblich dem anhand der ursprünglich berechneten Prädiktions- Bräunungskurve ausgewählten Ziel-Bräunungsgrad "5" entspricht.
In einem anderen Beispiel der anhand der anfänglich berechneten Prädiktions- Bräunungskurve ausgewählte Ziel-Bräunungsgrad nicht mehr erreicht werden. Dies kann z.B. der Fall sein, wenn das aktuell gegarte Gargut auch nach längerer Gardauer ver- gleichsweise hell bleibt (z.B. Fisch), ein Nutzer aber anhand der (von der Art des aktuellen Garguts unabhängigen) anfänglich berechneten Prädiktions-Bräunungskurve einen ver- gleichsweise braunen Ziel-Bräunungsgrad ausgewählt hatte. In diesem Fall kann z.B. einen Nachricht oder ein Signal n den Nutzer ausgegeben, dass der von ihm gewünschte Ziel-Bräunungsgrad nicht erreichbar ist und der Nutzer dann anhand der neuen Prädikti- ons-Bräunungskurve einen neuen Ziel-Bräunungsgrad eingeben kann. Alternativ oder zusätzlich kann ein anhand der anfänglich berechneten Prädiktions-Bräunungskurve aus- gewählter Ziel-Bräunungsgrad (z.B. "mittel") automatisch an die neue Prädiktions- Bräunungskurve angepasst werden.
Die Aufgabe wird auch gelöst durch ein Haushalts-Gargerät, aufweisend einen Garraum, mindestens eine in den Garraum gerichtete Kamera, eine grafische Nutzerschnittstelle sowie eine Datenverarbeitungseinrichtung, wobei das Haushaltsgerät dazu eingerichtet ist, zu Beginn eines Garvorgangs mittels des mindestens einen Farbbildsensors ein hell- wert-separierbares Bild des Garraums zu erzeugen, mittels der Datenverarbeitungseinrichtung an dem hellwert-separierbaren Bild eine Segmentierung anhand der Nichthelligkeits-Farbkoordinaten vorzunehmen, welche dem Gargut zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts zuge- hörige Umgebungs-Bildpunkte ergibt, einem Nutzer über die grafische Nutzerschnittstelle angeboten wird, einen Ziel- Bräunungsgrad einzugeben und mittels der Datenverarbeitungseinrichtung während eines Garvorgangs zeitlich beab- standet Bilder des Garraums aufzunehmen, in diesen Bildern anhand der Gargut- Bildpunkte einen jeweiligen Ist-Bräunungsgrad zu berechnen und den Ist- Bräunungsgrad mit dem Ziel-Bräunungsgrad zu vergleichen und das Gargut so lange in dem Garraum behandelt wird, bis der Ist-Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat.
Das Haushalts-Gargerät kann analog zu dem Verfahren ausgebildet werden, und umge- kehrt, und weist die gleichen Vorteile auf.
In den Garraum eingebrachtes Gargut kann mittels mindesten einer Gargutbehandlungs- einrichtung behandelt werden, z.B. durch Wärmestrahlung (erzeugt z.B. durch Rohrheiz- körper, IR-Strahler, usw.), Mikrowellen (erzeugt durch einen Mikrowellengenerator) und/oder Dampf, insbesondere Heißdampf bzw. "Super Heated Steam" (erzeugt z.B. durch einen Verdampfer).
Der mindestens eine Farbbildsensor kann mindestens eine im sichtbaren Spektra Ibereich empfindliche, bildpunktartig auslösende Farbkamera oder einen anderen Farbbildsensor umfassen. Der Farbbildsensor kann insbesondere originär RGB-Bilder erzeugen.
Die graphische Nutzerschnittstelle kann z.B. einen durch einen Cursor betätigbaren Bund/oder berührungsempfindlichen Farbbildschirm ("Touchscreen") umfassen.
Dass zu Beginn eines Garvorgangs mittels des mindestens einen Farbbildsensors ein hellwert-separierbares Bild des Garraums erzeugbar ist, kann umfassen, dass durch den Farbbildsensor originär ein hellwert-separierbares Bild erzeugt wird oder dass durch den Farbbildsensor originär ein nicht hellwert-separierbares Bild (z.B. RGB-Bild) erzeugt wird, das mittels der Datenverarbeitungseinrichtung in ein hellwert-separierbares Bild umge- wandelt bzw. umgerechnet wird.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei- spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Haushalts- Gargeräts;
Fig.2 zeigt einen möglichen Ablauf eines Verfahrens zum Bestimmen eines Gar- zeitendes von in einem Garraum des Haushalts-Gargeräts aus Fig.1 befindli- chem Gargut;
Fig.3 zeigt einen Draufsicht auf einen Bildschirm 8 des Haushalts-Gargeräts aus Fig.1 , der zur Auswahl eines Ziel-Bräunungsgrads mit drei Farbfeldern ausge- staltet ist; und
Fig.4 zeigt einen Draufsicht auf einen Bildschirm 8 des Haushalts-Gargeräts aus Fig.1 , der zur Auswahl eines Ziel-Bräunungsgrads mit sechs Farbfeldern aus- gestaltet ist
Fig.1 zeigt ein Haushalts-Gargerät in Form eines Backofens 1 mit einem Garraum 2, des- sen frontseitige Beschickungsöffnung durch einen Tür 3 verschließbar ist. Der Garraum 2 ist hier durch Wärmestrahler in Form beispielhaft eingezeichneter Oberhitzeheizkörper 4 und Unterhitzeheizkörper 5 heizbar. Hier beispielhaft deckenseitig ist eine in den Garraum 2 gerichtete RGB-Farbbildkamera 6 vorhanden, durch die RGB-Bilder des Garraums 2, einschließlich von darin vorhandenem Gargut G, aufnehmbar sind. Die Kamera 6 ist mit einer Datenverarbeitungseinrichtung 7 datentechnisch gekoppelt, wobei die Datenverar- beitungseinrichtung 7 außerdem mit einer grafischen Nutzerschnittstelle in Form eines Farbbildschirms 8 datentechnisch gekoppelt ist. Das Haushalts-Gargerät kann auch Be- leuchtungsmittel zum Beleuchten des Garraums 2 aufweisen (o. Abb.)
Fig.2 zeigt einen möglichen Ablauf eines Verfahrens zum Bestimmen eines Garzeitendes von in einem Garraum des Backofens 1 befindlichem Gargut G.
In einem Schritt SO wird das Gargut G in den Garraum 2 verbracht und der Verfahrensab- lauf über den Bildschirms 8 oder eine andere Betätigungsvorrichtung des Backofens 1 gestartet. In einem Schritt S1 wird mittels der Kamera 5 ein RGB-Bild des Garraums aufgenommen, das auch das Gargut G zeigt, und an die Datenverarbeitungseinrichtung 7 übertragen.
In einem Schritt S2 wird das RGB-Bild mittels der Datenverarbeitungseinrichtung 7 in ein L*a*b*-Bild umgerechnet.
In Schritt S3 wird mittels der Datenverarbeitungseinrichtung 7 in der (a*; b*)-Farbebene bzw. anhand der a*- und b*-Farbkoordinaten des Bilds eine Segmentierung der Bildpunk- te des Bilds mittels eines k-Means-Algorithmus mit zwei Schwerpunkten durchgeführt. Jeder der Bildpunkte ist dadurch als Gargut-Bildpunkt oder als Umgebungs-Bildpunkt ein- geordnet.
In einem Schritt S4 wird mittels der Datenverarbeitungseinrichtung 7 in der (a*; b*)- Farbebene eine Opening Operation durchgeführt. Dadurch werden in rauschbehafteten Bereichen des Bilds vorhandene Bildpunkte aus den Gruppen der Gargut-Bildpunkte und Umgebungs-Bildpunkte
In einem Schritt S5 wird einem Nutzer über die Bildschirm 8 die Durchführung eines "Re- gion Growings" angeboten und, falls der Nutzer dies nutzt, ausgeführt. Dadurch können vorher als Umgebungs-Bildpunkte eingeordnete Bildpunkte nutzergesteuert als Gargut- Bildpunkte umgruppiert werden, oder umgekehrt
In einem Schritt S6 werden mittels der Datenverarbeitungseinrichtung 7 aus den Gargut- Bildpunkten Mittelwerte der drei Farbraumkoordinaten L*, a* und b* gebildet, nämlich und daraus ein lineares Gleichungssystem aufgestellt (Schritt S6a).
Figure imgf000019_0001
Folgend wird in einem Schritt S6b mittels der Datenverarbeitungseinrichtung 7 anhand des linearen Gleichungssystems und anhand von aus einer (geräteinternen oder geräte- externen) Datenbank D abgerufenen realen Bräunungskurven verschiedener Gargüter eine lineare Regressionsanalyse durchgeführt, welche die Matrixkoeffizienten des Linea- ren Gleichungssystems ergibt. In einem folgenden Schritt S6c wird mittels der Datenver- arbeitungseinrichtung 7 anhand des linearen Gleichungssystems eine Prädiktions- Bräunungskurve für das Gargut G im L*a*b*-Farbraum berechnet. In einem Schritt S7 werden dem Nutzer auf dem Farbbildschirm 8 mehrere Farbfelder angezeigt, deren Farben beabstandeten Punkten der Prädiktions-Bräunungskurve und damit unterschiedlichen Ziel-Bräunungsgraden entsprechen, wie beispielhaft in Fig.3 gezeigt. Zusätzlich können die Farbfelder durch Text und/oder Zahlen gekennzeichnet werden, z.B. "wenig", "mittel" und "durch" oder "1" bis "10". Der Nutzer kann nun einen bestimmten Ziel-Bräunungsgrad auswählen, z.B. durch Berühren eines gewünschten Farbfelds oder durch eine entsprechende Cursor-Operation. Der Ziel-Bräunungsgrad entspricht einem entsprechenden Zielpunkt F L*a*b*-Farbraum.
Figure imgf000020_0001
In Fig.3 ist ferner die Möglichkeit gezeigt, den Ziel-Bräunungsgrad anhand von in dem Farbbildschirm 8 definierten Farbfeldern F1, F2, F5 auszuwählen, die homogen mit jeweils einer der Farben der Prädiktions-Bräunungskurve mit hier aufsteigendem Ziel- Bräunungsgrad gefüllt sind. Die einzelnen Punkte der Prädiktions-Bräunungskurve entsprechen somit jeweiligen Bräunungsgraden. Der Nutzer kann durch Antippen eines Farbfelds F1, F2 oder F5 einen Ziel-Bräunungsgrad auswählen und ggf. folgend bestätigen.
In den Farbfeldern F1, F2, F5 sind auch beschreibende Texte vorhanden, hier: "Hell" für ein wenig gegartes Gargut G, "Medium" für ein mittelbraun gegartes Gargut G und "Dunkel" für ein gut bzw. dunkel gegartes Gargut G. Die beschreibenden Texte können aber auch außerhalb der Farbfelder angeordnet sein, z.B. darunter oder darüber.
Optional kann auf dem Farbbildschirm 8 auch ein Feld FG zur Anzeige eines Bilds des Garguts G vorhanden sein, z.B. des ursprünglich aufgenommenen Bilds oder eines während des Garvorgangs aufgenommenen Bilds. Der letztere Fall kann z.B. vorliegen, wenn der Ziel-Bräunungsgrad anhand einer neuen Prädiktions-Bräunungskurve berechnet werden soll, wie bereits oben und folgend weiter unten genauer beschrieben wird. Optional kann dann, wenn der Nutzer eines der Farbfelder F1, F3, F5 auswählt, das Gargut G so eingefärbt werden, dass seine Farbe dem zugehörigen Ziel-Bräunungsgrad entspricht, z.B. nach Art einer "Virtual Reality'-Anpassung.
Ferner ist in dem Farbbildschirm 8 ein Feld FE definiert, bei dessen Betätigung zusätzliche Ziel-Bräunungsgrade angezeigt werden, wie in Fig.4 anhand der zusätzlichen Farbfelder F2, F4 und F6 dargestellt. Folgend auf eine bestätigte Auswahl eines Ziel-Bräunungsgrads durch einen Nutzer in Schritt S7 wird in Schritt S8 der Garvorhang durch Aktivieren des Oberhitze-Heizkörpers 4 und/oder des Unterhitze-Heizkörpers 5 gestartet.
Dann wird in einem Schritt S9 durch die Kamera zu einem Zeitpunkt ti des Garvorgangs ein RGB-Ist-Bild des Garraums 2 aufgenommen und in ein L*ä*b*-Bilder umgewandelt.
In einem Schritt S10 werden anhand der Gargut-Bildpunkte des zum Zeitpunkt ti des Garvorgangs aufgenommenen Ist-Bilds Mittelwerte der drei Farbraumkoordinaten L*, a* und b* gebildet, nämlich
Figure imgf000021_0001
( ) ( ) ( ) was einem Ist-Bräunungsgrad in Form eines Ist-Farbpunkts im L*a*b*-Farbraum entspricht.
Figure imgf000021_0002
In einem Schritt S11 wird ein Abstand des Ist-Farbpunkts F (ti) des zuletzt aufgenommenen Bilds von dem Zielpunkt FZiei im L*a*b*-Farbraum berechnet. Es wird weiterhin überprüft, ob der - ggf. koordinatenabhängige - Abstand einen vorgegebenen Wert erreicht oder unterschreitet. Ist dies nicht der Fall ("N", ist also der Ist- Bräunungsgrad des Garguts G noch vergleichsweise weit von dem Ziel-Bräunungsgrad entfernt), wird zu Schritt S9 zurückverzweigt. Dabei werden aufeinanderfolgende Bilder insbesondere in regelmäßigen Zeitabständen (z.B. alle 10 s, 30 s oder 60 s) durch die Kamera 5 aufgenommen.
Ist dies hingegen der Fall ("J"), wird in einem Schritt S11 mindestens eine Aktion ausgelöst werden, z.B. der Garvorgang beendet werden, eine Temperatur des Garraums auf eine Warmhaltetemperatur gesenkt werden und/oder eine Nachricht an einen Nutzer ausgegeben (z.B. ein Piepton, einen Anzeige im Bildschirm 8 oder einen Nachricht auf ein mobiles Endgerät des Nutzers) ausgegeben werden.
Alternativ oder zusätzlich wird in Schritt S11 ein Verlauf der Abstände der Ist-Farbpunkte F (ti) aufgezeichnet, wobei in der alternativen Version nicht überprüft zu werden braucht, ob der Abstand einen vorgegebenen Wert erreicht oder unterschritten hat. In Schritt S12 wird dann alternativ oder zusätzlich überprüft, ob der Verlauf ein Minimum erreicht hat. Ist dies nicht der Fall ("N") wird zu Schritt S9 zurückverzweigt, ansonsten ("J) zu Schritt S12 übergegangen. Nicht eingezeichnet, aber optional gegen ist die Möglichkeit zu überprüfen, wie häufig z.B. die Schritte S9 bis S11 durchlaufend worden sind und in regelmäßigen zeitlichen Abstän- den (z.B. alle 10, 20, 50 oder 100 Durchläufe oder alle 5 min, 15 min oder 30 min) die Prädiktions-Bräunungskurve analog zu Schritt S6 neu berechnet wird, wobei allerdings dann in dem linearen Gleichungssystem anstelle der Durchschnittwerte der Farbraumko- ordinaten
Figure imgf000022_0001
die Durchschnittwerte der Farbraumkoordinaten L* ( ti ), der aufgenommenen Bilder an den entsprechenden Schritten bzw. Zeit-
Figure imgf000022_0002
punkten ti eingesetzt werden, soweit für die entsprechenden Schritte bzw. Zeitpunkte ti vorhanden, so wie weiter oben beschrieben. Es ergibt sich dann eine neue Prädiktions- Bräunungskurve. Dieser Möglichkeit kann sich ein zu Schritt S7 ähnlicher Schritt an- schließen, bei dem der Nutzer seinen Ziel-Bräunungsgrad anhand der neuen Prädiktions- Bräunungskurve anpassen kann. Alternativ kann der Ziel-Bräunungsgrad automatisch angepasst werden. Die Möglichkeit, den Ziel-Bräunungsgrad anzupassen, kann in einer Weiterbildung insbesondere nur dann angeboten und ggf. durchgeführt werden, wenn die neue Prädiktions-Bräunungskurve merklich von der zuvor gerechneten Prädiktions- Bräunungskurve abweicht, bspw. weil die Kurvenabweichung (z.B. berechnet anhand der Methode kleinster Quadrate) ein vorgegebenes Maß überschreitet und/oder weil der zuvor eingestellte Ziel-Bräunungsgrad in der neuen Prädiktions-Bräunungskurve nicht mehr enthalten ist.
Da der Garvorgang bereits läuft, wird folgend Schritt S8 übersprungen und direkt zu Schritt S9 übergegangen.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei- spiel beschränkt.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer- den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole- ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist. Bezugszeichenliste
1 Backofen
2 Garraum
3 Tür
4 Oberhitzeheizkörper
5 Unterhitzeheizkörper
6 RGB-Farbbildkamera
7 Datenverarbeitungseinrichtung
8 Farbbildschirms
D Datenbank
G Gargut
S1-S12 Verfahrensschritte

Claims

PATENTANSPRÜCHE
1. Verfahren (S1-S12) zum Bestimmen eines Garzeitendes von in einem Garraum (2) eines Haushalts-Gargeräts (1) befindlichem Gargut (G), bei dem
- zu Beginn eines Garvorgangs (S8) ein hellwert-separierbares Bild des Gar- raums (2) erzeugt wird (S1-S2),
- an dem hellwert-separierbaren Bild eine Segmentierung anhand seiner Farbko- ordinaten durch Clusteranalyse vorgenommen wird (S3-S5), welche dem Gar- gut (G) zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts (G) zugehörige Umgebungs-Bildpunkte ergibt,
- einem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben (S7),
- während eines Garvorgangs zeitlich beabstandet Bilder des Garraums (2) auf- genommen werden (S9), in diesen Bildern anhand der Gargut-Bildpunkte ein jeweiliger Ist-Bräunungsgrad berechnet wird (S10),
- der Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad verglichen wird (S11) und
- das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis der Ist- Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat (S12).
2. Verfahren (S1-S12) nach Anspruch 1, bei dem zu Beginn des Garvorgangs ein RGB-Bild des Garraums aufgenommen wird (S1) und in ein hellwert-separierbares Bild umgewandelt wird (S2).
3. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem das RGB-Bild in ein L*a*b*- Bild umgewandelt wird (S2) und an dem L*a*b*- Bild eine Segmentierung anhand der Farbkomponenten a* und b* vorgenommen wird (S3- S5).
4. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem die Segmentierung anhand einer Clusteranalyse unter Nutzung eines k-Means-artigen Algorithmus vorgenommen wird (S3).
5. Verfahren (S1-S12) nach Anspruch 4, bei dem sich zur Segmentierung (S3-S5) dem k-Means-ähnlichen Algorithmus (S3) eine Opening-Operation (S4) anschließt.
6. Verfahren (S1-S12) nach einem der Ansprüche 4 bis 5, bei dem sich zur Segmen- tierung (S3-S5) dem k-Means-ähnlichen Algorithmus (S3) ein nutzergeführter Re- gion-Growing-Algorithmus (S5) anschließt.
7. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem die Segmentierung (S3-S5) im Laufe des Garvorgangs wiederholt wird.
8. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem
- beruhend auf den gemittelten Farbraumkoordinaten der Gargut-Bildpunkte des anfänglich aufgenommenen hellwert-separierbaren Bilds und anhand von in ei- ner Datenbank abgespeicherten realen Bräunungskurven für unterschiedliche Gargüter eine Prädiktions-Bräunungskurve für das aktuelle Gargut berechnet wird (S6, S6a-S6c) )und
- dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad anhand von Farbfeldern einzugeben, deren Farben beabstandeten Punkten der Prädiktions- Bräunungskurve entsprechen (S7).
9. Verfahren (S1-S12) nach Anspruch 8, bei dem die Prädiktions-Bräunungskurve berechnet wird (S6), indem für die einzelnen Punkte der Prädiktions- Bräunungskurve ein lineares Gleichungssystem erstellt wird (S6a), das diese Punkte über Matrixfaktoren mit den anfänglichen gemittelten Farbraumkoordinaten der Gargut-Bildpunkte verknüpft werden (S6c), wobei die Matrixfaktoren mittels ei- ner Regressionsanalyse aus den gemittelten Farbraumkoordinaten der Gargut- Bildpunkte der in der Datenbank abgespeicherten realen Bräunungskurven be- stimmt werden (S6b).
10. Verfahren (S1-S12) nach einem der Ansprüche 8 bis 9, bei dem nach Beginn des Garvorgangs (S8) Bilder des aktuellen Garguts (G) in vorgegebenen zeitlichen Ab- ständen aufgenommen werden (S9), aus diesen Bildern anhand der Gargut- Bildpunkte der Ist-Bräunungsgrad des Garguts (G) bestimmt wird (S10), anhand der Ist-Bräunungsgrade die Prädiktions-Bräunungskurve für das aktuelle Gargut (G) neu berechnet wird und aus der Prädiktions-Bräunungskurve für das aktuelle Gargut der Ziel-Bräunungsgrad angepasst wird.
11. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei welchem dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad anhand von zeichenbasiert beschriebenen Ziel-Bräunungsgraden einzugeben (S7).
12. Verfahren nach einem der Ansprüche 1 bis 9, bei welchem aus einer Datenbank (D) abgerufene reale Bilder des Garguts (G) oder eines ähnlichen Garguts mit un- terschiedlichen Bräunungsgraden zur Auswahl des Ziel-Bräunungsgrads angebo- ten werden.
13. Verfahren nach einem der Ansprüche 1 bis 9, bei welchem dem Nutzer angeboten wird, einen Ziel-Bräunungsgrad einzugeben, indem zusätzlich das ursprünglich aufgenommene Bild angezeigt wird und bei Auswahl eines Ziel-Bräunungsgrads durch den Nutzer das Gargut (G) in dem Bild als mit dem ausgewählten Ziel- Bräunungsgrad gebräunt angezeigt wird.
14. Verfahren (S1-S12) nach einem der vorhergehenden Ansprüche, bei dem das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis ein Abstand des Ziel- Bräunungsgrads in dem Farbraum von einem aktuellen Ist-Bräunungswert ein Mi- nimum durchlaufen hat (S10, S11).
15. Haushalts-Gargerät (1), aufweisend einen Garraum (2), mindestens einen in den Garraum (2) gerichteten Farbbildsensor (6), eine grafische Nutzerschnittstelle (8) sowie eine Datenverarbeitungseinrichtung (7), wobei das Haushalts-Gargerät (1) dazu eingerichtet ist,
- zu Beginn eines Garvorgangs mittels des mindestens einen Farbbildsensors (6) ein hellwert-separierbares Bild des Garraums zu erzeugen (S1-S2),
- mittels der Datenverarbeitungseinrichtung (7) an dem hellwert-separierbaren Bild eine Segmentierung durch Clusteranalyse anhand seiner Farbkoordinaten vorzunehmen, welche dem Gargut zugehörige Gargut-Bildpunkte und einer Umgebung des Garguts zugehörige Umgebungs-Bildpunkte ergibt (S3),
- einem Nutzer über die grafische Nutzerschnittstelle (8) angeboten wird, einen Ziel-Bräunungsgrad einzugeben (S7) und - mittels der Datenverarbeitungseinrichtung (7) während eines Garvorgangs zeit- lich beabstandet Bilder des Garraums aufzunehmen (S9), in diesen Bildern an- hand der Gargut-Bildpunkte einen jeweiligen Ist-Bräunungsgrad zu berechnen (S10) und den Ist-Bräunungsgrad mit dem Ziel-Bräunungsgrad zu vergleichen (S11) und
- das Gargut (G) so lange in dem Garraum (2) behandelt wird, bis der Ist- Bräunungsgrad den Ziel-Bräunungsgrad zumindest ungefähr erreicht hat (S12).
PCT/EP2021/084786 2021-01-07 2021-12-08 Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät WO2022148593A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21836083.2A EP4274997A1 (de) 2021-01-07 2021-12-08 Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
CN202180089596.5A CN116802681A (zh) 2021-01-07 2021-12-08 用于确定食物的烹饪时间结束的方法以及家用烹饪器具
US18/265,728 US20240044498A1 (en) 2021-01-07 2021-12-08 Method for determining the cooking end time of food, and household cooking appliance

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21290001 2021-01-07
EP21290001.3 2021-01-07

Publications (1)

Publication Number Publication Date
WO2022148593A1 true WO2022148593A1 (de) 2022-07-14

Family

ID=74418373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/084786 WO2022148593A1 (de) 2021-01-07 2021-12-08 Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät

Country Status (4)

Country Link
US (1) US20240044498A1 (de)
EP (1) EP4274997A1 (de)
CN (1) CN116802681A (de)
WO (1) WO2022148593A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230075208A1 (en) * 2021-09-07 2023-03-09 Whirlpool Corporation Generative food doneness prediction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272045A (ja) * 2000-03-27 2001-10-05 Sanyo Electric Co Ltd オーブン調理器
DE102016215550A1 (de) * 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut
EP3477206A1 (de) 2017-10-27 2019-05-01 Whirlpool Corporation Kochgerät mit einer benutzerschnittstelle
WO2019091741A1 (en) 2017-11-07 2019-05-16 Arcelik Anonim Sirketi An oven
US20200182481A1 (en) * 2015-05-05 2020-06-11 June Life, Inc. Connected food preparation system and method of use

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272045A (ja) * 2000-03-27 2001-10-05 Sanyo Electric Co Ltd オーブン調理器
US20200182481A1 (en) * 2015-05-05 2020-06-11 June Life, Inc. Connected food preparation system and method of use
DE102016215550A1 (de) * 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut
EP3477206A1 (de) 2017-10-27 2019-05-01 Whirlpool Corporation Kochgerät mit einer benutzerschnittstelle
WO2019091741A1 (en) 2017-11-07 2019-05-16 Arcelik Anonim Sirketi An oven

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG ET AL.: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, July 2017 (2017-07-01)
VIJAY BADRINARAYANANALEX KENDALLROBERTO CIPOLLA: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2017
WANG CONGHUI ET AL: "Baking Status Characterization of Baked Food Image Based on Superpixel Segmentation", 2019 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES (IST), IEEE, 9 December 2019 (2019-12-09), pages 1 - 6, XP033724468, DOI: 10.1109/IST48021.2019.9010460 *
WANG CONGHUI ET AL: "Uniformity Evaluation of Temperature Field in an Oven Based on Image Processing", IEEE ACCESS, IEEE, USA, vol. 8, 8 January 2020 (2020-01-08), pages 10243 - 10253, XP011767038, DOI: 10.1109/ACCESS.2019.2962783 *

Also Published As

Publication number Publication date
EP4274997A1 (de) 2023-11-15
CN116802681A (zh) 2023-09-22
US20240044498A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
DE102016215550A1 (de) Feststellen eines Bräunungsgrads von Gargut
CN106952246A (zh) 基于视觉注意特性的可见光红外图像增强彩色融合方法
DE102017101183A1 (de) Verfahren zum Betreiben eines Gargerätes und Gargerät
EP3770507A1 (de) Verfahren zum betreiben eines gargeräts und gargerät
EP3877703B1 (de) Verfahren zum betreiben eines haushalts-gargeräts und haushalts-gargerät
EP3715721A1 (de) Verfahren zum betreiben eines gargeräts und gargerät
DE102019200583A1 (de) Gargerät und Verfahren zum Betreiben eines Gargeräts
EP3864936A1 (de) Verfahren zum behandeln von gargut und haushalts-gargerät
DE102018221749A1 (de) Backofen und Steuerverfahren
EP2910856A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
EP4274997A1 (de) Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
DE102014210673A1 (de) Bestimmen einer Einschubebene eines Gargutträgers
EP3669318A1 (de) Verfahren und vorrichtung zur computergestützten haarbehandlungsberatung
WO2017182074A1 (de) System zur zubereitung von mindestens einem nahrungsmittel sowie verfahren zum betreiben des betreffenden systems
WO2020074478A1 (de) Verfahren zum zubereiten von gargut, gargerät und gargeräte-system
DE102019212364A1 (de) Betreiben eines Haushalts-Gargeräts mit mindestens einer Kamera
DE102018102123A1 (de) Verfahren sowie Gargerät zum Garen wenigstens eines Garguts
DE102019107828B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102014103457A1 (de) Verfahren zum Auswählen eines Garprogramms und Gargerät
WO2024074365A1 (de) Betreiben eines haushaltsgargeräts mit mindestens einer behandlungsraumkamera
DE102015103504A1 (de) Verfahren und Baugruppe zum Garen von Nahrungsmitteln
EP4051962A1 (de) Bestimmen eines ziel-verarbeitungszustands eines zu behandelnden garguts
DE102019119742A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
WO2019170447A1 (de) Interaktionsmodul
DE102016125507A1 (de) Verfahren zum Betreiben eines Gargerätes, Gargerät sowie digitales Speichermedium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21836083

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18265728

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180089596.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021836083

Country of ref document: EP

Effective date: 20230807