WO2024068414A1 - Identifizieren von gargut in einem wärmebild - Google Patents

Identifizieren von gargut in einem wärmebild Download PDF

Info

Publication number
WO2024068414A1
WO2024068414A1 PCT/EP2023/076024 EP2023076024W WO2024068414A1 WO 2024068414 A1 WO2024068414 A1 WO 2024068414A1 EP 2023076024 W EP2023076024 W EP 2023076024W WO 2024068414 A1 WO2024068414 A1 WO 2024068414A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
microwave
image
cooked
pixels
Prior art date
Application number
PCT/EP2023/076024
Other languages
English (en)
French (fr)
Inventor
Sebastian Sterz
Matthias Vogt
Kerstin RIGORTH
Christian Böttcher
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Publication of WO2024068414A1 publication Critical patent/WO2024068414A1/de

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
    • H05B6/645—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors using temperature sensors
    • H05B6/6455—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors using temperature sensors the sensors being infrared detectors

Definitions

  • the invention relates to a method for identifying food to be cooked in at least one pixel-based thermal image recorded from a cooking chamber of a microwave cooking appliance, in which microwave energy is radiated into the cooking chamber, a thermal image is recorded and pixels are identified which have temperature values increased by a predetermined temperature level in relation to the set of all pixels.
  • the invention also relates to a method for operating a microwave cooking appliance, in which a position of the food to be cooked in a thermal image is determined using the method and a cooking process is controlled using an evaluation of the pixels assigned to the food to be cooked.
  • the invention further relates to a microwave cooking appliance, having a cooking chamber to which microwaves can be applied, a thermal imaging camera provided for recording thermal images from the cooking chamber and a control device, wherein the microwave cooking appliance is set up to carry out the method.
  • the invention is particularly advantageously applicable to household microwave cooking appliances.
  • a precise determination of the food being cooked is important. This means in particular that a precise distinction should be made as to whether a pixel in the image of the field of view of a thermal imaging camera is assigned to or belongs to a part of the food being cooked or - irrelevant for the control of the cooking process - is assigned to an environment of the food being cooked such as a food carrier (e.g. plate, grill rack, baking tray%) or a cooking chamber wall.
  • a food carrier e.g. plate, grill rack, baking tray
  • the identification of an area assigned to the food to be cooked in an image of the cooking chamber can be done by a user by manually marking it on a touch-sensitive screen (“touchscreen”).
  • touch-sensitive screen touchscreen
  • Complex methods of image evaluation, in particular based on artificial intelligence (“AI”) methods, can also be used to automatically recognize the area of the food to be cooked in an image.
  • AI artificial intelligence
  • WO 2020/156928 A1 discloses a household cooking appliance.
  • the household cooking appliance has a cooking space heating device which is set up for localized heating of a cooking space and which can be operated with at least two configurations which generate different energy distributions in the cooking space, a temperature detection device which is set up for contactless detection of a heat distribution in the cooking space, and a data processing device , which is set up to distinguish a non-food area from at least one area of the cooking space occupied by food from the detected heat distribution and a control device which is used to set a current configuration of the cooking space heating device with a view to increasing an energy release into the detected food and for Controlling the cooking space heating device, the temperature detection device and the data processing device is set up, wherein the data processing device is set up to distinguish the non-cooked food area from the cooked food in the detected heat distribution based on a temperature difference between the non-cooked food area and the cooked food.
  • WO 2020/156929 A1 discloses a microwave device.
  • the microwave device has a microwave device which is set up to generate microwaves and to introduce the microwaves into a cooking space and which can be operated with at least two configurations which generate different field distributions of the microwaves in the cooking space, a temperature detection device which is used to detect a heat distribution in a contactless manner the cooking chamber is set up, a data processing device that is set up to recognize a non-food area in the cooking chamber from the detected heat distribution and a control device that is set up to set a current configuration of the microwave device and to operate the microwave device, whereby the Control device is set up to select or adjust at least one configuration of the microwave device with a view to reducing the power of the microwaves in the detected non-cooked food area.
  • EP 3 767 580 A1 discloses a control unit for a domestic appliance which has at least one reference mark in an interior space, wherein the reference mark has reference values for one or more different properties.
  • the control unit is designed to capture image data relating to the interior space of the domestic appliance using a camera of the domestic appliance and to identify the reference mark in the image data. Furthermore, the control unit is set up to determine actual values for the one or more properties of the reference mark based on the image data.
  • the control unit is also set up to process the image data depending on the actual values and depending on the reference values in order to determine object information in relation to an object in the interior of the household appliance and/or to provide an enhanced image in relation to the interior of the household appliance.
  • DE 10 2017 101 183 A1 discloses a method for operating a cooking appliance and a cooking appliance in which food is heated in a cooking chamber using a heating device.
  • the food is recorded using a camera device.
  • At least one characteristic value of the food is determined based on the recording of the food.
  • the heating device comprises a heat source with a plurality of separately controllable heating means.
  • One spatial segment of a plurality of spatial segments in the cooking chamber is specifically heated using at least one heating means.
  • the individual heating means are controlled depending on the characteristic value of the food.
  • WO 2016 170 734 A1 discloses a cooking appliance comprising: a microwave generation unit that generates microwaves; a heating chamber for accommodating an object to be heated; an infrared sensor installed within the heating chamber; a scanning unit that moves the infrared sensor for scanning; and a control unit that controls the microwave generation unit based on the output of the infrared sensor.
  • the infrared sensor obtains a plurality of temperature distributions by obtaining a temperature distribution each time the infrared sensor is scanned over a predetermined distance.
  • the control unit controls the microwave generation unit according to a temperature distribution obtained by summing the plurality of temperature distributions.
  • US 10 219 330 B2 discloses an electronic oven and an accompanying control system that avoid boiling or spattering in a heating chamber of the oven while an object in the chamber is being heated.
  • a method that may be performed by the control system includes evaluating sensor data from a visible light sensor and sensor data from an infrared light sensor.
  • the control is communicatively coupled to the visible light sensor and the infrared light sensor.
  • the method is aimed at responding to the evaluation of the sensor data Visible light sensor and the sensor data from the infrared light sensor to generate a spatter prediction.
  • the method is further directed to reducing a power level of the microwave energy source in response to the spatter prediction.
  • the controller is also communicatively coupled to the microwave energy source.
  • EP 2 618634 A1 discloses a microwave heating device and a method for heating a load using microwaves.
  • the microwave heating device comprises a cavity arranged to receive a load, a plurality of supply openings for supplying microwaves from a plurality of microwave generators to the cavity, and a control unit.
  • the control unit is configured to obtain a desired temperature pattern within the cavity based on information about a plurality of regions of the load, determine a heating pattern comprising corresponding zones of different intensity to adjust to the desired temperature pattern, and control at least some of the plurality of microwave generators to provide the heating pattern within the cavity.
  • WO 2012/109634 A1 discloses a device for processing objects with HF energy.
  • the device may include a display for displaying to a user an image of an object to be processed, the image including at least a first portion and a second portion of the object.
  • the device may also include an input device and at least one processor configured to: receive information based on input provided to the input device; and based on the received information, generate processing information for use in processing the object to achieve a first processing result in the first part of the object and a second processing result in the second part of the object.
  • EP 1 997 349 B1 discloses an electromagnetic heating device for heating an irregularly shaped object, comprising: a cavity in which an object is to be placed; at least one feeder that feeds UHF or microwave energy into the cavity; and a controller that controls one or more properties of the cavity or energy to ensure that the UHF or microwave energy is injected into the object uniformly within ⁇ 30% over at least 80% of the object's volume.
  • WO 2020/200913 A1 discloses a household appliance.
  • the household appliance has a treatment room for treating goods, in particular food to be cooked, at least one pattern light which is set up to radiate at least one light pattern into the treatment room, and at least one image sensor directed into the treatment room for recording the at least one light pattern reflected from the treatment room, whereby the sample lamp can be rotated by means of a motor and the household appliance is set up to determine at least one piece of contour information from the material irradiated by the light pattern from at least two reflected light patterns belonging to different rotation angles of the at least one sample lamp.
  • a method is used to determine contour information of goods located in a treatment room of a household appliance.
  • WO 2020/200913 A1 is particularly advantageously applicable to determining contour information of food to be cooked in an oven.
  • EP 3 574 711 A1 discloses methods and systems relating to improved human-machine interfaces for electronic ovens. Various methods for displaying information to the user are disclosed. Various methods for dividing segmentation and identification tasks between a user and a control system are disclosed.
  • an electronic oven includes a touch display, a heating chamber for heating an object, a light sensor having a field of view of at least a portion of the heating chamber, and a microwave energy source coupled to the heating chamber.
  • the oven also includes a computer-readable medium storing instructions for displaying the portion of the heating chamber as an image on the touch display using information from the light sensor and processing a touch input on the image.
  • EP 3 767 183 A1 discloses a method for detecting contamination of a household appliance. The method includes the steps of providing a reference image of a cavity or section of the household appliance, capturing a current image of the same cavity or section, comparing the current image with the reference image and generating a difference image of the same cavity or section and checking whether a pixel and/or a group of neighboring pixels of the difference image exceeds a predefined threshold value.
  • EP 2 055 146 B1 discloses how the geometric shape of an object can be determined by measuring with HF energy.
  • DE 10 2020 215 681 A1 discloses a household microwave appliance that is operated successively under several parameter configurations that treat the food to be cooked differently locally in order to carry out an initial scan by means of a thermal imaging sensor directed into the cooking chamber for determining temperature distributions on a surface of the food to be cooked in order to obtain change patterns from differences in different temperature distributions, for which an evaluation value is calculated which, based on a target temperature distribution resulting from a standardized target state and a current temperature distribution, determines the heating pattern that best approximates the current temperature distribution to the target temperature distribution and as a result the food to be cooked is exposed to microwave power with the parameter configuration associated with the heating pattern.
  • the task is solved by a method for identifying food to be cooked in at least one pixel-based thermal image recorded from a treatment room (“cooking room”) of a microwave oven, in which
  • a filling algorithm is executed which assigns to the food those pixels which belong to an image area bordered by at least some of the identified pixels.
  • the method uses the so-called “edge overheating effect", in which a heating image shows the frequently occurring behavior that the edges of the food are heated up strongly in some places when exposed to microwaves, especially initially, while the inner area of the food surface usually heats up significantly less or hardly at all.
  • the "edge overheating effect” occurs with practically all food that contains water. In principle, this effect makes the cooking process more difficult, as there is an increased energy input at the edges, while the center heats up only with difficulty.
  • this phenomenon now enables a possibility with little computational effort to capture the outer contour of the food and from this to achieve a distinction between image points belonging to the food and image points not belonging to the food. This assignment can also be referred to as "area masking".
  • the identification of food to be cooked in a thermal image corresponds in particular to the assignment of the image points as to whether a temperature is recorded on a surface of the food to be cooked or - conversely - a temperature not on a surface of the food to be cooked, but, for example, a temperature on a surface of another object such as a food support, a cooking space wall, etc. Identification therefore corresponds in particular to identifying the position of the food, not its type.
  • the cooking space serves to accommodate items to be treated, in particular cooked, by microwaves.
  • the cooking space can be exposed to microwaves. It often has a front loading opening that can be closed in a microwave-tight manner using a cooking chamber door.
  • the microwaves are generated by means of at least one microwave generator, for example a magnetron or a semiconductor-based microwave generator.
  • the microwaves can be introduced into the cooking chamber directly from the microwave generator or via a respective microwave guide. It is a further development that micro- waves are introduced into the cooking chamber via a microwave feed point ("microwave port") or via several microwave ports, possibly phase-shifted if there are several microwave ports, in particular with a variably adjustable phase shift.
  • Rotatable rotating antennas and/or stirrers can also be present on the microwave port in order to vary the mode image of the microwaves in the cooking chamber. In addition, the mode image in the area of the food being cooked can be varied by providing a turntable, if present.
  • the frequency of the microwaves can in particular be in the range between 2.4 GHz and 2.5 GHz, in particular at approx. 2.45 GHz, or in the range between 902 MHz and 928 MHz, in particular at approx. 915 MHz.
  • a semiconductor-based microwave generator makes it possible to specifically vary a frequency of the microwaves.
  • the pixel-based thermal image is in particular composed of a matrix-shaped arrangement of pixels, whereby the values associated with the pixels correspond to a temperature in the surface area measured by the respective pixels.
  • the pixel-based thermal image is typically recorded by a digital thermal imaging camera.
  • the thermal imaging camera is advantageously arranged in the area of a ceiling of the wall of the cooking space and is oriented in particular downwards or obliquely downwards.
  • a field of view of the thermal imaging camera advantageously includes at least the bottom of the cooking chamber wall, possibly also parts of the sides of the cooking chamber wall.
  • the microwave cooking appliance can also have several thermal imaging cameras, which advantageously take pictures of the cooking chamber from different angles.
  • the microwave oven has, in addition to the at least one digital thermal imaging camera, at least one digital "optical" cooking chamber camera that records images in the optical spectral range.
  • This is advantageous in order to be able to control a cooking process based on an optical property of the surface of the food to be cooked, such as a degree of browning, a change in color, a change in volume, etc.
  • the images taken can also be displayed to a user.
  • the optical cooking chamber camera can be, for example, a digital RGB color camera. It is a development that is advantageous for large-area detection of the food to be cooked, in that the optical cooking chamber camera is arranged in the area of a ceiling of the wall of the cooking chamber and is in particular aligned downwards or obliquely downwards. It is a further development that the thermal imaging camera and the optical cooking chamber camera are arranged close to one another, which has the advantage that the thermal images and the optical images show particularly similar areas of the cooking chamber and are particularly easy to compare.
  • the edge of the food is not only heated more than its outer "non-food” surroundings, but due to the "edge overheating effect” it is also usually heated more than the middle of the food.
  • the thermal image of the cooking chamber is recorded, which typically shows a temperature distribution of the surface of the food.
  • All image points of the thermal image have corresponding temperature values, with at least some image points assigned to the edge of the food to be cooked being identifiable in that they have a significantly higher temperature level or show a significantly higher temperature than the other image points.
  • the pixels with a higher temperature level can be distinguished from other pixels and thus identified, for example, by comparing threshold values.
  • These image points with a higher temperature level show at least sections of the edge or the outer contour of the food to be cooked from the perspective of the thermal imaging camera.
  • the filling algorithm then fills the area in the image plane which is delimited by the image points assigned to the edge of the food to be cooked or identifies the image points that lie in such an area. After carrying out the filling algorithm, those pixels that lie in the area, including its edge, are assigned to the food to be cooked. Conversely, those pixels that lie outside the surface, including its edge, are not included in the food being cooked.
  • the filling algorithm is designed in such a way that pixels previously assigned to the edge of the food are not assigned to the area corresponding to the food after the filling algorithm has been carried out, but to the non-food area. because they did not meet certain criteria of the filling algorithm for assignment to the area.
  • One embodiment involves recording a first thermal image before the microwave energy is radiated into the cooking chamber, recording a second thermal image after the microwave energy is radiated into the cooking chamber, creating a differential thermal image in which a temperature difference between the temperature value recorded with the second thermal image and the temperature value recorded with the first thermal image is calculated for each of the pixels, and identifying the pixels in the differential thermal image.
  • One embodiment is that the temperature differences are mapped or "normalized” to a value range [0; 1] (or other specified value range). This has the advantage that the method can be more easily adapted to different types of food and/or to different microwave operating parameters during microwave feed.
  • One embodiment identifies those pixels as being associated with the edge of the food that reach or exceed a predetermined temperature threshold. This is advantageously particularly easy to implement.
  • the temperature threshold value when the temperature differences are within a value range [0; 1], the temperature threshold value is in a range [0.2; 0.5]. This has proven to be a particularly good compromise between precise detection of the edge of the food to be cooked and a sufficiently closed edge. If the value of the temperature threshold value is too low, for example 0.1, the food G to be cooked is usually completely detected, but then large areas of the food support or the cooking chamber walls may also be incorrectly recognized as belonging to the food to be cooked. If the temperature threshold value is chosen too high, for example 0.7, only individual, particularly strongly heated edge segments of the food G are detected, which may be too little to reliably define an edge that is filled by the Starfill algorithm becomes. In addition, it is advantageous that by mapping the value range to a fixed range, the same threshold value can be appropriately applied to many different items to be cooked and/or different microwave operating parameters.
  • One embodiment is that an algorithm (hereinafter referred to as the "starfill” algorithm without loss of generality) is used as the filling algorithm, in which a pixel is assigned to the food if a number of directions radiating out from this pixel in a star shape, in which identified pixels are located, reaches or exceeds a minimum number.
  • the so-called "floodfill” algorithm which is often used in graphics programs to fill in bordered areas with color
  • the "FloodfiH” algorithm requires one of the inner points of the bordered area as a starting point, which are, by definition, unknown at the start of the evaluation.
  • the Starfill algorithm checks for a pixel in question whether there are pixels assigned to the food in different directions in the image plane of the thermal image, in particular the differential thermal image, which emanate in a star shape from this pixel.
  • the pixel in question is then assigned to the food if a predetermined minimum number of directions meet this condition.
  • the Starfill algorithm can carry out this check and subsequent assignment for all pixels of the thermal image, in particular the differential thermal image, for example row by row and column by column.
  • directions radiating "star-shaped" from a pixel are the symmetrical directions along the x-extension and the y-extension as well as, if applicable, the oblique directions lying evenly between these (main) extensions.
  • the smallest number of star-shaped directions for an interior point within the (x, y) matrix is four, namely starting from this image point
  • the next largest number of star-shaped directions is eight, namely starting from this pixel, the additional four directions through the next neighboring pixels, which are diagonal to the x or y extensions. In principle, this can be extended to 12, 16, 20, etc. directions. The higher the number of directions, the higher the accuracy of the assignment at diagonal edges of the border.
  • Edge points and corner points have a reduced number of possible directions available, namely two directions for corner points and three directions for edge points, if generally - for interior points - four directions are available, three directions for corner points and five directions for edge points, if generally - for interior points - eight directions are available, etc.
  • the Starfill algorithm is applied to a specific pixel and is subsequently applied to a next pixel, including the result for all previous pixels.
  • the starfill algorithm can be carried out row-wise and column-wise.
  • the filling algorithm is carried out several times ("recursively") for all pixels until there is no longer any change in the identified pixels.
  • the method can therefore assign the image points iteratively. This is particularly advantageous in order to achieve the most complete assignment of the image points to the food to be cooked or not to the food to be cooked.
  • the filling algorithm can be executed multiple times until a maximum number of passes or iterations has been reached.
  • the pixels assigned to the food being cooked are additionally converted to pixels of an optical digital camera of the microwave cooking appliance. This is particularly advantageous in order to improve optical monitoring (in the visible spectral range) of food being cooked, e.g. in relation to a degree of browning, a change in volume, etc., by comparing it with the present method, since information about the position of the food being cooked can thus be used for optical monitoring.
  • pixels of the thermal imaging camera that are not assigned to the food being cooked are converted to pixels of an optical digital camera of the microwave cooking appliance.
  • this can also be done the other way round, ie that pixels assigned to the food and/or pixels of an optical digital camera not assigned to the food are converted to corresponding pixels of the thermal imaging camera.
  • pixels assigned to the food and/or pixels of an optical digital camera not assigned to the food are converted to corresponding pixels of the thermal imaging camera.
  • a pixel of the optical thermal imaging camera that shows the same area of the food is also not assigned to the food.
  • the position of the food to be cooked is identified in an initial phase of a cooking process. This is particularly advantageous because the food to be cooked is not yet fully heated and the "edge overheating effect" is particularly pronounced. This in turn increases the reliability of the process.
  • One embodiment is that, while the microwave energy is radiated into the cooking chamber for the purpose of carrying out the method, at least one microwave operating parameter that changes a mode image of the microwaves in the cooking chamber is varied.
  • This advantageously avoids narrowly localized areas of space with high microwave energy (so-called "hot spots") or at least varies them to such an extent that a larger area of the food to be cooked is heated.
  • This is advantageous in order to be able to detect the increased heating of the edge of the food to be cooked caused by the "edge overheating effect" particularly well using the thermal imaging camera, especially over the entire edge if possible, or to keep the number and/or length of edge sections that do not heat up particularly strongly to a minimum.
  • This embodiment can be carried out particularly advantageously in connection with DE 102020215681 A1, especially in the context of the "initial scan" mentioned in DE 102020215681 A1, in which microwaves are fed into the cooking chamber under different parameter configurations, temperature distributions on the surface of the food to be cooked that belong to the parameter configurations are measured using the thermal imaging camera, and heating patterns are determined from differences between different temperature distributions.
  • the parameter configurations can then correspond in particular to the above microwave operating parameters.
  • a microwave operating parameter contains at least one parameter from the group
  • angle of rotation of the rotating antenna e.g. in the range [0°; 180°] or in the range [0°; 360°], e.g. in steps of 1°, 5° or 10°;
  • angle of rotation of the stirrer e.g. in the range [0°; 180°] or in the range [0°; 360°], e.g. in steps of 1°, 5° or 10°;
  • microwave generator with variable microwave frequency in particular a semiconductor-based microwave generator: microwave frequency, e.g. in the range [2.4 GHz;
  • phase difference e.g. in the range [0°, 360°]. It is advantageous if the turntable (if present) has rotated at least once around itself, the rotating antenna (if present) has rotated at least once around itself, the microwave frequency has been completely varied once (if possible), the phase differences have been run through once (if possible), etc.
  • the second thermal image is preferably recorded after an integer number of complete revolutions in order to ensure that the food being cooked is in the same position when the first and second thermal images are recorded. Otherwise, the thermal images would have to be aligned with one another using a suitable rotation matrix, which is also possible in principle.
  • the object is also achieved by a method for operating a microwave cooking device, in which the position of the food to be cooked is carried out using the method as described above and a cooking process is controlled based on an evaluation of at least the image points assigned to the food to be cooked, possibly also based on a combination of an evaluation of the pixels assigned to the food to be cooked and an evaluation of the pixels that are not assigned to the food to be cooked.
  • the method for operating the microwave cooking device can be designed analogously to the method for identifying food to be cooked described above, and vice versa, and has the same advantages.
  • the determination of the position of the food to be cooked can be used to identify a target cooking state more precisely and thus increase the reliability of success and improve the cooking result.
  • at least one action can be triggered, e.g. feeding microwaves can be stopped and/or a message can be issued to a user, etc.
  • the task is also solved by a microwave cooking device, having a cooking chamber that can be exposed to microwaves, a thermal imaging camera provided for recording thermal images from the cooking chamber and a control device, the micro- Wave cooking device, in particular its control device, is set up to carry out the method or methods as described above.
  • the microwave cooking device can be designed analogously to the methods and vice versa, and has the same advantages.
  • the microwave oven is in particular a household appliance.
  • the microwave cooking device can be a stand-alone microwave device or a combination device, e.g. a microwave device with an additional heat radiator, e.g. an electrical resistance heating element, in particular in the form of a tabletop device, or an oven with microwave functionality.
  • the microwave cooking device can have one or more of the following devices:
  • Fig.1 shows a sectional side view of a sketch of a microwave cooking appliance which is set up to carry out a method for identifying food to be cooked in a pixel-based thermal image taken from its cooking chamber;
  • Fig.2 shows a possible sequence of the procedure
  • Fig. 3 shows a pixel-based thermal image of a food placed on a plate before microwaves are fed in
  • Fig. 4 shows a pixel-based thermal image of the food placed on the plate from Fig. 2 after microwaves have been fed in;
  • Fig.5 shows a temperature difference image generated from the thermal images according to Fig.3 and Fig.4;
  • Fig. 6 shows an assignment of image points to the food to be cooked, derived from the temperature difference image, before application of the Starfill algorithm
  • Fig.7A shows an application of the Starfill algorithm for an interior point of the temperature difference image
  • Figure 7B shows an application of the Starfill algorithm to an edge point of the temperature difference image
  • Figure 7C shows an application of the Starfill algorithm to a corner point of the temperature difference image
  • Fig. 9 shows an assignment of image points to the food derived from the temperature difference image after further application of the Starfill algorithm.
  • Fig. 1 shows a sectional view in side view of a sketch of a microwave cooking device 1 with a cooking chamber 2, which is used to carry out a method for identifying food G in a pixel-based thermal image W1, W2 recorded from a cooking chamber 2 (see Fig. 3 and Fig. 4). is set up.
  • the cooking chamber 2 can be closed at its front loading opening by a cooking chamber door 3.
  • the microwave oven 1 is designed, purely by way of example, as an oven with microwave functionality, in which the food G to be cooked can typically be placed on a food support 4 located in a specific insertion level, such as a baking tray or grid, etc., for example lying on a cooking utensil such as a plate 5.
  • the microwave cooking appliance 1 has a microwave generator 6, in particular a semiconductor-based one, for generating microwaves, in particular in a range [2.4 GHz; 2.5 GHz].
  • the microwaves generated are guided via a microwave guide 7, in particular in the form of a waveguide, to a microwave feed point 8 and fed there into the cooking chamber 2.
  • a rotatable antenna 9 is located at the microwave feed point 8 for the purpose of mode variation.
  • a pixel-based thermal imaging camera 11 for taking thermal images W1, W2 is located on a ceiling 10 of the cooking chamber 2, which is directed into the cooking chamber 2 from above and has the cooking chamber 2 with the food G to be cooked therein in its field of view.
  • the microwave cooking appliance 1 can also have an optical digital camera 12, in particular also arranged on the ceiling 10 of the cooking chamber 2, specifically close to the thermal imaging camera 11.
  • the microwave generator 6, a motor of the rotating antenna 9, as well as the thermal imaging camera 11 and, if applicable, the optical digital camera 12 can be controlled by means of a control device 13.
  • the control device 13 can also be set up to carry out the method described below.
  • Fig.2 shows a possible sequence of the method for identifying the position of the food G to be cooked in a thermal image W1, W2.
  • a step S1 the food G to be cooked is placed on the food support 4, possibly on or in a dish such as a plate 5, a bowl, etc.
  • a microwave power is set.
  • a first thermal image W1 of the not yet heated food G is recorded from the cooking chamber 2, which is shown in FIG. 3 with a temperature scale on the right edge.
  • the thermal image W1 for example, a plate with food G cooked at room temperature (here: ravioli with sauce in a round soup plate) is shown.
  • the thermal image records the IR image points arranged in the form of an (x, y) matrix, the values of which correspond to the local surface temperatures of the objects located in the field of view of the thermal imaging camera 11 or at least correlate with the surface temperatures.
  • a temperature distribution in the cooking space 2 is mapped onto a matrix of (x ⁇ y) IR pixels, whereby the thermal imaging cameras 11 that can be used expediently can have several hundred to several thousand individual pixels.
  • the method can also be used for spatially distributed and separated food to be cooked, for example individual potatoes with a piece of meat next to them.
  • microwaves with the set microwave power are irradiated into the cooking chamber 2, with at least one microwave operating parameter changing a mode image of the microwaves in the cooking chamber 2 being varied during the irradiation, for example a rotation angle of the rotary antenna 9 and/or a microwave frequency.
  • the rotary antenna 9 can be rotated continuously during this initial phase or this “initial scan”. It is advantageous here that the largest possible number of different field distributions or mode images is passed through in order to bring about a temperature increase in as many areas of the food G as possible.
  • Step S3 can be carried out for a predetermined duration, e.g. between 10 s and 30 s, although this can (e.g. analogous to the initial scan described in DE 10 2020 215 681 A1) be dependent on the set power, a thermal mass of the food G and the absorption capacity of the food G, for example. It is advantageous if in step S3 the rotating antenna 9 has rotated around itself at least once, the microwave frequency has been varied completely once (if possible), the phase differences have been run through once (if possible), etc.
  • a predetermined duration e.g. between 10 s and 30 s, although this can (e.g. analogous to the initial scan described in DE 10 2020 215 681 A1) be dependent on the set power, a thermal mass of the food G and the absorption capacity of the food G, for example. It is advantageous if in step S3 the rotating antenna 9 has rotated around itself at least once, the microwave frequency has been varied completely once (if possible), the phase differences have been run through once (if possible), etc.
  • step S3 a second thermal image W2, which is shown in FIG. 4, is recorded in step S4.
  • the food G is heating up significantly more than the walls of the cooking space or visible parts of the plate on which the food G is positioned.
  • the “edge overheating effect” can also be seen, in which an edge of the food G to be cooked is heated particularly strongly, while the inner area of the surface of the food G to be cooked usually heats up significantly less or hardly noticeably.
  • step S5 a differential thermal image DW is created (see FIG. 5), in which a temperature difference ("temperature swing") between the temperature value recorded with the second thermal image W2 and the temperature value recorded with the first thermal image W1 is calculated for each of the image points.
  • step S6 pixels are identified in the differential thermal image DW which have temperature values increased by a predetermined temperature level in relation to the set of all pixels in the differential thermal image DW. These pixels form a corresponding image pattern BM0 in the (x, y) matrix M, as shown in Fig.6.
  • Step S6 can be implemented, for example, in such a way that in a first sub-step S6A the temperature differences are mapped to a value range [0; 1].
  • the lowest value of the temperature differences of all 768 pixels is set to the value zero, and the highest value of the temperature differences of all pixels is set to the value one. If, for example, the lowest value were 3 °C and the highest value were 13 °C, the set of temperature differences ⁇ 3; 5; 10; 13 ⁇ would be mapped to the set ⁇ 0; 0.2; 0.7; 1 ⁇ .
  • a predetermined temperature threshold here e.g. 0.27
  • step S7 a filling algorithm in the form of a starfill algorithm is therefore applied to the initial image pattern BM0, in which a pixel is assigned to the food item G if a number of directions radiating from this pixel in a star shape, in which identified pixels are located, reaches or exceeds a minimum number.
  • a starfill algorithm with a total of eight star-shaped directions is considered as an example.
  • the corner point has three possible directions extending from it in a star shape, namely the x direction, the y direction and an (x , y)-oblique direction.
  • image points identified as belonging to the food to be cooked are (filled) in the x-direction and in the y-direction, as indicated by the solid arrows.
  • a distance between the identified pixels and the corner point is irrelevant in the present exemplary embodiment, but can generally be taken into account.
  • there is no identified image point in the (x, y) oblique direction as indicated by the dotted arrow. If the vertex is the same as: Food G is assigned if there is at least one identified image point in at least two of the directions, this would be the case for the corner point shown.
  • the starfill algorithm is indicated for an image point located as an edge point in the matrix M and marked by a filled circle: the edge point has five possible directions extending from it in a star shape, namely the x direction, the (-x) -direction, the y-direction, the (x, y)-oblique direction and the (-x, y)-oblique direction.
  • image points identified as belonging to the food to be cooked lie in the (-x) direction, in the y-direction and in the (x, y) oblique direction, as indicated by the solid arrows.
  • edge point is assigned to the food G to be cooked if there is at least one identified image point in at least three of the directions, this would be the case for the edge point shown.
  • the starfill algorithm is indicated for an image point lying as an interior point in the matrix M and marked by a filled circle: the interior point has all eight possible directions emanating from it in a star shape, namely the x-direction, the (-x)-direction, the y-direction, the (-y)-direction, the (x, y)-oblique direction, the (-x, y)-oblique direction, the (x, -y)-oblique direction and the (-x, -y)-oblique direction.
  • image points identified as belonging to the food to be cooked lie in the x-direction, in the (- x)-direction, in the y-direction, in the (-y)-direction, in the (-x, y)-oblique direction and in the (x, -y)-oblique direction, as indicated by the solid arrows.
  • the Starfill algorithm can be applied to all pixels of the matrix M in one pass.
  • the Starfill algorithm can be performed row by row and column by column.
  • the Starfill algorithm is particularly suitable for filling edge contours with openings. Simple filling algorithms such as "Floodfill", which captures areas of connected pixels of one color, are unsuitable for non-closed contours.
  • the Starfill algorithm is particularly suitable for images or pixel matrices with a relatively low resolution.
  • a step S8 it is checked whether (a) a maximum number ("recursion number") of applications or runs of the Starfill algorithm has been reached or whether (b) there is no longer any change in successive runs of the Starfill algorithm, if necessary .depending on which condition occurs first.
  • Fig.9 shows the (x, y) matrix M with an image pattern BMn, to which the Starfill algorithm has been applied n times with n > 1.
  • step S9 the method is terminated, whereby the pixels then identified as belonging to the food can be used as the basis for the following method steps S10 of at least one method for operating the microwave cooking appliance 1, e.g. a method for recognizing a target cooking state of the food G.
  • the identified pixels can serve as a "mask”, for example, which are used further in the following method(s), while all pixels that do not belong to the mask are ignored or "masked out”.
  • the method described makes it possible to achieve extremely precise masking of the food G to be cooked.
  • the process particularly avoids surfaces that only heat up slightly, such as the wide edge of the soup plate Embodiment example or other tableware parts.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Electric Ovens (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (S1-S9) zum Identifizieren von Gargut (G) in mindes- tens einem aus einem Garraum (2) eines Mikrowellengargeräts (1) aufgenommenen bild- punktbasierten Wärmebild (W1, W2), bei dem Mikrowellenenergie in den Garraum (2) eingestrahlt wird, ein Wärmebild (W2) aufgenommen wird, Bildpunkte identifiziert werden, die in Bezug auf die Menge aller Bildpunkte um ein vorgegebenes Temperaturniveau er- höhte Temperaturwerte aufweisen, und ein Füllalgorithmus ausgeführt wird, der Bildpunk- te dem Gargut (G) zugerechnet, die zu einer durch zumindest einige der identifizierten Bildpunkte umrandeten Bildfläche gehören. Die Erfindung betrifft auch ein Mikrowellen- gargerät (1), aufweisend einen mit Mikrowellen beaufschlagbaren Garraum (2), eine zum Aufnahmen von Wärmebildern (W1, W2) aus dem Garraum (2) vorgesehene Wärmebild- kamera (11) und eine Steuereinrichtung (13), wobei das Mikrowellengargerät (1) dazu eingerichtet ist, das Verfahren (S1-S9; S1-S10) durchzuführen. Die Erfindung ist insbe- sondere vorteilhaft anwendbar auf Haushalts-Mikrowellengargeräte.

Description

Identifizieren von Gargut in einem Wärmebild
Die Erfindung betrifft ein Verfahren zum Identifizieren von Gargut in mindestens einem aus einem Garraum eines Mikrowellengargeräts aufgenommenen bildpunktbasierten Wärmebild, bei dem Mikrowellenenergie in den Garraum eingestrahlt wird, ein Wärmebild aufgenommen wird und Bildpunkte identifiziert werden, die in Bezug auf die Menge aller Bildpunkte um ein vorgegebenes Temperaturniveau erhöhte Temperaturwerte aufweisen. Die Erfindung betrifft auch ein Verfahren zum Betreiben eines Mikrowellengargeräts, bei dem eine Position des Garguts in einem Wärmebild anhand des Verfahrens festgestellt wird und ein Garvorgang anhand einer Auswertung der dem Gargut zugerechneten Bildpunkte gesteuert wird. Die Erfindung betrifft ferner ein Mikrowellengargerät, aufweisend einen mit Mikrowellen beaufschlagbaren Garraum, eine zum Aufnahmen von Wärmebildern aus dem Garraum vorgesehene Wärmebildkamera und eine Steuereinrichtung, wobei das Mikrowellengargerät dazu eingerichtet ist, das Verfahren durchzuführen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Haushalts-Mikrowellengargeräte.
Für fortgeschrittene Steuerungen von Garvorgängen in Mikrowellengargeräten zur Verbesserung eines Zubereitungsergebnisses, die auf Basis von bildbasierten Infrarot (IR)- bzw. Wärmestrahlungsmessungen arbeiten, ist eine präzise Bestimmung des Garguts wichtig. Dies bedeutet insbesondere, dass eine präzise Unterscheidung vorgenommen werden sollte, ob ein Bildpunkt der Abbildung des Sichtbereichs einer Wärmebildkamera einem Teilbereich des Garguts zugeordnet bzw. zugehörig ist oder - für die Steuerung des Garvorgangs unerheblich - einer Umgebung des Garguts wie einem Gargutträger (z.B. Teller, Grillrost, Backblech...) oder einer Garraumwandung zugeordnet ist.
Die Identifizierung eines Gargut zugeordnetem Bereich in einem Bild des Garraums kann durch einen Nutzer durch manuelles Markieren auf einem berührungsempfindlichen Bildschirm ("Touchscreen") erfolgen. Dies ist jedoch wenig nutzerfreundlich und zudem häufig ungenau. Auch können komplexe Methoden der Bildauswertung, insbesondere auf Basis von Methoden der künstlichen Intelligenz ("Kl"), verwendet werden, um den Gargutbereich in einem Bild automatisch zu erkennen. Jedoch ist dies sehr rechen- und trainingsintensiv. WO 2020/156928 A 1 offenbart ein Haushalts-Gargerät. Das Haushalts-Gargerät weist eine Garraumerwärmungseinrichtung, die zum lokalisierten Erwärmen eines Garraums eingerichtet ist und die mit mindestens zwei Konfigurationen betreibbar ist, welche unterschiedliche Energieverteilungen in dem Garraum erzeugen, eine Temperaturerfassungseinrichtung, die zum kontaktlosen Erfassen einer Wärmeverteilung in dem Garraum eingerichtet ist, eine Datenverarbeitungseinrichtung, die zum Unterscheiden eines Nicht- Gargut-Bereichs von mindestens einem mit Gargut belegten Bereichs des Garraums aus der erfassten Wärmeverteilung eingerichtet ist und eine Steuereinrichtung, die zum Einstellen einer aktuellen Konfiguration der Garraumerwärmungseinrichtung im Hinblick auf eine Erhöhung einer Energieabgabe in das erkannte Gargut und zum Steuern der Garraumerwärmungseinrichtung, der Temperaturerfassungseinrichtung und der Datenverarbeitungseinrichtung eingerichtet ist, auf, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, den Nicht-Gargut- Bereich von dem Gargut in der erfassten Wärmeverteilung anhand eines Temperaturunterschieds zwischen dem Nicht-Gargut-Bereich und dem Gargut zu unterscheiden.
WO 2020/156929 A1 offenbart ein Mikrowellengerät. Das Mikrowellengerät weist eine Mikrowelleneinrichtung, die zum Erzeugen von Mikrowellen und zum Einleiten der Mikrowellen in einen Garraum eingerichtet ist und die mit mindestens zwei Konfigurationen betreibbar ist, welche unterschiedliche Feldverteilungen der Mikrowellen in dem Garraum erzeugen, eine Temperaturerfassungseinrichtung, die zum kontaktlosen Erfassen einer Wärmeverteilung in dem Garraum eingerichtet ist, eine Datenverarbeitungseinrichtung, die zum Erkennen eines Nicht-Gargut-Bereichs in dem Garraum aus der erfassten Wärmeverteilung eingerichtet ist und eine Steuereinrichtung, die zum Einstellen einer aktuellen Konfiguration der Mikrowelleneinrichtung und zum Betreiben der Mikrowelleneinrichtung eingerichtet ist, auf, wobei die Steuereinrichtung dazu eingerichtet ist, mindestens eine Konfiguration der Mikrowelleneinrichtung im Hinblick auf Verringerung einer Leistung der Mikrowellen in dem erkannten Nicht-Gargut-Bereich auszuwählen oder einzustellen.
EP 3 767 580 A1 offenbart eine Steuereinheit für ein Hausgerät, das in einem Innenraum zumindest eine Referenz-Marke aufweist, wobei die Referenz-Marke Referenzwerte für ein oder mehrere unterschiedliche Eigenschaften aufweist. Die Steuereinheit ist eingerichtet, mittels einer Kamera des Hausgeräts Bilddaten in Bezug auf den Innenraum des Hausgeräts zu erfassen, und die Referenz-Marke in den Bilddaten zu identifizieren. Des Weiteren ist die Steuereinheit eingerichtet, auf Basis der Bilddaten Istwerte für die ein oder mehreren Eigenschaften der Referenz-Marke zu ermitteln. Die Steuereinheit ist ferner eingerichtet, die Bilddaten in Abhängigkeit von den Istwerten und in Abhängigkeit von den Referenzwerten zu bearbeiten, um Objekt- Information in Bezug auf ein Objekt im Innenraum des Hausgeräts zu ermitteln und/oder um ein aufgewertetes Bild in Bezug auf den Innenraum des Hausgeräts bereitzustellen.
DE 10 2017 101 183 A1 offenbart ein Verfahren zum Betreiben eines Gargerätes sowie ein Gargerät, bei dem mit einer Heizeinrichtung Gargut in einem Garraum erwärmt wird. Das Gargut wird mit einer Kameraeinrichtung erfasst. Anhand der Erfassung des Garguts wird wenigstens eine Gargutkenngröße ermittelt. Dabei umfasst die Heizeinrichtung eine Heizquelle mit einer Mehrzahl separat ansteuerbarer Heizmittel. Mit jeweils wenigstens einem Heizmittel wird ein räumliches Segment von einer Mehrzahl von räumlichen Segmenten im Garraum gezielt beheizt. Die Ansteuerung der einzelnen Heizmittel wird in Abhängigkeit der Gargutkenngröße vorgenommen.
WO 2016 170 734 A1 offenbart ein Kochgerät, umfassend: eine Mikrowellenerzeugungseinheit, die Mikrowellen erzeugt; eine Heizkammer zum Aufnehmen eines zu erwärmenden Objekts; einen Infrarotsensor, der innerhalb der Heizkammer installiert ist; eine Scaneinheit, die den Infrarotsensor zum Scannen bewegt; und eine Steuereinheit, die die Mikrowellenerzeugungseinheit auf der Grundlage der Ausgabe des Infrarotsensors steuert. Der Infrarotsensor erhält eine Vielzahl von Temperaturverteilungen durch Erhalten einer Temperaturverteilung jedes Mal, wenn der Infrarotsensor über einen vorbestimmten Abstand gescannt wird. Die Steuereinheit steuert die Mikrowellenerzeugungseinheit gemäß einer Temperaturverteilung, die durch Summieren der Vielzahl von Temperaturverteilungen erhalten wird.
US 10 219 330 B2 offenbart einen elektronischen Ofen und ein begleitendes Steuersystem, die ein Kochen oder Spritzen in einer Heizkammer des Ofens vermeiden, während ein Gegenstand in der Kammer erhitzt wird. Ein Verfahren, das von dem Steuersystem ausgeführt werden kann, umfasst das Auswerten von Sensordaten von einem Sensor für sichtbares Licht und Sensordaten von einem Infrarotlichtsensor. Die Steuerung ist kommunikativ mit dem Sensor für sichtbares Licht und dem Infrarotlichtsensor gekoppelt. Das Verfahren ist darauf gerichtet, ansprechend auf die Auswertung der Sensordaten des Sensors für sichtbares Licht und der Sensordaten des Infrarotlichtsensors eine Spritzervorhersage zu erzeugen. Das Verfahren ist ferner darauf gerichtet, einen Leistungspegel der Mikrowellenenergiequelle als Reaktion auf die Spritzervorhersage zu verringern. Die Steuerung ist auch kommunikativ mit der Mikrowellenenergiequelle gekoppelt.
EP 2 618634 A1 offenbart eine Mikrowellenheizvorrichtung und ein Verfahren zum Erhitzen einer Last unter Verwendung von Mikrowellen. Die Mikrowellenheizvorrichtung umfasst einen Hohlraum, der angeordnet ist, um eine Last aufzunehmen, eine Vielzahl von Zufuhröffnungen zum Zuführen von Mikrowellen von einer Vielzahl von Mikrowellengeneratoren zu dem Hohlraum und eine Steuereinheit. Die Steuereinheit ist dazu konfiguriert, ein gewünschtes Temperaturmuster innerhalb des Hohlraums basierend auf Informationen über mehrere Bereiche der Last zu erhalten, ein Erwärmungsmuster zu bestimmen, das entsprechende Zonen unterschiedlicher Intensität umfasst auf das gewünschte Temperaturmuster einzustellen und mindestens einige der Vielzahl von Mikrowellengeneratoren zu steuern, um das Heizmuster innerhalb des Hohlraums bereitzustellen.
WO 2012/109634 A1 offenbart eine Vorrichtung zum Bearbeiten von Objekten mit HF- Energie. Die Vorrichtung kann eine Anzeige umfassen, um einem Benutzer ein Bild eines zu verarbeitenden Objekts anzuzeigen, wobei das Bild mindestens einen ersten Abschnitt und einen zweiten Abschnitt des Objekts enthält. Die Vorrichtung kann auch eine Eingabeeinheit und mindestens einen Prozessor umfassen, der konfiguriert ist zum: Empfangen von Informationen basierend auf einer Eingabe, die der Eingabeeinheit bereitgestellt wird; und basierend auf den empfangenen Informationen Verarbeitungsinformationen zur Verwendung bei der Verarbeitung des Objekts zu erzeugen, um ein erstes Verarbeitungsergebnis in dem ersten Teil des Objekts und ein zweites Verarbeitungsergebnis in dem zweiten Teil des Objekts zu erzielen.
EP 1 997 349 B1 offenbart eine elektromagnetische Heizvorrichtung zum Erhitzen eines unregelmäßig geformten Objekts, umfassend: einen Hohlraum, in dem ein Objekt platziert werden soll; mindestens eine Zuführung, die UHF- oder Mikrowellenenergie in die Kavität einspeist; und eine Steuerung, die eine oder mehrere Eigenschaften des Hohlraums oder der Energie steuert, um sicherzustellen, dass die UHF- oder Mikrowellenenergie gleichmäßig innerhalb von ±30 % über mindestens 80 % des Volumens des Objekts in das Objekt eingespeist wird. WO 2020/200913 A1 offenbart ein Haushaltsgerät. Das Haushaltsgerät weist einen Behandlungsraum zum Behandeln von Gut, insbesondere Gargut, mindestens eine Musterleuchte, die zur Einstrahlung mindestens eines Lichtmusters in den Behandlungsraum eingerichtet ist, und mindestens einen in den Behandlungsraum gerichteten Bildsensor zur Aufnahme des mindestens einen aus dem Behandlungsraum reflektierten Lichtmusters, auf wobei die Musterleuchte mittels eines Motors drehbar ist und das Haushaltsgerät dazu eingerichtet ist, aus mindestens zwei zu unterschiedlichen Drehwinkeln der mindestens einen Musterleuchte gehörigen reflektierten Lichtmustern mindestens eine Konturinformation von durch das Lichtmuster bestrahltem Gut zu bestimmen. Ein Verfahren dient zum Bestimmen von Konturinformation von in einem Behandlungsraum eines Haushaltsgeräts befindlichem Gut. WO 2020/200913 A1 ist insbesondere vorteilhaft anwendbar auf ein Bestimmen von Konturinformation von Gargut in einem Backofen.
EP 3 574 711 A1 offenbart Verfahren und Systeme in Bezug auf verbesserte Mensch- Maschine-Schnittstellen für elektronische Öfen. Es werden verschiedene Verfahren zum Anzeigen von Informationen für den Benutzer offenbart. Es werden verschiedene Verfahren zum Aufteilen von Segmentierungs- und Identifizierungsaufgaben zwischen einem Benutzer und einem Steuersystem offenbart. In einem Beispiel umfasst ein elektronischer Ofen ein Berührungsdisplay, eine Heizkammer zum Erhitzen eines Gegenstands, einen Lichtsensor mit einem Sichtfeld von mindestens einem Teil der Heizkammer und eine mit der Heizkammer gekoppelte Mikrowellenenergiequelle. Der Ofen beinhaltet auch ein computerlesbares Medium, das Anweisungen zum Anzeigen des Abschnitts der Heizkammer als ein Bild auf dem Berührungsdisplay unter Verwendung von Informationen von dem Lichtsensor speichert und eine Berührungseingabe auf dem Bild verarbeitet.
EP 3 767 183 A1 offenbart ein Verfahren zum Erkennen einer Verschmutzung eines Haushaltsgeräts. Das Verfahren umfasst die Schritte Bereitstellen eines Referenzbildes eines Hohlraums oder Abschnitts des Haushaltsgeräts, Erfassen eines aktuellen Bilds desselben Hohlraums oder Abschnitts, Vergleichen des aktuellen Bilds mit dem Referenzbild und Erzeugen eines Differenzbildes derselben Kavität bzw. desselben Abschnitts und Prüfen, ob ein Pixel und/oder eine Gruppe benachbarter Pixel des Differenzbildes einen vordefinierten Schwellenwert überschreitet. EP 2 055 146 B1 offenbart, wie durch zeigt, wie durch Messen mit HF-Energie die geometrische Form eines Objekts bestimmt werden kann.
DE 10 2020 215 681 A1 offenbart ein Haushalts-Mikrowellengerät, das nacheinander unter mehreren Parameterkonfiguration betrieben wird, die Gargut lokal unterschiedlich behandeln, um mittels eines in den Garraum gerichteten Wärmebildsensors zum Bestimmen von Temperaturverteilungen an einer Oberfläche des Garguts einen Initialscan auszuführen, um Veränderungsmuster aus Differenzen von unterschiedlichen Temperaturverteilungen zu erhalten, für welche ein Bewertungswert berechnet wird, der, basierend auf einer Ziel-Temperaturverteilung, welche sich aus einem normierten Zielzustand und einer aktuellen Temperaturverteilung ergibt, dasjenige Erwärmungsmuster bestimmt, welches die aktuelle Temperaturverteilung am besten an die Ziel-Temperaturverteilung annähert und in der Folge das Gargut mit der zum Erwärmungsmuster gehörigen Parameterkonfiguration mit Mikrowellenleistung beaufschlagt wird.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereitzustellen, Gargut in einem aus einem Garraum eines Mikrowellengargeräts aufgenommenen bildpunktbasierten Bild zu erkennen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zum Identifizieren von Gargut in mindestens einem aus einem Behandlungsraum ("Garraum") eines Mikrowellengargeräts aufgenommenen bildpunktbasierten Wärmebild, bei dem
- Mikrowellenenergie in den Garraum eingestrahlt wird,
- ein Wärmebild aufgenommen wird,
- Bildpunkte identifiziert werden, die in Bezug auf die Menge aller Bildpunkte um ein vorgegebenes Temperaturniveau erhöhte Temperaturwerte aufweisen,
- ein Füllalgorithmus ausgeführt wird, der Bildpunkte dem Gargut zurechnet, die zu einer durch zumindest einige der identifizierten Bildpunkte umrandeten Bildfläche gehören. Dieses Verfahren ergibt den Vorteil, dass es - beispielsweise im Gegensatz zu einem manuellen Markieren auf einem Touchscreen oder automatisiert durch Methoden der Kl- Bilderkennung - sehr präzise, nutzerfreundlich, wenig rechenaufwändig und damit sehr schnell ist und zudem automatisch abläuft.
Das Verfahren nutzt den sog. "Edge Overheating Effect" aus, bei dem ein Erwärmungsbild das häufig auftretende Verhalten zeigt, dass Ränder des Garguts bei, insbesondere anfänglicher, Beaufschlagung mit Mikrowellen an einigen Stellen stark erwärmt werden, während sich der innere Bereich der Gargutoberfläche zumeist deutlich weniger bis kaum nennenswert erwärmt. Der "Edge Overheating Effect" tritt bei praktisch jedem Gargut mit Wasseranteil auf. Dieser Effekt erschwert zwar prinzipiell den Garvorgang, da so an den Rändern ein erhöhter Energieeintrag vorzufinden ist, während sich das Zentrum nur schwer erwärmt. Jedoch ermöglicht dieses Phänomen nun eine mit wenig Rechenaufwand verbundene Möglichkeit, die Außenkontur des Garguts zu erfassen und daraus eine Unterscheidung zwischen dem Gargut zugehörigen Bildpunkten und nicht dem Gargut zugehörigen Bildpunkten zu erreichen. Diese Zuordnung kann auch als "flächige Maskierung" bezeichnet werden.
Das Identifizieren von Gargut in einem Wärmebild entspricht insbesondere der Zuordnung der Bildpunkte dahingehend, ob eine Temperatur an einer Oberfläche des Garguts erfasst wird oder - im Umkehrschluss - eine Temperatur nicht an einer Oberfläche des Garguts, sondern z.B. eine Temperatur an einer Oberfläche eines anderen Objekts wie eines Gargutträgers, einer Garraumwandung usw. Das Identifizieren entspricht somit insbesondere einem Identifizieren der Position des Garguts, nicht seiner Art.
Der Garraum dient zur Unterbringung von durch Mikrowellen zu behandelndem, insbesondere zu garenden, Behandlungsgut. Der Garraum ist durch Mikrowellen beaufschlagbar. Er weist häufig eine frontseitige Beschickungsöffnung auf, die mittels einer Garraumtür mikrowellendicht verschließbar ist.
Die Mikrowellen werden mittels mindestens eines Mikrowellengenerators erzeugt, beispielsweise eines Magnetrons oder eines halbleiterbasierten Mikrowellengenerators. Die Mikrowellen können von dem Mikrowellengenerator direkt oder über eine jeweilige Mikrowellenführung in den Garraum eingeleitet werden. Es ist eine Weiterbildung, dass Mikro- wellen über einen Mikrowelleneinspeisungspunkt ("Mikrowellenport") oder über mehrere Mikrowellenports in den Garraum eingeleitet werden, bei mehreren Mikrowellenports ggf. phasenverschoben, insbesondere mit einer variabel einstellbaren Phasenverschiebung. Auch können an dem Mikrowellenport vorhandene drehbare Drehantennen und/oder Stirrer vorhanden sein, um das Modenbild der Mikrowellen in dem Garraum zu variieren. Zudem kann das Modenbild im Bereich des Garguts durch Vorsehen eines Drehtellers variiert werden, falls vorhanden. Die Frequenz der Mikrowellen kann insbesondere im Bereich zwischen 2,4 GHz und 2,5 GHz liegen, insbesondere bei ca. 2,45 GHz, oder im Bereich zwischen 902 MHz und 928 MHz, insbesondere bei ca. 915 MHz liegen. Insbesondere ein halbleiterbasierter Mikrowellengenerator ermöglicht es, eine Frequenz der Mikrowellen gezielt zu variieren.
Das bildpunktbasierte Wärmebild ist insbesondere aus einer matrixförmigen Anordnung von Bildpunkten bzw. Pixeln aufgebaut, wobei die den Bildpunkten zugehörigen Werte einer Temperatur in dem durch die jeweiligen Bildpunkte ausgemessenen Oberflächenbereich entsprechen.
Das bildpunktbasierte Wärmebild wird typischerweise durch eine digitale Wärmebildkamera aufgenommen. Die Wärmebildkamera ist zur großflächigen Erfassung des Garguts vorteilhafterweise im Bereich einer Decke der Wandung des Garraum angeordnet und insbesondere nach unten oder schräg unten ausgerichtet. Ein Sichtfeld der Wärmebildkamera umfasst vorteilhafterweise mindestens den Boden der Garraumwandung, ggf. auch Teile der Seiten der Garraumwandung.
Das Mikrowellengargerät kann aber auch mehrere Wärmebildkameras aufweisen, die vorteilhafterweise Bilder aus dem Garraum aus unterschiedlichen Winkeln aufnehmen.
Es ist eine Weiterbildung, dass das Mikrowellengargerät zusätzlich zu der mindestens einen digitalen Wärmebildkamera mindestens eine im optischen Spektralbereich Bilder aufnehmende digitale "optische" Garraumkamera aufweist. Dies ist vorteilhaft, um einen Garvorgang auch anhand einer optischen Eigenschaft der Oberfläche des Garguts wie eines Bräunungsgrads, eines Farbwechsels, einer Volumenänderung, usw. steuern zu können. Auch können die davon aufgenommenen Bilder einem Nutzer angezeigt werden. Die optische Garraumkamera kann beispielsweise eine digitale RGB-Farbkamera sein. Es ist eine zur großflächigen Erfassung des Garguts vorteilhafte Weiterbildung, dass die optische Garraumkamera im Bereich einer Decke der Wandung des Garraum angeordnet und insbesondere nach unten oder schräg unten ausgerichtet. Es ist eine Weiterbildung, dass die Wärmebildkamera und die optische Garraumkamera nahe beieinander angeordnet sind, was den Vorteil ergibt, dass die Wärmebilder und die optischen Bilder besonders ähnliche Bereiche des Garraums zeigen und besonders gut vergleichbar sind.
Durch das Einstrahlen der Mikrowellenenergie in den Garraum wird darin befindliches Gargut erwärmt, wobei ein Rand des Garguts nicht nur stärker erwärmt wird als dessen äußere "Nicht-Gargut"-Umgebung, sondern aufgrund des "Edge Overheating Effects" in der Regel auch stärker erwärmt wird als die Mitte des Garguts. Nach einer gewissen Einstrahlzeitdauer wird das Wärmebild aus dem Garraum aufgenommen, in dem typischerweise eine Temperaturverteilung der Oberfläche des Garguts abgebildet ist.
Sämtliche Bildpunkte des Wärmebilds weisen entsprechende Temperaturwerte auf, wobei zumindest einige dem Rand des Garguts zugeordnete Bildpunkte dadurch identifizierbar sind, dass sie ein deutlich höheres Temperaturniveau aufweisen bzw. eine deutlich höhere Temperatur zeigen als die anderen Bildpunkte. Die Bildpunkte mit höherem Temperaturniveau können beispielsweise durch Schwellwertvergleich von anderen Bildpunkten unterschieden und damit identifiziert werden. Diese Bildpunkte mit höherem Temperaturniveau zeigen zumindest Abschnitte des Rands bzw. der Außenkontur des Garguts aus Sicht der Wärmebildkamera.
Der Füllalgorithmus füllt dann in der Bildebene die Fläche aus, welche durch die dem Rand des Garguts zugeordneten Bildpunkte begrenzt ist bzw. identifiziert die Bildpunkte, die in einer solchen Fläche liegen. Nach Durchführung des Füllalgorithmus sind diejenigen Bildpunkte dem Gargut zugerechnet, die in der Fläche, einschließlich seines Rands, liegen. Im Umkehrschluss sind diejenigen Bildpunkte nicht dem Gargut zugerechnet, die außerhalb der Fläche, einschließlich seines Rands, liegen.
Es ist eine Weiterbildung, dass der Füllalgorithmus so ausgestaltet ist, dass zuvor dem Rand des Garguts zugeordnete Bildpunkte nach Durchführen des Füllalgorithmus nicht der dem Gargut entsprechenden Fläche, sondern dem Nicht-Gargut- Bereich zugeordnet sind, weil sie gewissen Kriterien des Füllalgorithmus zur Zuordnung zu der Fläche nicht genügt haben.
Es ist eine Ausgestaltung, dass vor dem Einstrahlen der Mikrowellenenergie in den Garraum ein erstes Wärmebild aufgenommen wird, nach dem Einstrahlen der Mikrowellenenergie in den Garraum ein zweites Wärmebild aufgenommen wird, ein Differenzwärmebild erstellt wird, bei dem für jeden der Bildpunkte eine Temperaturdifferenz zwischen dem mit dem zweiten Wärmebild aufgenommenen Temperaturwert und dem mit dem ersten Wärmebild aufgenommenen Temperaturwert berechnet wird und die Bildpunkte in dem Differenzwärmebild identifiziert werden. Dies ergibt den Vorteil, dass nach Beschickung des Garraums mit dem Gargut bestehende Temperaturunterschiede zwischen dem Gargut und der Umgebung des Garguts oder auch innerhalb des Garguts berücksichtigt und deren Einflüsse neutralisiert werden.
Es ist eine Ausgestaltung, dass die Temperaturdifferenzen auf einen Wertebereich [0; 1] (oder anderen vorgegebenen Wertebereich) abgebildet bzw. "normiert" werden. So wird der Vorteil erreicht, dass sich das Verfahren einfacher an Gargüter verschiedener Art und/oder an verschiedene Mikrowellen-Betriebsparameter während der Mikrowelleneinspeisung anpassen lässt.
Es ist eine Ausgestaltung, dass diejenigen Bildpunkte als dem Rand des Garguts zugeordnet identifiziert werden, die einen vorgegebenen Temperaturschwellwert erreichen oder überschreiten. Dies ist vorteilhafterweise besonders einfach umsetzbar.
Es ist eine Ausgestaltung, dass dann, wenn die Temperaturdifferenzen auf einen Wertebereich [0; 1] abgebildet sind, der Temperaturschwellwert in einem Bereich [0,2; 0,5] liegt. Dies hat sich als ein besonders guter Kompromiss zwischen einer präzisen Erfassung des Rands des Garguts und einem ausreichend geschlossenen Rand ergeben. Bei einem zu geringen Wert des Temperaturschwellwerts von z.B. 0,1 wird zwar das Gargut G meist vollständig erfasst, allerdings werden dann ggf. fehlerhafterweise auch große Bereiche des Gargutträgers oder der Garraumbewandung als dem Gargut zugehörig erkannt. Wird der Temperaturschwellwert zu hoch gewählt, z.B. 0,7, werden nur einzelne, besonders stark erwärmte Randsegmente des Garguts G erfasst, was ggf. zu wenig ist, um zuverlässig einen Rand zu definieren, der durch den Starfill-Algorithmus ausgefüllt wird. Außerdem ist es vorteilhaft, dass sich durch Abbildung des Wertebereichs auf einen festen Bereich der gleiche Schwellwert auf viele unterschiedliche Gargüter und/oder verschiedene Mikrowellen-Betriebsparameter geeignet anwenden lässt.
Es ist eine Ausgestaltung, dass als Füllalgorithmus ein Algorithmus (im Folgenden ohne Beschränkung der Allgemeinheit als "Starfill"-Algorithmus bezeichnet) verwendet wird, bei dem ein Bildpunkt dem Gargut zugerechnet wird, wenn eine Zahl von sternförmig von diesem Bildpunkt abgehenden Richtungen, in denen identifizierte Bildpunkte liegen, eine Mindestzahl erreicht oder überschreitet. Insbesondere lässt sich so, z.B. im Gegensatz zum sog. "Floodfill"-Algorithmus (welcher in Grafikprogrammen häufig dazu verwendet wird, umrandete Flächen farbig auszufüllen), vermeiden, dass Lücken in dem identifizieren Rand dazu führen, dass auch Bereiche außerhalb des Rands dem Gargut zugeordnet werden. Zudem benötigt der „FloodfiH“-Algorithmus als Startpunkt einen der inneren Punkte der umrandeten Fläche, welche hier zu Beginn der Auswertung jedoch definitionsgemäß unbekannt sind.
Bei dem Starfill-Algorithmus wird für einen betrachteten Bildpunkt überprüft, ob in verschiedenen Richtungen in der Bildebene des Wärmebilds, insbesondere Differenzwärmebilds, die sternförmig von diesem Bildpunkt ausgehen, dem Gargut zugeordnete Bildpunkte liegen. Der betrachtete Bildpunkt wird dann dem Gargut zugeordnet, wenn eine vorgegebene Mindestzahl der Richtungen diese Bedingung erfüllen. Der Starfill-Algorithmus kann diese Überprüfung und folgende Zuordnung für alle Bildpunkte des Wärmebilds, insbesondere Differenzwärmebilds, durchführen, beispielsweise zeilen- und spaltenweise.
Unter "sternförmig" von einem Bildpunkt abgehenden Richtungen werden in einem (x, y)- matrixförmigen Wärmebild die symmetrischen Richtungen entlang der x- Erstreckung und der y- Erstreckung sowie ggf. die gleichmäßig zwischen diesen (Haupt-) Erstreckungen liegenden Schrägrichtungen.
Die kleinste Zahl sternförmiger Richtungen für einen innerhalb der (x, y)-Matrix liegenden Innenpunkt beträgt vier, nämlich ausgehend von diesem Bildpunkt
- in x-Richtung,
- in (-x)-Richtung,
- in y-Richtung und - in (-y)-Richtung.
Die nächstgrößere Zahl sternförmiger Richtungen beträgt acht, nämlich ausgehend von diesem Bildpunkt die zusätzlichen vier Richtungen durch die nächsten Nachbarbildpunkte, welche schräg zu den x- bzw. y-Erstreckungen liegen. Dies kann grundsätzlich beliebig auf 12, 16, 20 usw. Richtungen erweitert werden. Je höher die Zahl der Richtungen ist, desto höher wird die Genauigkeit der Zuordnung an schrägen Kanten des Rands.
Randpunkten und Eckpunkten steht eine reduzierte Zahl von möglichen Richtungen zu Verfügung, nämlich zwei Richtungen für Eckpunkte und drei Richtungen für Randpunkte, wenn allgemein - für Innenpunkte - vier Richtungen zu Verfügung stehen, drei Richtungen für Eckpunkte und fünf Richtungen für Randpunkte, wenn allgemein - für Innenpunkte - acht Richtungen zu Verfügung stehen, usw.
Es ist eine Ausgestaltung, dass für insgesamt acht sternförmige Richtungen zumindest eine der folgenden Randbedingungen des Starfill-Algorithmus eingestellt sind: für Eckpunkt gilt eine Mindestzahl von zwei; für Randpunkte gilt eine Mindestzahl von drei: für Innenpunkte gilt eine Mindestzahl von sechs. Dies hat sich als besonders guter Kompromiss zwischen einer vollständigen Füllung des durch den Rand begrenzten Volumens und einer Vermeidung einer Zuordnung von Bildpunkten außerhalb des Rands zu Gargut erwiesen. Bei insgesamt acht sternförmigen Richtungen können von einem Eckpunkt maximal drei Richtungen ausgehen, von einem Randpunkt maximal fünf Richtungen, usw.)
Es ist eine Weiterbildung, dass der Starfill-Algorithmus auf einen bestimmten Bildpunkt angewandt wird und folgend, einschließlich des Ergebnisses für alle vorhergehenden Bildpunkte, auf einen nächsten Bildpunkt angewandt werden. Der Starfill-Algorithmus kann insbesondere zeilen- und spaltenweise durchgeführt werden.
Es ist eine Weiterbildung, dass bereits vorhandene identifizierte Bildpunkte unverändert identifiziert bleiben, also eine einmal vorgenommene Zuordnung zu dem Gargut nicht aufgelöst wird, z.B. auch dann nicht, wenn für diesen Bildpunkt die vorgegebene Mindestzahl der Richtungen folgend nicht mehr gegeben sein sollte bzw. die Bedingungen des Starfill- Algorithmus folgend nicht mehr erfüllt sein sollten. Es ist eine Weiterbildung, dass ein identifizierter bzw. dem Gargut zugeordneter Bildpunkt nicht mehr dem Gargut zugeordnet wird (also die Zuordnung aufgelöst wird), wenn die vorgegebene Mindestzahl der Richtungen nicht mehr erfüllt ist.
Es ist eine Ausgestaltung, dass der Füllalgorithmus mehrfach ("rekursiv") für alle Bildpunkte ausgeführt wird, bis sich keine Änderung der identifizierten Bildpunkte mehr ergibt. Das Verfahren kann das Zuordnen der Bildpunkte also iterativ ausführen. Dies ist besonders vorteilhaft, um eine möglichst vollständige Zuordnung der Bildpunkte zu Gargut oder nicht zu Gargut zu erreichen.
Alternativ oder zusätzlich kann der Füllalgorithmus mehrfach ausgeführt werden, bis eine Maximalzahl von Durchgängen bzw. Iterationen erreicht worden ist.
Es ist eine Ausgestaltung, dass die dem Gargut zugerechneten Bildpunkte zusätzlich auf Bildpunkte einer optischen Digitalkamera des Mikrowellengargeräts umgerechnet werden. Dies ist besonders vorteilhaft, um eine optische Überwachung (im sichtbaren Spektralbereich) von Gargut, z.B. in Bezug auf einen Bräunungsgrad, eine Volumenänderung usw., durch Abgleich mit dem vorliegenden Verfahren zu verbessern, da so Information über die Position des Garguts für die optische Überwachung nutzbar wird. Dabei wird ausgenutzt, dass Bildpunkte der Wärmebildkamera mit Bildpunkten einer optischen Digitalkamera korrelierbar sind, so dass dann, wenn ein Bildpunkt der Wärmebildkamera dem Gargut zugeordnet wird, ein oder mehrere Bildpunkte der optischen Digitalkamera, welche den gleichen Bereich des Garguts zeigen, ebenfalls dem Gargut zugeordnet werden können. Es ist eine Weiterbildung, dass nicht dem Gargut zugerechnete Bildpunkte der Wärmebildkamera auf Bildpunkte einer optischen Digitalkamera des Mikrowellengargeräts umgerechnet werden.
Es ist eine Weiterbildung, dass dies auch umgekehrt durchgeführt werden kann, d.h., dass dem Gargut zugerechnete Bildpunkte und/oder nicht dem Gargut zugerechnete Bildpunkte einer optischen Digitalkamera auf entsprechende Bildpunkte der Wärmebildkamera umgerechnet werden. Dies heißt, dass dann, wenn mindestens ein Bildpunkt der optischen Digitalkamera nicht dem Gargut zugeordnet wird, ein Bildpunkt der optischen Wärmebildkamera, welcher den gleichen Bereich des Garguts zeigt, ebenfalls nicht dem Gargut zugeordnet wird. Es ist eine Ausgestaltung, dass das Identifizieren der Position des Garguts in einer Anfangsphase eines Garvorgangs durchgeführt wird. Dies ist besonders vorteilhaft, weil das Gargut dann noch nicht durchgewärmt ist und der "Edge Overheating Effect" besonders ausgeprägt ist. Dies wiederum erhöht die Zuverlässigkeit des Verfahrens.
Es ist eine Ausgestaltung, dass während des Einstrahlens der Mikrowellenenergie in den Garraum zum Zweck des Durchführens des Verfahrens mindestens ein ein Modenbild der Mikrowellen in dem Garraum ändernder Mikrowellen-Betriebsparameter variiert wird. Dadurch werden vorteilhafterweise eng lokalisierte Raumbereiche mit hoher Mikrowellenenergie (sog. "Hot Spots") vermieden oder zumindest so stark variiert, dass eine großflächigere Erwärmung des Garguts erreicht wird. Dies wiederum ist vorteilhaft, um die durch den "Edge Overheating Effect" bewirkte erhöhte Erwärmung des Rands des Garguts mittels der Wärmebildkamera besonders gut, speziell über möglichst den gesamten Rand, erkennen zu können bzw. die Zahl und/oder Länge sich nicht besonders stark erwärmender Randabschnitte klein zu halten. Diese Ausgestaltung kann besonders vorteilhaft im Zusammenhang mit der DE 102020215681 A1 durchgeführt werden, speziell im Rahmen des in der DE 102020215681 A1 erwähnten "Initialscans", bei dem Mikrowellen unter unterschiedlichen Parameterkonfigurationen in den Garraum eingespeist werden, mittels der Wärmebildkamera zu den Parameterkonfigurationen gehörige Temperaturverteilungen an der Oberfläche des Garguts gemessen werden und Erwärmungsmuster aus Differenzen von unterschiedlichen Temperaturverteilungen bestimmt werden. Die Parameterkonfigurationen können dann insbesondere den obigen Mikrowellen- Betriebsparametern entsprechen.
Es ist eine Weiterbildung, dass ein Mikrowellen-Betriebsparameter mindestens einen Parameter aus der Gruppe
- bei Vorhandensein einer Drehantenne: Drehwinkel der Drehantenne, z.B. im Bereich [0°; 180°] oder im Bereich [0°; 360°], bspw. in Schritten von 1°, 5° oder 10°;
- bei Vorhandensein eines Modenrührers bzw. "Stirrers": Drehwinkel des Modenrührers, z.B. im Bereich [0°; 180°] oder im Bereich [0°; 360°], bspw. in Schritten von 1°, 5° oder 10°; - bei einem Mikrowellengenerator mit variabler Mikrowellenfrequenz, insbesondere halbleiterbasiertem Mikrowellengenerator: Mikrowellenfrequenz, z.B. im Bereich [2,4 GHz;
2,5 GHz] bspw. in Schritten von 10 MHz;
- bei mehreren Mikrowellenports mit der Möglichkeit einer Variation einer Phasendifferenz zwischen den von diesen Mikrowellenports abgestrahlten Mikrowellen: Phasendifferenz, z.B. im Bereich [0°, 360°] umfasst. Es ist vorteilhaft, wenn sich der Drehteller (falls vorhanden) mindestens einmal um sich selbst gedreht hat, sich die Drehantenne (falls vorhanden) mindestens einmal um sich selbst gedreht hat, die Mikrowellenfrequenz möglichst einmal vollständig variiert worden ist (falls möglich), die Phasendifferenzen einmal durchlaufen worden sind (falls möglich), usw. Die Aufnahme des zweiten Wärmebildes erfolgt bei Verwendung eines Drehtellers bevorzugt nach einer ganzzahligen Anzahl von vollständigen Umdrehungen, um zu erreichen, dass sich das Gargut bei Aufnahme des ersten und des zweiten Wärmebilds an der identischen Position befindet. Andernfalls müssten die Wärmebilder mittels einer geeigneten Rotationsmatrix zueinander ausgerichtet werden, was grundsätzlich auch möglich ist.
Die Aufgabe wird auch gelöst durch ein Verfahren zum Betreiben eines Mikrowellengargeräts, bei dem die Position des Garguts anhand des Verfahrens wie oben beschrieben durchgeführt wird und ein Garvorgang anhand einer Auswertung zumindest der dem Gargut zugerechneten Bildpunkte gesteuert wird, ggf. auch anhand einer Kombination einer Auswertung der dem Gargut zugerechneten Bildpunkte und einer Auswertung der nicht dem Gargut zugerechneten Bildpunkte. Das Verfahren zum Betreiben des Mikrowellengargeräts kann analog zum oben beschriebenen Verfahren zum Identifizieren von Gargut ausgebildet werden, und umgekehrt, und weist die gleichen Vorteile auf. Beispielsweise kann die Bestimmung der Position des Garguts dazu verwendet werden, einen Soll-Garzustand genauer zu erkennen und damit eine Gelingsicherheit zu erhöhen und ein Garergebnis zu verbessern. Mit Erreichen des Soll-Garzustands kann mindestens eine Aktion ausgelöst werden, z.B. ein Einspeisen von Mikrowellen beendet werden und/oder ein Hinweis an einen Nutzer ausgegeben werden, usw.
Die Aufgabe wird auch gelöst durch ein Mikrowellengargerät, aufweisend einen mit Mikrowellen beaufschlagbaren Garraum, eine zum Aufnahmen von Wärmebildern aus dem Garraum vorgesehene Wärmebildkamera und eine Steuereinrichtung, wobei das Mikro- wellengargerät, insbesondere dessen Steuereinrichtung, dazu eingerichtet ist, das oder die Verfahren wie oben beschrieben durchzuführen. Das Mikrowellengargerät kann analog zu den Verfahren ausgebildet werden, und umgekehrt, und weist die gleichen Vorteile auf.
Das Mikrowellengargerät ist insbesondere ein Haushaltsgerät. Das Mikrowellengargerät kann ein eigenständiges Mikrowellengerät oder ein Kombinationsgerät sein, z.B. ein Mikrowellengerät mit zusätzlichem Wärmestrahler, z.B. einem elektrischen Widerstandsheizelement, insbesondere in Form eines Tischgeräts, oder ein Backofen mit Mikrowellenfunktionalität.
Insbesondere kann das Mikrowellengargerät ein oder mehrere der folgenden Einrichtungen aufweisen:
- eine mikrowellendichte Garraumtür zum mikrowellendichten Verschließen einer frontseitigen Beschickungsöffnung des Garraums;
- mindestens einen Mikrowellengenerator;
- mindestens einen Mikrowelleneinspeisungspunkt;
- eine Drehantenne;
- einen Modenrührer;
- einen Drehteller.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Mikrowellengargeräts, das zum Ablauf eines Verfahrens zum Identifizieren von Gargut in einem aus seinem Garraum aufgenommenen bildpunktbasierten Wärmebild eingerichtet ist;
Fig.2 zeigt einen möglichen Ablauf des Verfahrens;
Fig.3 zeigt ein bildpunktbasiertes Wärmebild eines auf einem Teller abgelegten Garguts vor Einspeisung von Mikrowellen; Fig.4 zeigt ein bildpunktbasiertes Wärmebild des auf dem Teller abgelegten Garguts aus Fig. 2 nach Einspeisung von Mikrowellen;
Fig.5 zeigt ein aus dem Wärmebildern nach Fig.3 und Fig.4 erzeugtes Temperaturdifferenzbild;
Fig.6 zeigt eine aus dem Temperaturdifferenzbild abgeleitete Zuordnung von Bildpunkten zu dem Gargut vor Anwendung des Starfill-Algorithmus; und
Fig.7A zeigt eine Anwendung des Starfill-Algorithmus für einen Innenpunkt des Temperaturdifferenzbilds;
Fig.7B zeigt eine Anwendung des Starfill-Algorithmus für einen Randpunkt des Temperaturdifferenzbilds;
Fig.7C zeigt eine Anwendung des Starfill-Algorithmus für einen Eckpunkt des Temperaturdifferenzbilds;
Fig.8 zeigt eine aus dem Temperaturdifferenzbild abgeleitete Zuordnung von Bildpunkten zu dem Gargut nach erster Anwendung des Starfill-Algorithmus; und
Fig.9 zeigt eine aus dem Temperaturdifferenzbild abgeleitete Zuordnung von Bildpunkten zu dem Gargut nach weiterer Anwendung des Starfill-Algorithmus.
Fig.1 zeigt als Schnittdarstellung in Seitenansicht eine Skizze eines Mikrowellengargeräts 1 mit einem Garraum 2, das zum Ablauf eines Verfahrens zum Identifizieren von Gargut G in einem aus einem Garraum 2 aufgenommenen bildpunktbasierten Wärmebild W1 , W2 (siehe Fig.3 und Fig.4) eingerichtet ist. Der Garraum 2 ist an seiner frontseitigen Beschickungsöffnung durch einen Garraumtür 3 verschließbar. Vorliegend ist das Mikrowellengargerät 1 rein beispielhaft als Backofen mit Mikrowellenfunktionalität ausgebildet, bei dem das Gargut G typischerweise auf einem in einer bestimmten Einschubebene befindlichen Gargutträger 4 wie einem Backblech oder Gitterrost usw. ablegbar ist, z.B. auf einem Gargeschirr wie einem Teller 5 liegend.
Das Mikrowellengargerät 1 weist einen, insbesondere halbleiterbasierten, Mikrowellengenerator 6 zum Erzeugen von Mikrowellen, insbesondere in einem Bereich [2,4 Ghz; 2,5 Ghz] auf. Die erzeugten Mikrowellen werden über eine Mikrowellenführung 7 insbesondere in Form eines Hohlleiters zu einem Mikrowelleneinspeisungspunkt 8 geführt und dort in den Garraum 2 eingespeist. An dem Mikrowelleneinspeisungspunkt 8 befindet sich zum Zweck der Modenvariation eine drehbare Drehantenne 9. Ferner befindet sich an einer Decke 10 des Garraums 2 eine bildpunkbasierte Wärmebildkamera 11 zur Aufnahme von Wärmebildern W1 , W2, die von oben in den Garraum 2 ausgerichtet ist und den Garraum 2 mit darin befindlichem Gargut G in ihrem Sichtfeld hat. Optional kann das Mikrowellengargerät 1 auch eine, insbesondere ebenfalls an der Decke 10 des Garraums 2, speziell nahe der Wärmebildkamera 11 , angeordnete optische Digitalkamera 12 aufweisen.
Der Mikrowellengenerator 6, ein Motor der Drehantenne 9, sowie die Wärmebildkamera 11 und ggf. die optische Digitalkamera 12 sind mittels einer Steuereinrichtung 13 ansteuerbar. Auch kann die Steuereinrichtung 13 dazu eingerichtet sein, das weiter unten beschriebene Verfahren ablaufen zu lassen.
Fig.2 zeigt einen möglichen Ablauf des Verfahrens zum Identifizieren der Position des Garguts G in einem Wärmebild W1 , W2.
In einem Schritt S1 wird das Gargut G auf dem Gargutträger 4 abgelegt, ggf. auf oder in einem Geschirr wie einem Teller 5, einer Schüssel, usw. liegend. Zudem wird eine Mikrowellenleistung eingestellt.
In einem Schritt S2 wird aus dem Garraum 2 ein erstes Wärmebild W1 des noch nicht erwärmten Garguts G aufgenommen, das in Fig.3 mit einer Temperaturskala am rechten Rand gezeigt ist. Im Wärmebild W1 ist beispielsweise ein Teller mit etwa zimmerwarmen Gargut G (hier: Ravioli mit Soße in einem runden Suppenteller) dargestellt. Das Wärmebild nimmt die in Form einer (x, y)-Matrix angeordnete IR-Bildpunkte auf, deren Werte den lokalen Oberflächentemperaturen der sich im Sichtfeld der Wärmebildkamera 11 befindlichen Objekte entsprechen oder zumindest mit den Oberflächentemperaturen korrelieren. Folglich wird eine Temperaturverteilung in dem Garraum 2 auf eine Matrix von (x ■ y) IR- Bildpunkten abgebildet, wobei die zweckmäßig einsetzbare Wärmebildkameras 11 mehrere Hundert bis mehrere Tausend einzelne Bildpunkte aufweisen können. Die Auflösung des dargestellten Wärmebilds W1 beiträgt (24 ■ 32) = 768 Bildpunkte. Das Verfahren ist ebenso anwendbar auf räumlich verteiltes und voneinander separiertes Gargut, z.B. einzelne Kartoffeln mit einem Fleischstück daneben. In einem Schritt S3 werden Mikrowellen mit der eingestellten Mikrowellenleistung in den Garraum 2 eingestrahlt, wobei während des Einstrahlens mindestens ein ein Modenbild der Mikrowellen in dem Garraum 2 ändernder Mikrowellen-Betriebsparameter variiert wird, z.B. ein Drehwinkel der Drehantenne 9 und/oder eine Mikrowellenfrequenz. Beispielsweise kann die Drehantenne 9 während dieser Anfangsphase bzw. dieses "Initialscans" kontinuierlich gedreht werden. Hierbei ist es vorteilhaft, dass eine möglichst große Zahl von unterschiedlichen Feldverteilungen bzw. Modenbildern durchlaufen wird, um in möglichst vielen Bereichen des Garguts G eine Temperaturerhöhung zu bewirken.
Schritt S3 kann für eine vorgegebene Dauer durchgeführt werden, z.B. zwischen 10 s und 30 s, wobei diese aber (z.B. analog zu dem in DE 10 2020 215 681 A1 beschriebenen Initialscan) beispielsweise abhängig von der eingestellten Leistung, einer thermischen Masse des Garguts G und dem Absorptionsvermögen des Garguts G sein kann. Es ist vorteilhaft, wenn sich in Schritt S3 die Drehantenne 9 mindestens einmal um sich selbst gedreht hat, die Mikrowellenfrequenz möglichst einmal vollständig variiert worden ist (falls möglich), die Phasendifferenzen einmal durchlaufen worden sind (falls möglich), usw.
Nach Schritt S3 wird in Schritt S4 ein zweites Wärmebild W2 aufgenommen, das in Fig.4 abgebildet ist. Es zeigt sich, dass sich das Gargut G deutlich stärker erwärmt als die Gar- raumbewandung oder sichtbare Teile des Tellers, auf dem das Gargut G positioniert ist. Insbesondere ist auch der "Edge Overheating Effect" erkennbar, bei dem ein Rand des Garguts G besonders stark erwärmt wird, während sich der innere Bereich der Oberfläche des Garguts G zumeist deutlich weniger bis kaum nennenswert erwärmt.
In Schritt S5 wird Differenzwärmebild DW erstellt (siehe Fig.5), bei dem für jeden der Bildpunkte eine Temperaturdifferenz ("Temperaturhub") zwischen dem mit dem zweiten Wärmebild W2 aufgenommenen Temperaturwert und dem mit dem ersten Wärmebild W1 aufgenommenen Temperaturwert berechnet wird.
In Schritt S6 werden in dem Differenzwärmebild DW Bildpunkte identifiziert, die in Bezug auf die Menge aller Bildpunkte des Differenzwärmebild DW um ein vorgegebenes Temperaturniveau erhöhte Temperaturwerte aufweisen. Diese Bildpunkte bilden in der (x, y)- Matrix M ein entsprechendes Bildmuster BM0, wie in Fig.6 gezeigt. Schritt S6 kann beispielsweise so umgesetzt sein, dass in einem ersten Teilschritt S6A die Temperaturdifferenzen auf einen Wertebereich [0; 1] abgebildet werden. Der niedrigste Wert der Temperaturdifferenzen aller 768 Bildpunkte wird dabei dem Wert null gleichgesetzt, der höchste Wert der Temperaturdifferenzen aller Bildpunkte dem Wert eins. Wäre beispielsweise der niedrigste Wert 3 °C und der höchste Wert 13 °C, würde die Menge der Temperaturdifferenzen {3; 5; 10; 13} auf die Menge {0; 0,2; 0,7; 1} abgebildet.
In einem folgenden Teilschritt S6B werden diejenigen Bildpunkte als dem Rand des Garguts G zugehörig identifiziert, die einen vorgegebenen Temperaturschwellwert erreichen oder überschreiten, hier z.B. von 0,27. Diese Bildpunkte bilden das in Fig.6 gezeigte anfängliche Bildmuster BM0 vor Ausführung des Füllalgorithmus.
Die als zum Gargut G zugehörig identifizierten Bildpunkte in Fig.6 zeigen bereits sehr deutlich den - hier annähend kreisförmigen - Rand bzw. die Außenkontur des Garguts G. Der innere Bereich des Garguts G ist nicht ausgefüllt und in dem Rand befinden sich noch Öffnungen an Stellen, die relativ kalt geblieben sind. Dies ist durch einen universell gültigen Temperaturschwellwert nicht zu lösen.
In Schritt S7 wird auf das anfängliche Bildmuster BM0 daher ein Füllalgorithmus in Form eines Starfill-Algorithmus angewandt, bei dem ein Bildpunkt dem Gargut G zugerechnet wird, wenn eine Zahl von sternförmig von diesem Bildpunkt abgehenden Richtungen, in denen identifizierte Bildpunkte liegen, eine Mindestzahl erreicht oder überschreitet. Im Folgenden wird beispielhaft ein Starfill-Algorithmus mit insgesamt acht sternförmigen Richtungen betrachtet
Dies ist in Fig.7A für einen als Eckpunkt in der Matrix M liegenden, durch einen gefüllten Kreis gekennzeichneten Bildpunkt angedeutet: der Eckpunkt weist eingeschränkt drei mögliche davon sternförmig abgehende Richtungen auf, nämlich die x-Richtung, die y- Richtung und eine (x, y)-Schrägrichtung. Hier liegen beispielhaft als zu dem Gargut zugehörig identifizierte Bildpunkt (ausgefüllt) in x-Richtung und in y-Richtung, wie durch die durchgezogenen Pfeile angedeutet. Ein Abstand der identifizierten Bildpunkte zu dem Eckpunkt ist im vorliegenden Ausführungsbeispiel unerheblich, kann aber allgemein berücksichtigt werden. In (x, y)-Schrägrichtung liegt hingegen kein identifizierter Bildpunkt, wie durch den gepunkteten Pfeil angedeutet. Falls für den Eckpunkt gilt, dass er dem Gargut G zugeordnet wird, wenn in mindestens zwei der Richtungen jeweils mindestens ein identifizierter Bildpunkt liegt, wäre dies für den gezeigten Eckpunkt der Fall.
In Fig.7B ist der Starfill-Algorithmus für einen als Randpunkt in der Matrix M liegenden, durch einen gefüllten Kreis gekennzeichneten Bildpunkt angedeutet: der Randpunkt weist eingeschränkt fünf mögliche davon sternförmig abgehende Richtungen auf, nämlich die x- Richtung, die (-x)-Richtung, die y-Richtung, die (x, y)-Schrägrichtung und die (-x, y)- Schrägrichtung. Hier liegen beispielhaft als zu dem Gargut zugehörig identifizierte Bildpunkt in (-x)-Richtung, in y-Richtung und in (x, y)-Schrägrichtung, wie durch die durchgezogenen Pfeile angedeutet. In x-Richtung und in (-x, y)-Schrägrichtung liegen hingegen keine identifizierten Bildpunkte, wie durch den gepunkteten Pfeil angedeutet. Falls für den Randpunkt gilt, dass er dem Gargut G zugeordnet wird, wenn in mindestens drei der Richtungen jeweils mindestens ein identifizierter Bildpunkt liegt, wäre dies für den gezeigten Randpunkt der Fall.
In Fig.7C ist der Starfill-Algorithmus für einen als Innenpunkt in der Matrix M liegenden, durch einen gefüllten Kreis gekennzeichneten Bildpunkt angedeutet: der Innenpunkt weist alle acht möglichen davon sternförmig abgehende Richtungen auf, nämlich die x- Richtung, die (-x)-Richtung, die y-Richtung, die (-y)-Richtung, die (x, y)-Schrägrichtung, die (-x, y)-Schrägrichtung, die (x, -y)-Schrägrichtung und die (-x, -y)-Schrägrichtung. Hier liegen beispielhaft als zu dem Gargut zugehörig identifizierte Bildpunkt in x-Richtung, in (- x)-Richtung, in y-Richtung, in (-y)-Richtung, in (-x, y)-Schrägrichtung und in (x, -y)- Schrägrichtung, wie durch die durchgezogenen Pfeile angedeutet. In (x, y)-Schrägrichtung und in (-x, -y)-Schrägrichtung liegen hingegen keine identifizierten Bildpunkte, wie durch den gepunkteten Pfeil angedeutet. Falls für den Innenpunkt gilt, dass er dem Gargut G zugeordnet wird, wenn in mindestens sechs der Richtungen jeweils mindestens ein identifizierter Bildpunkt liegt, wäre dies für den gezeigten Innenpunkt der Fall.
Der Starfill-Algorithmus kann in einem Durchgang auf alle Bildpunkte der Matrix M angewandt werden. Insbesondere kann der Starfill-Algorithmus auf einen bestimmten Bildpunkt angewandt werden (z.B. zuerst auf den Bildpunkt x = 0, y = 0) und folgend, einschließlich des Ergebnisses für alle vorhergehenden Bildpunkte, auf einen nächsten Bildpunkt angewandt werden. Bereits vorhandene identifizierte Bildpunkte bleiben insbesondere unverändert zugeordnet, auch wenn sie folgend die Bedingungen des Starfill-Algorithmus erfül- len. Der Starfill-Algorithmus kann insbesondere zeilen- und spaltenweise durchgeführt werden.
Der Starfill-Algorithmus eignet sich insbesondere zum Füllen von Randkonturen mit Öffnungen. Einfache Füllalgorithmen, wie beispielsweise "Floodfill", bei dem Flächen zusammenhängender Pixel einer Farbe erfasst werden, sind für nicht geschlossene Konturen hingegen ungeeignet. Der Starfill-Algorithmus eignet sich insbesondere für Bilder bzw. Bildpunktmatrizen mit relativ geringer Auflösung.
Fig.8 zeigt die (x, y)-Matrix M mit dem Bildmuster BM1 nach einmaliger Anwendung des Starfill-Algorithmus auf das Bildmuster BMO aus Fig.6, wobei ausgehend vom Bildpunkt x = 0, y = 0 der Starfill-Algorithmus erst spaltenweise in x-Richtung und dann zeilenweise in y-Richtung angewandt wurde.
In einem Schritt S8 wird überprüft, ob (a) eine maximale Zahl ("Rekursionszahl") von Anwendungen bzw. Durchgängen des Starfill-Algorithmus erreicht worden ist oder ob (b) sich bei aufeinanderfolgenden Durchgängen des Starfill-Algorithmus keine Änderung mehr ergibt, ggf. je nachdem, welche Bedingung zuerst eintritt.
Ist die nicht der Fall ("N"), wird zu Schritt S7 zurückverzweigt, ansonsten ("J") zu Schritt S9 übergegangen. Fig.9 zeigt die (x, y)-Matrix M mit einem Bildmuster BMn, bei dem der Starfill-Algorithmus n Mal mit n > 1 angewandt worden ist.
In Schritt S9 wird das Verfahren beendet, wobei die dann als zu dem Gargut zugehörig identifizierten Bildpunkte folgenden Verfahrensschritten S10 mindestens eines Verfahrens zum Betreiben des Mikrowellengargeräts 1 zugrundegelegt werden können, z.B. eines Verfahrens zum Erkennen eines Soll-Gargutzustands des Garguts G. Dazu können die identifizierten Bildpunkte z.B. als "Maske" dienen, welche in dem bzw. den folgenden Verfahren weiter verwendet werden, während alle Bildpunkte, die nicht der Maske zugehörig sind, unberücksichtigt bleiben bzw. "ausmaskiert" werden.
Durch das beschriebene Verfahren lässt sich eine äußerst präzise Maskierung des Garguts G erreichen. Das Verfahren vermeidet dabei insbesondere Flächen, die sich nur geringfügig erwärmen, wie beispielsweise der breite Rand des Suppentellers im Ausführungsbeispiel oder sonstige Geschirrteile.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw. Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1 Mikrowellengargerät
2 Garraum
3 Garraumtür
4 Gargutträger
5 Teller
6 Mikrowellengenerator
7 Mikrowellenführung
8 Mikrowelleneinspeisungspunkt
9 Drehantenne
10 Decke des Garraums
11 Wärmebildkamera
12 Optische Digitalkamera
13 Steuereinrichtung
BMO Anfängliches Bildmuster
BM1 Bildmuster
BMn Bildmuster
DW Differenzwärmebild
G Gargut
M Matrix
S1-S10 Verfahrensschritte
T Temperatur
W1 Erstes Wärmebild
W2 Zweites Wärmebild x x-Richtung y y-Richtung

Claims

Patentansprüche Verfahren (S1-S9) zum Identifizieren von Gargut (G) in mindestens einem aus einem Garraum (2) eines Mikrowellengargeräts (1) aufgenommenen bildpunktbasierten Wärmebild (W1 , W2), bei dem
- Mikrowellenenergie in den Garraum (2) eingestrahlt wird (S3),
- mindestens ein Wärmebild (W1 , W2) aufgenommen wird (S2, S4),
- Bildpunkte identifiziert werden (S6), die in Bezug auf die Menge aller Bildpunkte um ein vorgegebenes Temperaturniveau erhöhte Temperaturwerte aufweisen, und
- ein Füllalgorithmus ausgeführt wird, der Bildpunkte dem Gargut (G) zurechnet, die zu einer durch zumindest einige der identifizierten Bildpunkte umrandeten Bildfläche gehören. Verfahren (S1-S9) nach Anspruch 1 , bei dem
- vor dem Einstrahlen der Mikrowellenenergie in den Garraum (2) ein erstes Wärmebild (W1) aufgenommen wird,
- nach dem Einstrahlen der Mikrowellenenergie in den Garraum (2) ein zweites Wärmebild (W2) aufgenommen wird,
- ein Differenzwärmebild (DW) erstellt wird, bei dem für jeden der Bildpunkte eine Temperaturdifferenz zwischen dem mit dem zweiten Wärmebild (W2) aufgenommenen Temperaturwert und dem mit dem ersten Wärmebild (W1) aufgenommenen Temperaturwert berechnet wird und
- die Bildpunkte in dem Differenzwärmebild (DW) identifiziert werden. Verfahren (S1-S9) nach Anspruch 2, bei dem die Temperaturdifferenzen auf einen Wertebereich [0; 1] abgebildet werden. Verfahren (S1-S9) nach einem der vorhergehenden Ansprüche, bei dem diejenigen Bildpunkte als dem Rand des Garguts (G) zugehörig identifiziert werden, die einen vorgegebenen Temperaturschwellwert erreichen oder überschreiten. Verfahren (S1-S9) nach den Ansprüchen 3 und 4, bei dem der Temperaturschwellwert in einem Bereich [0,2; 0,5] liegt. 6. Verfahren (S1-S9) nach einem der vorhergehenden Ansprüche, bei dem als Füllalgorithmus ein Starfill-Algorithmus verwendet wird, bei dem ein Bildpunkt dem Gargut (G) zugerechnet wird, wenn eine Zahl von sternförmig von diesem Bildpunkt abgehenden Richtungen, in denen identifizierte Bildpunkte liegen, eine Mindestzahl erreicht oder überschreitet.
7. Verfahren (S1-S9) nach Anspruch 5, bei dem zumindest eine der folgenden Randbedingungen des Starfill-Algorithmus eingestellt sind:
- für Eckpunkt eine Mindestzahl von zwei gilt;
- für Randpunkte eine Mindestzahl von drei gilt:
- für Innenpunkte eine Mindestzahl von sechs gilt.
8. Verfahren (S1-S9) nach einem der vorhergehenden Ansprüche, bei dem der Füllalgorithmus mehrfach ausgeführt wird, bis sich keine Änderung der identifizierten Bildpunkte mehr ergibt.
9. Verfahren (S1-S9) nach einem der vorhergehenden Ansprüche, bei dem die dem Gargut (G) zugerechneten Bildpunkte zusätzlich auf Bildpunkte einer optischen Digitalkamera (12) des Mikrowellengargeräts (1) umgerechnet werden.
10. Verfahren (S1-S9) nach einem der vorhergehenden Ansprüche, bei dem das Identifizieren der Position des Garguts (G) in einer Anfangsphase eines Garvorgangs durchgeführt wird.
11. Verfahren (S1-S9) nach Anspruch 10, bei dem während des Einstrahlens der Mikrowellenenergie in den Garraum (2) zum Zweck des Durchführens des Verfahrens mindestens ein ein Modenbild der Mikrowellen in dem Garraum (2) ändernder Mikrowellen-Betriebsparameter variiert wird.
12. Verfahren (S1-S10) zum Betreiben eines Mikrowellengargeräts (1) nach einem der vorhergehenden Ansprüche, bei dem eine Position des Garguts (G) in einem Wär- mebild (W1 , W2) anhand des Verfahrens (S1-S9) nach einem der vorhergehenden Ansprüche durchgeführt wird und ein Garvorgang anhand einer Auswertung der dem Gargut (G) zugerechneten Bildpunkte gesteuert wird. 13. Mikrowellengargerät (1), aufweisend einen mit Mikrowellen beaufschlagbaren Garraum (2), eine zum Aufnahmen von Wärmebildern (W1 , W2) aus dem Garraum (2) vorgesehene Wärmebildkamera (11) und eine Steuereinrichtung (13), wobei das Mikrowellengargerät (1) dazu eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche (S1-S9; S1-S10) durchzuführen.
PCT/EP2023/076024 2022-09-29 2023-09-21 Identifizieren von gargut in einem wärmebild WO2024068414A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022210321.1A DE102022210321A1 (de) 2022-09-29 2022-09-29 Identifizieren von Gargut in einem Wärmebild
DE102022210321.1 2022-09-29

Publications (1)

Publication Number Publication Date
WO2024068414A1 true WO2024068414A1 (de) 2024-04-04

Family

ID=88188788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/076024 WO2024068414A1 (de) 2022-09-29 2023-09-21 Identifizieren von gargut in einem wärmebild

Country Status (2)

Country Link
DE (1) DE102022210321A1 (de)
WO (1) WO2024068414A1 (de)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229372A (ja) * 1996-02-23 1997-09-05 Matsushita Electric Ind Co Ltd 高周波加熱装置
JP2005098636A (ja) * 2003-09-26 2005-04-14 Sanyo Electric Co Ltd 加熱調理器
WO2012109634A1 (en) 2011-02-11 2012-08-16 Goji Ltd. An interface for controlling energy application apparatus
EP1997349B1 (de) 2006-02-21 2013-06-26 Goji Limited Elektromagnetische heizung
EP2618634A1 (de) 2012-01-23 2013-07-24 Whirlpool Corporation Mikrowellenwärmungsvorrichtung
EP2055146B1 (de) 2006-07-10 2013-11-20 Goji Limited Nahrungsmittelzubereitung
WO2016170734A1 (ja) 2015-04-24 2016-10-27 パナソニックＩｐマネジメント株式会社 加熱調理器
DE102017101183A1 (de) 2017-01-23 2018-07-26 Miele & Cie. Kg Verfahren zum Betreiben eines Gargerätes und Gargerät
US10219330B2 (en) 2017-01-04 2019-02-26 The Markov Corporation Electronic oven with splatter prevention
EP3574711A1 (de) 2017-01-27 2019-12-04 The Markov Corporation Elektronischer ofen mit verbesserter mensch-maschine-schnittstelle
DE102019107834A1 (de) * 2019-03-27 2020-07-16 Miele & Cie. Kg Verfahren zum Betreiben eines Gargeräts und Gargerät
WO2020156929A1 (de) 2019-02-01 2020-08-06 BSH Hausgeräte GmbH Mikrowellengerät und verfahren zum betreiben eines mikrowellengeräts
WO2020156928A1 (de) 2019-02-01 2020-08-06 BSH Hausgeräte GmbH Haushalts-gargerät und verfahren zum betreiben eines haushalts-gargeräts
WO2020200913A1 (de) 2019-04-01 2020-10-08 BSH Hausgeräte GmbH Haushaltsgerät und verfahren zum bestimmen von konturinformation von gut
EP3767580A1 (de) 2019-07-15 2021-01-20 BSH Hausgeräte GmbH Steuereinheit und verfahren zur auswertung von bilddaten in einem hausgerät
EP3767183A1 (de) 2019-07-16 2021-01-20 Electrolux Appliances Aktiebolag Verfahren zur erkennung der verschmutzung eines haushaltsgeräts und verschmutzungserkennungssystem für ein haushaltsgerät
DE102020215681A1 (de) 2020-12-10 2022-06-15 BSH Hausgeräte GmbH Betreiben eines Haushalts-Mikrowellengeräts

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018217811A1 (de) 2018-10-09 2020-04-09 BSH Hausgeräte GmbH Verfahren zum Behandeln von Gargut und Haushalts-Gargerät
DE102019107812A1 (de) 2019-03-27 2020-10-01 Miele & Cie. Kg Verfahren zum Betreiben eines Gargeräts und Gargerät

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09229372A (ja) * 1996-02-23 1997-09-05 Matsushita Electric Ind Co Ltd 高周波加熱装置
JP2005098636A (ja) * 2003-09-26 2005-04-14 Sanyo Electric Co Ltd 加熱調理器
EP1997349B1 (de) 2006-02-21 2013-06-26 Goji Limited Elektromagnetische heizung
EP2055146B1 (de) 2006-07-10 2013-11-20 Goji Limited Nahrungsmittelzubereitung
WO2012109634A1 (en) 2011-02-11 2012-08-16 Goji Ltd. An interface for controlling energy application apparatus
EP2618634A1 (de) 2012-01-23 2013-07-24 Whirlpool Corporation Mikrowellenwärmungsvorrichtung
WO2016170734A1 (ja) 2015-04-24 2016-10-27 パナソニックＩｐマネジメント株式会社 加熱調理器
US10219330B2 (en) 2017-01-04 2019-02-26 The Markov Corporation Electronic oven with splatter prevention
DE102017101183A1 (de) 2017-01-23 2018-07-26 Miele & Cie. Kg Verfahren zum Betreiben eines Gargerätes und Gargerät
EP3574711A1 (de) 2017-01-27 2019-12-04 The Markov Corporation Elektronischer ofen mit verbesserter mensch-maschine-schnittstelle
WO2020156929A1 (de) 2019-02-01 2020-08-06 BSH Hausgeräte GmbH Mikrowellengerät und verfahren zum betreiben eines mikrowellengeräts
WO2020156928A1 (de) 2019-02-01 2020-08-06 BSH Hausgeräte GmbH Haushalts-gargerät und verfahren zum betreiben eines haushalts-gargeräts
DE102019107834A1 (de) * 2019-03-27 2020-07-16 Miele & Cie. Kg Verfahren zum Betreiben eines Gargeräts und Gargerät
WO2020200913A1 (de) 2019-04-01 2020-10-08 BSH Hausgeräte GmbH Haushaltsgerät und verfahren zum bestimmen von konturinformation von gut
EP3767580A1 (de) 2019-07-15 2021-01-20 BSH Hausgeräte GmbH Steuereinheit und verfahren zur auswertung von bilddaten in einem hausgerät
EP3767183A1 (de) 2019-07-16 2021-01-20 Electrolux Appliances Aktiebolag Verfahren zur erkennung der verschmutzung eines haushaltsgeräts und verschmutzungserkennungssystem für ein haushaltsgerät
DE102020215681A1 (de) 2020-12-10 2022-06-15 BSH Hausgeräte GmbH Betreiben eines Haushalts-Mikrowellengeräts

Also Published As

Publication number Publication date
DE102022210321A1 (de) 2024-04-04

Similar Documents

Publication Publication Date Title
EP3864936B1 (de) Verfahren zum behandeln von gargut und haushalts-gargerät
EP2326882B1 (de) Kochfeldvorrichtung
WO2018033383A1 (de) Feststellen eines bräunungsgrads von gargut
WO2020156928A1 (de) Haushalts-gargerät und verfahren zum betreiben eines haushalts-gargeräts
DE202011002570U1 (de) Vorrichtung zur automatischen Wärmebehandlung von Lebensmitteln
EP3877703B1 (de) Verfahren zum betreiben eines haushalts-gargeräts und haushalts-gargerät
DE102016107617A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019107834A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102018221329A1 (de) Verfahren zum Betreiben eines Haushalts-Gargeräts und Haushalts-Gargerät
WO2020156929A1 (de) Mikrowellengerät und verfahren zum betreiben eines mikrowellengeräts
WO2019170830A1 (de) Verfahren zum erkennen wenigstens eines beladungsparameters eines geschlossenen raums von einer erkennungseinrichtung, verfahren zum trainieren, computerprogramm, computerlesbarer datenträger sowie erkennungseinrichtung
DE102019204531A1 (de) Haushaltsgerät und Verfahren zum Bestimmen von Konturinformation von Gut
DE102019107812A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
WO2024068414A1 (de) Identifizieren von gargut in einem wärmebild
DE102019101695A1 (de) Verfahren zum Garen von Gargut und Garsystem
EP4018129A1 (de) Betreiben eines haushalts-gargeräts mit mindestens einer kamera
EP4260659A1 (de) Betreiben eines haushalts-mikrowellengeräts
DE102019107828B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE202014001807U1 (de) Kochvorrichtung
EP4274997A1 (de) Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
BE1028854B1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102022204877A1 (de) Betreiben eines Haushalts-Mikrowellengeräts mit IR-Kamera
BE1030431B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
DE102019206239A1 (de) Verfahren zum Betreiben eines Kochfeldes und Kochvorrichtung mit Kochfeld
DE102021123499A1 (de) Verfahren zur Behandlung von Produkten in einer Mikrowellenbehandlungseinrichtung sowie Mikrowellenbehandlungseinrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23776325

Country of ref document: EP

Kind code of ref document: A1