WO2020170568A1 - 加熱調理器 - Google Patents

加熱調理器 Download PDF

Info

Publication number
WO2020170568A1
WO2020170568A1 PCT/JP2019/048580 JP2019048580W WO2020170568A1 WO 2020170568 A1 WO2020170568 A1 WO 2020170568A1 JP 2019048580 W JP2019048580 W JP 2019048580W WO 2020170568 A1 WO2020170568 A1 WO 2020170568A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
heating
gradation
photometric
photometric target
Prior art date
Application number
PCT/JP2019/048580
Other languages
English (en)
French (fr)
Inventor
直哉 谷口
今井　博久
巌徹 松井
真哉 岩垂
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021501603A priority Critical patent/JP7470903B2/ja
Priority to CN201980092379.4A priority patent/CN113454392A/zh
Priority to US17/429,329 priority patent/US20220151037A1/en
Priority to EP19915971.6A priority patent/EP3929489A4/en
Publication of WO2020170568A1 publication Critical patent/WO2020170568A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/6435—Aspects relating to the user interface of the microwave heating apparatus
    • H05B6/6441—Aspects relating to the user interface of the microwave heating apparatus allowing the input of coded operation instructions, e.g. bar code reader
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present disclosure relates to a heating cooker for heating food and a control method for the heating cooker.
  • a microwave oven which is an example of a cooking device, can heat food in a container without using a pan or frying pan. Therefore, convenience stores and other retailers sometimes use microwave ovens to heat foods such as bento boxes and prepared foods.
  • the optimal heating time for heating in a microwave is displayed on bento boxes and side dishes.
  • the clerk of the dealer generally looks at the display and sets the heating time with a microwave oven.
  • the store clerk can set the heating time by operating the number keys arranged on the operation part of the microwave oven.
  • the clerk can operate the button corresponding to the food to be heated to perform heating suitable for the food. ..
  • a microwave oven equipped with a camera for photographing the inside of the heating chamber of the microwave oven on the ceiling surface of the chamber.
  • the bar code portion is extracted from the image of the product placed in the refrigerator, and by reading the bar code, the heating control content corresponding to the product is called from the code information and the appropriate heating is performed. Is performed (for example, Patent Document 1).
  • the interior of the heating cabinet is illuminated with an appropriate illuminance by lighting such as an LED, and the camera acquires an image suitable for image recognition processing.
  • external light such as sunlight may enter the heating chamber through the opening of the door, and the illuminance inside the heating chamber may not be maintained at a level suitable for image processing. ..
  • the target portion on which the recognition process is performed may be overexposed, which may significantly reduce the recognition rate.
  • the present disclosure accurately detects the illuminance in the heating chamber from the image captured by the camera even when external light such as sunlight enters through the opening of the door, and performs the exposure control and then displays the image for recognition. It is intended to provide a heating cooker to be acquired. This can improve the recognition accuracy of the image to be recognized.
  • a heating cooker includes a heating cabinet that stores an object to be heated, a photographing unit that photographs the inside of the heating cabinet, and an exposure control unit that executes exposure control. I have it.
  • the exposure control unit controls exposure based on gradation information obtained from an image captured by the image capturing unit.
  • the heating cooker according to the present disclosure accurately detects the illuminance in the heating chamber from the image captured by the camera even when external light such as sunlight enters from the opening of the door, and then controls the exposure.
  • An image for recognition can be acquired. Therefore, the recognition accuracy of the image to be recognized can be improved.
  • the perspective view which shows the external appearance of the heating cooker in Embodiment 1 of this indication A schematic configuration diagram of a heating cooker according to Embodiment 1 of the present disclosure.
  • the figure which shows the in-compartment image of the empty state of the heating cooker in Embodiment 1 of this indication The figure which shows an example of the inside image of the state in which the foodstuff of the heating cooker in Embodiment 1 of this indication is put.
  • the figure which shows an example of the inside image of the state in which the foodstuff of the heating cooker in Embodiment 1 of this indication is put.
  • the figure which shows the histogram of the gradation value of the inside image of the state in which the foodstuff of the heating cooker in Embodiment 1 of this indication was put.
  • the figure which shows the histogram of the gradation value of the inside image of the state in which the foodstuff of the heating cooker in Embodiment 1 of this indication was put.
  • the figure which shows an example of the histogram of the gradation value of the inside-compartment image after the photometry object detection part in Embodiment 1 of this indication performs an upper gradation pass filter process to the inside-compartment image.
  • the figure which shows an example of the histogram of the gradation value of the inside-compartment image after the photometry object detection part in Embodiment 1 of this indication performs an upper gradation pass filter process to the inside-compartment image.
  • FIG. 3 is a diagram showing an in-compartment captured image when a photometric target detection unit according to Embodiment 1 of the present disclosure performs chromaticity filter processing on an in-compartment image.
  • the figure which shows an example of the filter range on an xy chromaticity diagram when the photometry object detection part in Embodiment 1 of this indication performs a chromaticity filter process to an in-chamber image.
  • the flowchart which shows the flow of operation
  • a heating cooker includes a heating cabinet that stores an object to be heated, an imaging unit that captures an image of the inside of the heating cabinet, and an exposure control unit that executes exposure control.
  • the exposure control is performed based on gradation information obtained from an image captured by the image capturing unit.
  • the heating cooker according to the second aspect further includes, in the first aspect, a photometric target detection unit that extracts a photometric target from the image captured by the imaging unit, and the photometric target detection unit includes The gradation information of the light measurement target portion is passed through, and the exposure control unit controls the exposure based on the gradation information.
  • exposure control can be performed based on the gradation information of the image obtained by applying the filtering process that passes only the features of the photometric target to the captured image in advance. Therefore, the accuracy of exposure control can be improved.
  • the photometric target detection unit allows only a predetermined proportion of upper gradation values in the image to pass.
  • the photometric object detection unit passes only a pixel gradation value having a predetermined gradation difference from a pixel value of a predetermined pixel area of the photometric object.
  • the photometric target detection unit passes only the gradation value of the pixels falling within a predetermined chromaticity range.
  • the photometric target detection unit determines the recognition target. Notify the user that it has not been detected.
  • the user when the recognition target is not within the shooting range or is outside the field of view, the user is notified that the recognition target has not been detected at an early stage before performing the recognition process. As a result, the user can be prompted to reload the food, check the label state of the recognition target, and the like.
  • FIG. 1 is a diagram showing an appearance of a heating cooker according to the first embodiment of the present disclosure.
  • the microwave oven 100 shown in FIG. 1 has a housing 101 and a door 102 pivotally supported by the housing 101 so as to be openable and closable. Inside the housing 101, a heating cabinet 201 is provided, which stores foods such as bento and side dishes to be heated (heating target 203).
  • the door 102 has a transparent glass window 103 so that the user can see the inside of the housing 101. Further, the door 102 also has a handle 104 so that the user can easily grasp the door 102.
  • the side of the housing 101 having the door 102 is the front
  • the right side of the front side is the rear side
  • the right side is the rear side of the front side
  • the left side is the rear side of the front side. I do.
  • the operation display unit 105 is arranged next to the door 102.
  • the operation display unit 105 includes a liquid crystal display 106, a time setting button group 107, a heating start button 108, a cancel button 109, and a pause button 110.
  • the user can set the heating time by using the number buttons and the minute and second buttons. Further, the liquid crystal display 106 displays the set heating time and the like.
  • the heating start button 108 is a button for starting heating after the user confirms the heating time, wattage, etc. on the liquid crystal display 106.
  • the cancel button 109 is a button for pressing the heating start button 108 to start heating and then stopping heating, or for canceling the setting of the heating time displayed on the liquid crystal display 106.
  • the pause button 110 is a button for temporarily stopping heating during heating. After the heating is temporarily stopped, the user can press the heating start button 108 again to perform the remaining heating from the middle.
  • FIG. 2 is a schematic configuration diagram of the microwave oven 100 according to the first embodiment.
  • the microwave oven 100 includes two magnetrons 202a and 202b that output microwaves as heating units in the heating chamber 201.
  • the magnetron 202a is arranged on the ceiling side of the heating cabinet 201, and outputs microwaves into the heating cabinet 201 from above.
  • the magnetron 202b is arranged on the bottom side of the heating cabinet 201, and outputs microwaves into the heating cabinet 201 from below.
  • Food such as bento and prepared foods, that is, the heating target 203 stored in the heating chamber 201 is heated by the radiated microwave.
  • microwaves by a magnetron are exemplified as the heating unit, but microwaves by semiconductor oscillation, heaters, warm air, steam, or the like may be used for heating.
  • the number of heating sources such as a magnetron may be one instead of two.
  • a camera 204 (an example of a photographing unit) is arranged on the ceiling side of the heating cabinet 201.
  • the camera 204 is composed of, for example, an image sensor such as a CCD (Charge Coupled Device) and an optical element such as a lens.
  • the camera 204 photographs the inside of the heating cabinet 201 and generates an image.
  • the brightness of each pixel is represented by a value in the range of 0 (dark) to 255 (bright).
  • each pixel may be generated as an image represented by a value of 0 to 255 for each color of red, blue, and green. Further, the value corresponding to each pixel may be represented by a range or expression method other than 0 to 255.
  • the camera 204 is provided on the ceiling side surface of the heating cabinet 201.
  • the camera 204 may be provided on other surfaces such as the left and right side surfaces of the heating cabinet 201.
  • the image recognition accuracy can be improved even if the imaging unit 204 is configured by one camera member. Therefore, cost reduction at the time of manufacturing and miniaturization of the housing 101 can be realized.
  • the present invention is not limited to this, and the image capturing unit 204 may be composed of a plurality of camera members.
  • Illumination 205 using an LED as a light source is arranged on the side surface of the heating cabinet 201 to illuminate the inside of the heating cabinet 201.
  • the lighting 205 is arranged so as to face the inside of the heating cabinet 201 from the left side surface of the heating cabinet 201.
  • the illumination 205 may be arranged on any of the four side surfaces, the ceiling, the bottom surface, or the like, or may be plural.
  • an LED is used as the light source of the illumination 205, but other light sources such as a light bulb, a fluorescent lamp, and natural light may be used as the light source.
  • the control unit 300 is arranged below the operation display unit 105.
  • the control unit 300 controls each component of the microwave oven 100.
  • control unit 300 has a heating control unit 301, a recognition unit 302, a photometric target detection unit 303, and an exposure control unit 304.
  • control unit 300 has the heating control unit 301, the recognition unit 302, the photometric target detection unit 303, and the exposure control unit 304 integrated with each other.
  • control unit 300 may also be configured by a microcomputer having a processor such as a CPU (Central Processing Unit).
  • CPU Central Processing Unit
  • the heating control unit 301 controls the magnetron 202a and the magnetron 202b.
  • the heating target 203 stored in the heating chamber 201 is heated by the microwaves radiated by the magnetron 202a and the magnetron 202b.
  • the recognition unit 302 recognizes an object such as food from the image captured by the camera 204 and a graphic code such as a barcode attached to the food or a character.
  • the photometric target detection unit 303 performs a filtering process on the image captured by the camera 204 to pass the pixel grayscale value of the food label part to be recognized and measured, and then calculates the average grayscale value of the entire image. To calculate.
  • the photometric target is extracted by using the calculated average gray level value as the estimated gray level value of the photometric target portion. That is, the photometric target detection unit 303 passes the gradation information of the photometric and recognition target portion from the image captured by the camera 204.
  • the exposure control unit 304 determines whether or not the exposure adjustment is necessary based on the estimated gradation value output from the photometric target detection unit 303. Then, the exposure control unit 304 controls the camera 204 or the illumination 205 as necessary to change the exposure setting.
  • Fig. 3 is an example of a label attached to food.
  • heating control information The information for cooking such as heating power and heating time is referred to as heating control information in the present embodiment.
  • the label 401 includes information such as a product name 402, heating control information 403, amount information 404, expiration date information 405, a barcode 406 (other graphic code may be used) for identifying a product, nutrition information 407, and notification information 408. It is displayed.
  • the heating control information is surrounded by a square frame 409 so that the heating control information can be easily extracted from these pieces of information.
  • the label 401 has, for example, a heating time for heating at 500 W as a guide when heating in a general household microwave oven, and 1500 W as a guide for heating for a short time with large power for commercial use.
  • the heating time in the case of heating with is also described.
  • "500 W, 2 minutes, 00 seconds, 1500 W, 0 minutes, 40 seconds" is displayed as heating control information.
  • the camera 204 takes a picture of the inside of the heating chamber 201. Then, the recognition unit 302 recognizes the portion where the heating control information is displayed from the image captured by the camera 204, and recognizes the letters and numbers of the heating control information.
  • the recognition unit 302 recognizes the rectangular frame 409 from the image captured by the camera 204.
  • the recognition unit 302 recognizes the character string “500W200 1500W040” in the square frame 409.
  • the recognition unit 302 causes the number string up to “W”, the three-digit number sequence after “W”, the subsequent number sequence up to “W”, and the number sequence after “W”. It is decomposed into a three-digit number string to be “500” “200” “1500” “040”.
  • the recognizing unit 302 further sets the second digit string and the fourth digit string as "minute” for the first one digit and second for the second digit string, and for the power of the first digit string and the second digit string. Recognize that the times correspond and the power of the third number string corresponds to the time of the fourth number string. Then, the recognition unit 302 recognizes the heating control information of 500 W for 2 minutes and 1500 W for 40 seconds.
  • such a food label portion (label 401) is the object of recognition and photometry, not the entire in-store image. Further, although details will be described later, it is the gradation value of the food label portion (label 401) that is the target of gradation estimation for exposure adjustment.
  • FIG. 4 shows an example of an image taken inside the heating cabinet when the heating cabinet 201 is empty.
  • a square frame that indicates the standard position of food items and precautions for use are printed on the bottom.
  • the following description will be given assuming that a black square frame and letters such as precautions are printed on a white background, but the design including the color of the bottom of the refrigerator may be different. Good.
  • FIG. 5A and 5B are examples of other images taken inside the heating chamber 201.
  • FIG. 5A when “white rice” exists as an example of food with a relatively high lightness in the heating cabinet 201, FIG. 5B shows in FIG. 7A and 7B show an example of an image obtained by photographing the inside of the refrigerator in each of the cases where there is.
  • FIGS. 6A and 6B show histograms of image gradation values corresponding to respective captured images and average gradation values of the entire image when the foods given as examples in FIGS. 5A and 5B exist in the refrigerator. ..
  • the histograms of the images in FIGS. 5A and 5B correspond to the histograms in FIGS. 6A and 6B, respectively. That is, FIG. 6A has a large amount of bright gray areas, and FIG. 6B has a large amount of dark gray areas.
  • a white portion represents a pixel area that has passed the filter
  • a black portion represents a pixel area that has been cut by the filter.
  • FIGS. 8A and 8B show a case where upper gradation pass filter processing is performed as the processing performed by the photometric target detection unit 303 on the internal images of FIGS. 5A and 5B, that is, in FIGS. 7A and 7B. It is an example showing a histogram and an average gradation value.
  • the broken line part of the histogram shows the gradation part cut by the filter in order to easily understand the effect of the upper gradation pass filtering process when compared with the histograms of FIGS. 6A and 6B.
  • the pixel regions to be passed by the filter with respect to the captured images of FIGS. 5A and 5B are represented by black and white binary images.
  • a white portion represents a pixel area that has passed the filter
  • a black portion represents a pixel area that has been cut by the filter processing.
  • FIG. 10A shows an internal image in the case where a characteristic color (yellow, which is close to the primary color, for example) is used in the background portion of the label 401 to be metered.
  • FIG. 10B is an example in which the pixel area to be passed by the filter when the photometric target detection unit 303 performs the chromaticity filtering process on the captured image of FIG. 10A is represented by a monochrome binary image.
  • the white portion represents the pixel area that has passed the filter
  • the black portion represents the pixel area that has been cut by the filter.
  • a label whose background color is yellow, which is close to the primary color will be described as an example, but the color is not particularly limited.
  • FIG. 11 shows the chromaticity range of the filter passing when the photometric target detection unit 303 performs the chromaticity filtering process on the xy chromaticity diagram.
  • the inside of a circle indicated by a broken line 1101 in the figure shows the chromaticity range of the filter passage.
  • a rectangle or a range using an arbitrary function may be designated in addition to the circle.
  • a uv chromaticity diagram or u'v' chromaticity diagram may be used as the chromaticity diagram, and as the color system, for example, L*u*v other than the XYZ color system. *Color system, L*a*b* color system, HSV color system, etc. may be used.
  • FIG. 12 is a flowchart showing the exposure control operation of microwave oven 100 in the first embodiment. Details will be described below with reference to the flowchart of FIG.
  • step S1 the camera 204 captures an image of the inside of the warehouse with the initial exposure setting, and the control unit 300 advances the process to step S2. As a result of photographing, the in-compartment image as shown in FIGS. 5A and 5B is obtained.
  • the photometric target detection unit 303 performs a photometric target detection filter process on the in-chamber captured image.
  • the photometric target detection unit 303 performs at least one of an upper gradation pass filter process, a contrast filter process, and a chromaticity filter process.
  • the upper gradation pass filter processing will be described.
  • the photometric target detection unit 303 uses this filter processing, it is premised that the food label 401 to be recognized and photometrically has a relatively bright background such as white.
  • the gradation means a gray gradation (black: 0 gradation, white: 255 gradation).
  • FIGS. 6A and 6B histograms of gradation values as shown in FIGS. 6A and 6B are created for the in-chamber image as shown in FIGS. 5A and 5B.
  • FIG. 5A is an image photographed inside the refrigerator assuming “white rice” as an example of a food having a relatively high lightness
  • FIG. 5B is “nori bento” as an example of a food having a relatively low lightness. Therefore, as the corresponding histogram, FIG. 6A has a histogram shape biased to the high gradation range.
  • FIG. 5A is an image photographed inside the refrigerator assuming “white rice” as an example of a food having a relatively high lightness
  • FIG. 5B is “nori bento” as an example of a food having a relatively low lightness. Therefore, as the corresponding histogram, FIG. 6A has a histogram shape biased to the high gradation range.
  • FIG. 6A has a histogram shape biased to the high gradation range.
  • the processing is performed in step S3 described below, but as the estimated gradation value of the food label (label 401) portion that is a photometric target when performing recognition and exposure adjustment, The average gradation value is calculated.
  • the difference in lightness of foods other than the food label (label 401) area appears as a difference in average gradation value as shown in FIGS. 6A and 6B. That is, the gradation estimation error is large, and it is difficult to directly use the gradation average value for exposure control.
  • the upper gradation pass filter processing only the gradation values of the upper gradation pixels of a predetermined ratio with respect to the total number of pixels of the image are passed, and the pixel gradation values of the lower gradation are cut.
  • FIGS. 5A and 5B are images in which the pass-through pixel area in the case where the upper gradation pass filter process is performed on the in-compartment images of FIGS. 5A and 5B are represented by a black and white binary image.
  • a high-brightness portion of the image including the food label (label 401) to be metered is the passing pixel area.
  • the bottom 50% of the area of the histograms of FIGS. 6A and 6B is cut, resulting in the shapes shown in FIGS. 8A and 8B.
  • the broken line portion shows the lower 50% of pixels cut by the filter.
  • the cut pixels are not included in the calculation. Therefore, as shown in FIGS. 8A and 8B, the difference between the average gradation values of both is reduced as compared with FIGS. 6A and 6B.
  • the gradation estimation error becomes small. If it is premised that the brightness of the recognition and photometric objects is high, such filter processing does not detect the label part (label 401) and only the simple filter processing in the pre-processing stage is performed, which is fast and accurate. It is possible to estimate the gradation value of the photometric target (label portion). Therefore, the characters on the label can be easily recognized.
  • the contrast filter processing will be explained.
  • the basic idea is the same as the upper gradation pass filter processing. It is an object of the present invention to reduce the estimation error of the gradation value used for exposure control by eliminating the effects other than the food label that is the object of recognition and photometry by filtering.
  • the recognition target part of the food label of the recognition and photometric target has a large black and white contrast such as a character or a bar code.
  • a specific filtering process a process is performed in which only pixels having a predetermined gradation difference from their pixel value in the vicinity of themselves are passed. That is, the photometric target detection unit 303 passes only the pixel gradation value having a predetermined gradation difference from the pixel value of the predetermined pixel region as the measurement target.
  • a process of confirming a 5 ⁇ 5 pixel area centered on the target pixel is performed. For example, if the gradation value of the target pixel is 200 gradations, and there is a pixel with 100 gradations or less that is -100 gradations in the 5 ⁇ 5 pixel area, the target pixel becomes a passing pixel and does not exist. If it is, it becomes a cut pixel. Such processing is performed on all the pixels in the image.
  • the area size of 5 ⁇ 5 pixels mentioned here is an example, and the shape of the area including the size is not limited to a rectangle.
  • the gradation difference of -100 is also an example, and the numerical value is not limited.
  • FIGS. 9A and 9B are images in which the pass-through pixel area in the case of performing the contrast filter processing on the inside images in FIGS. 5A and 5B is represented by a black and white binary image.
  • a black-and-white high contrast portion including a character portion to be recognized is a passage target area. If it is assumed that the contrast of the object to be recognized and measured is high, such contrast filter processing does not detect the label part and only the simple filter processing in the pre-processing stage enables high-speed and accurate measurement of the object to be measured. The gradation value can be estimated. Therefore, the characters on the label can be easily recognized.
  • chromaticity filter processing will be explained.
  • the basic idea is similar to the upper gradation pass filter processing, and the chromaticity filter processing eliminates the effects other than the food label that is the object of recognition and photometry, and reduces the estimation error of the gradation value used for exposure control. be able to.
  • the photometric target detection unit 303 uses the chromaticity filter processing, it is premised that the color of the label that is the photometric target is characteristic.
  • FIG. 10A is an example of an in-room image when the food label is yellow, for example. Since the label portion is colored, the gray gradation is photographed with a lower gradation than that of the bottom surface of the inside which is white. As a specific filtering process, a process of passing only the gradation values of pixels that fall within a predetermined range on the chromaticity diagram is performed. For example, it is assumed that a pixel in an image has R:100 gradation, G:100 gradation, and B:10 gradation.
  • ITU-R BT ITU-R BT.
  • the photometric target detection unit 303 sets the target pixel as a passing pixel.
  • the photometric target detection unit 303 sets the target image as a cut pixel.
  • the photometric target detection unit 303 allows only the gradation values of pixels that fall within a predetermined chromaticity range to pass.
  • the photometric target detection unit 303 performs such processing on all pixels in the image.
  • RGB gradations are used, but when calculating the average gradation, it is performed with gray gradations. Conversion from RGB gradation to gray gradation can be calculated by 0.299R+0.587G+0.114B.
  • FIG. 10B shows an image in which the pixel area to be passed when the contrast filter processing is performed on the in-compartment image of FIG. 10A is expressed by a black and white binary image.
  • the label part to be recognized becomes the passage target area. If it is assumed that the color of the object to be recognized and measured is characteristic, such a filtering process enables high-speed and accurate photometry without any detection of the label part, only by a simple filtering process in the preprocessing stage. The target gradation value can be estimated. Therefore, the characters on the label portion are easily recognized.
  • the photometric target detection unit 303 performs a photometric target detection filter process of any one of upper gradation pass filter process, contrast filter process, and chromaticity filter process, and the photometric and recognition target parts of the image captured by the camera 204 are detected. Only key information is passed. After that, the control unit 300 advances the process to step S3.
  • step S3 the photometric target detection unit 303 calculates the average gradation value of the entire image using the pixel gradation values that have passed through the filtering process in step S2. After that, the control unit 300 advances the process to step S4.
  • step S4 the exposure control unit 304 determines whether exposure adjustment is necessary using the average gradation value calculated in step S3. For example, when the average gradation value is 100 or more and 150 or less, it is determined that the image has already been photographed with the brightness suitable for recognition, and the exposure control unit 304 does not perform the exposure adjustment, and the control unit 300 The process proceeds to step S6. If the average gradation value is less than 100 or greater than 150, the exposure control unit 304 determines that exposure adjustment is necessary, and the control unit 300 advances the process to step S5. Note that the thresholds of 100 gradations and 150 gradations are examples, and the numerical range is not specifically limited.
  • step S5 the exposure control unit 304 adjusts the exposure according to the average gradation value. For example, when the average gradation value is less than 100, the exposure control unit 304 determines that the in-compartment image is too dark, and sets the camera 204 to increase the exposure time. That is, the exposure control unit 304 controls the exposure based on the gradation information obtained from the image captured by the camera 204.
  • the exposure control unit 304 determines that the internal image is too bright, and sets the camera 204 to shorten the exposure time.
  • a method of adjusting the exposure time has been described as a specific method of adjusting the exposure, another method may be used.
  • a method of adjusting the gain setting of the camera 204 may be used, or a method of combining the exposure time adjustment and the gain adjustment may be used.
  • a method of controlling the brightness in the refrigerator by the lighting 205 may be used. After performing the exposure adjustment, the process returns to step S1 and the process is performed again from the inside image capturing.
  • step S6 the control unit 300 determines whether or not the number of pixels passed through the filtering process in step S2 exceeds a predetermined number. For example, when the number of pixels that have passed is 10,000 or more, the control unit 300 advances the process to step S7 which is an image recognition process. If the number of passed pixels is less than 10,000, the control unit 300 advances the process to step S9.
  • step S9 as a result of step S6, the food label to be recognized is not included in the photographed image, or is partially included in the photographed image, but the food label is outside the image, and is therefore inappropriate as the recognition image. Then, the user is notified that the recognition target is not detected, the recognition process and the heating are not performed, and the process ends. That is, when the number of pixels detected as the photometric target is less than the predetermined number, the control unit 300 notifies the user that the recognition target has not been detected. Since the user is notified that the recognition target has not been detected without executing the recognition process, the user can promptly prompt the user to replace the food or check the state of the food label.
  • step S7 the recognition unit 302 performs image recognition processing using the in-compartment image captured by the camera 204, acquires heating control information, and advances the processing to step S8.
  • step S8 the heating control unit 301 performs cooking based on the heating control information acquired in step S7, and the process ends.
  • the object of recognition and photometry is determined from the gradation information of the image captured by the camera 204. Accurately estimate the gradation of the food label part of. Then, since the exposure control unit 304 performs appropriate exposure adjustment according to the estimated gradation, it is possible to perform highly accurate image recognition processing on an image captured with a brightness suitable for recognition.
  • the heating cooker according to the present disclosure is capable of recognizing the characteristics such as shape and the inside situation of characters by photographing with a camera and reflecting the recognized result in cooking control.
  • the present invention can be widely applied to a microwave oven used at a store, a microwave oven for home use, a heating cooker such as a rice cooker and an IH cooking heater.
  • microwave oven heating cooker
  • Housing 102
  • Door 103
  • Glass Window 104
  • Operation Display Unit 106
  • Liquid Crystal Display 107
  • Time Setting Button Group 108
  • Heating Start Button 109
  • Cancel Button 110
  • Pause Button 201 Heating Cabinet 202a, 202b Magnetron 203 Heating Object 204 Camera (Photographing Section)
  • illumination 300
  • control unit 301
  • heating control unit 302 recognition unit
  • photometric target detection unit 304 exposure control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Electric Ovens (AREA)

Abstract

本開示に係る加熱調理器は、加熱対象物を収納する加熱庫と、前記加熱庫内を撮影する撮影部と、露光制御を実行する露光制御部と、を備えている。前記露光制御部は、前記撮影部で撮影された画像から得られる階調情報をもとに露光制御を行う。これにより、加熱庫内の照度を的確に検知し、露光制御を行ったうえで認識用の画像を取得することができる。

Description

加熱調理器
　本開示は、食品を加熱する加熱調理器及び加熱調理器の制御方法に関するものである。
　加熱調理器の一例である電子レンジは、鍋やフライパンを使うことなく、食品を容器に入れたまま加熱することができる。このため、コンビニエンスストア等の販売店では、電子レンジを用いて弁当や惣菜といった食品を加熱して提供する場合もある。
　通常、弁当や総菜には電子レンジで加熱するのに最適な加熱時間が表示されている。販売店の店員はその表示を見て、電子レンジで加熱時間を設定するのが一般的である。
　具体的には、店員は、電子レンジの操作部に配置された数字キーを操作することにより、加熱時間の設定を行うことができる。或いは、加熱時間やワット数に対応する調理ボタンを複数備えた電子レンジを使用する場合、店員は、加熱する食品に対応するボタンを操作することで、その食品に適した加熱を行うことができる。
　しかしながら、加熱時間を数字キーで設定するのは操作が煩わしいという問題がある。また複数の操作ボタン夫々に異なる食品の加熱時間が割り当てられた電子レンジでは、店員が複数のボタンと食品との対応関係を憶える必要がある。これにより、商品の種類が増えれば増えるだけ、店員がこの対応関係を憶える負担が増えるといった問題がある。
　このような問題を解決するために、店員が商品に添付されているバーコードの情報を読み取ると、バーコードに対応する加熱制御内容で商品を加熱する電子レンジを提供することが提案されている。
　或いは、電子レンジの加熱庫内を撮影するカメラを庫内天井面に備えた電子レンジが提案されている。当該従来の電子レンジでは、庫内に投入された商品の画像からバーコード部分が抽出され、そのバーコードが読み取られることで、コード情報から商品に対応した加熱制御内容が呼び出され、適切な加熱が行われる（例えば特許文献１）。
　また、加熱庫内を撮影できるよう設置されたカメラにより食品画像が取得され、画像認識処理が行われ、認識結果に応じた調理を実施する電子レンジが開示された例もすでに存在する。
特開２００１－３４９５４６号公報
　従来の電子レンジでは、ＬＥＤ等の照明により加熱庫内が適切な照度で照らされ、カメラで画像認識処理に適した画像が取得される。このとき、電子レンジが設置される環境によっては、日光等の外光がドアの開口部から加熱庫内に入射し、加熱庫内の照度が画像処理に適した程度に保てないことがある。外光が入射した状態で撮影された画像では、認識処理が行われる対象部が白飛びし、著しく認識率を低下させてしまう可能性がある。
　本開示は、日光等の外光がドアの開口部から入射する場合でも、カメラで撮影された画像から加熱庫内の照度を的確に検知し、露光制御を行った上で認識用の画像を取得する加熱調理器を提供することを目的とする。これにより、認識したい画像の認識精度を高めることができる。
　上記従来の問題を解決するために、本開示の加熱調理器は、加熱対象物を収納する加熱庫と、前記加熱庫内を撮影する撮影部と、露光制御を実行する露光制御部と、を備えている。前記露光制御部は、前記撮影部で撮影した画像から得られる階調情報を元に露光制御を行う。
　本開示の加熱調理器は、日光等の外光がドアの開口部から入射する場合にも、カメラで撮影された画像から加熱庫内の照度を的確に検知し、露光制御を行った上で認識用の画像を取得することができる。このため、認識したい画像の認識精度を高めることができる。
本開示の実施の形態１における加熱調理器の外観を示す斜視図 本開示の実施の形態１における加熱調理器の概略構成図 本開示の実施の形態１における加熱調理器で加熱する商品に表示された加熱制御情報を含む商品情報のラベルを示す図 本開示の実施の形態１における加熱調理器の空状態の庫内画像を示す図 本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の一例を示す図 本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の一例を示す図 本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の階調値のヒストグラムを示す図 本開示の実施の形態１における加熱調理器の食品が入れられた状態の庫内画像の階調値のヒストグラムを示す図 本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図 本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図 本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した後の庫内画像の階調値のヒストグラムの一例を示す図 本開示の実施の形態１における測光対象検出部が上位階調通過フィルタ処理を庫内画像に施した後の庫内画像の階調値のヒストグラムの一例を示す図 本開示の実施の形態１における測光対象検出部がコントラストフィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図 本開示の実施の形態１における測光対象検出部がコントラストフィルタ処理を庫内画像に施した際に、フィルタを通過する領域の一例を示す図 本開示の実施の形態１における測光対象検出部が色度フィルタ処理を庫内画像に施す際の、対象となる庫内撮影画像を示す図 本開示の実施の形態１における測光対象検出部が色度フィルタ処理を庫内画像に施す際に、フィルタを通過する領域の一例を示す図 本開示の実施の形態１における測光対象検出部が色度フィルタ処理を庫内画像に施す際のｘｙ色度図上のフィルタ範囲の一例を示す図 本開示の実施の形態１における加熱調理器の動作の流れを示すフローチャート
　第１の態様に係る加熱調理器は、加熱対象物を収納する加熱庫と、前記加熱庫内を撮影する撮影部と、露光制御を実行する露光制御部と、を備え、前記露光制御部は、前記撮影部で撮影した画像から得られる階調情報をもとに前記露光制御を行う。
　これにより、日光等の外光がドアの開口部から入射する場合にも、カメラで撮影された画像から加熱庫内の照度を的確に検知し、露光制御を行った上で認識用の画像を取得することができる。このため、認識したい画像の認識精度を高めることができる。
　第２の態様に係る加熱調理器は、第１の態様において、前記撮影部で撮影された画像から測光対象を抽出する測光対象検出部をさらに有し、前記測光対象検出部は、前記画像から測光対象部分の前記階調情報を通過させ、前記露光制御部は前記階調情報をもとに露光制御を行う。
　これにより、測光対象の特徴のみを通過するフィルタ処理を撮影画像に予めかけた画像の階調情報を元に、露光制御を行うことができる。このため、露光制御の精度を高めることができる。
　第３の態様に係る加熱調理器は、第２の態様において、前記測光対象検出部は、前記画像における所定割合の上位階調値のみを通過させる。
　これにより、白色のラベル等、明度が高く、撮影した際の階調値が比較的高いと予め決まっている測光対象に対し、高精度、かつ高速にフィルタ処理を行うことができる。
　第４の態様に係る加熱調理器は、第２の態様において、前記測光対象検出部は、前記測光対象の所定の画素領域の画素値と所定の階調差がある画素階調値のみを通過させる。
　これにより、白い背景に黒い文字や黒のバーコードが印刷されたラベル等、白黒のコントラストが高い部分が測光対象と予め決まっている場合に、高精度にフィルタ処理を行うことができる。
　第５の態様に係る加熱調理器は、第２の態様において、前記測光対象検出部は、所定の色度範囲内に収まる画素の階調値のみを通過させる。
　これにより、測光対象となるラベルの色が予め限定されている場合に、高精度、かつ高速にフィルタ処理を行うことができる。
　第６の態様に係る加熱調理器は、第２～第５のいずれかの態様において、前記測光対象検出部は、前記測光対象として検出した画素が所定の数に満たなかった場合、認識対象が未検出であること使用者に通知する。
　これにより、認識対象が撮影範囲に入っていない、または視野外にはみ出している等の場合に、認識処理を行う以前の早い段階で使用者に認識対象が未検出であることが通知される。これにより、食品の入れ直しや、認識対象のラベル状態の確認等を使用者に促すことができる。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　以下、図面を参照して、本開示の実施の形態１による加熱調理器を説明する。
　図１は、本開示の第１の実施形態における加熱調理器の外観を示す図である。
　図１に示す電子レンジ１００は、筐体１０１と、筐体１０１に開閉可能に軸支されたドア１０２と、を有している。筐体１０１の内部には、加熱対象の弁当や惣菜などの食品（加熱対象物２０３）を収納する加熱庫２０１が配設されている。
　ドア１０２は、使用者が筐体１０１の内部を見ることができるように、透明のガラス窓１０３を有している。更に、使用者がドア１０２を掴みやすいように、ドア１０２は取っ手１０４も有している。
　なお、本実施の形態においては、筐体１０１のドア１０２を有する側を前方とし、この前方より後方に向かって右側を右方とし、前方より後方に向かって左側を左方として、以下の説明を行う。
　ドア１０２の隣には、操作表示部１０５が配置されている。操作表示部１０５は、液晶表示器１０６、時間設定ボタン群１０７、加熱開始ボタン１０８、取消ボタン１０９及び一時停止ボタン１１０を備えている。使用者は数字ボタンと、分、秒のボタンを使用することにより、加熱時間を設定することができる。また、液晶表示器１０６は設定された加熱時間等を表示する。
　加熱開始ボタン１０８は、使用者が液晶表示器１０６で加熱時間やワット数等を確認した後、加熱を開始するためのボタンである。取消ボタン１０９は加熱開始ボタン１０８を押下して加熱を開始した後に加熱を停止するため、或いは、液晶表示器１０６に表示されている加熱時間の設定を取り消すためのボタンである。
　一時停止ボタン１１０は、加熱途中で加熱を一時的に停止するためのボタンである。加熱を一時停止した後に、使用者が加熱開始ボタン１０８を再度押下することで途中から残りの加熱を行うことが可能である。
　図２は、実施の形態１における電子レンジ１００の概略構成図である。
　電子レンジ１００は、加熱庫２０１内にマイクロ波を出力する２つのマグネトロン２０２ａと２０２ｂを、加熱部として備えている。
　マグネトロン２０２ａは加熱庫２０１の天井側に配置されており、上部から加熱庫２０１内にマイクロ波を出力する。一方、マグネトロン２０２ｂは加熱庫２０１の底面側に配置されており、下部から加熱庫２０１内にマイクロ波を出力する。加熱庫２０１内に収納された、弁当や惣菜などの食品、すなわち、加熱対象物２０３は、放射されたマイクロ波により加熱される。
　なお、本開示では、加熱部としてマグネトロンによるマイクロ波を例示したが、半導体発振によるマイクロ波やヒータ、温風、蒸気等により加熱してもよい。またマグネトロン等の加熱源は２つではなく１つであってもよい。
　加熱庫２０１の天井側にはカメラ２０４（撮影部の一例）が配置されている。カメラ２０４は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）のような撮像素子とレンズ等の光学素子から構成される。カメラ２０４は、加熱庫２０１内部を撮影し画像を生成する。生成された画像は、例えば、画素ごとに輝度を０（暗）から２５５（明）の範囲の値で表している。なお、各々の画素を、赤、青、緑の各々の色ごとに０から２５５の値で表す画像として生成してもよい。また、０から２５５以外の範囲や表現方法により各々の画素に対応する値を表しても良い。
　なお、本実施の形態では、カメラ２０４は加熱庫２０１の天井側面に設けられている。しかしながら、カメラ２０４は加熱庫２０１の左右側面などの他の面に設けてもよい。なお、本開示では、後述するように露光条件を工夫することにより、撮影部２０４を１個のカメラ部材により構成しても、画像の認識精度を高めることができる。そのため、製造時のコスト削減や筐体１０１の小型化を実現できる。これに限られず、撮影部２０４は、複数のカメラ部材で構成してもよい。
　加熱庫２０１の側面には、ＬＥＤを光源とする照明２０５が配置されており、加熱庫２０１内部を照らす。
　本実施の形態においては、加熱庫２０１の左側面から加熱庫２０１内を臨む様に照明２０５が配置されている。しかしながら、照明２０５は、四方の側面や天井や底面等のいずれに配置されてもよいし、複数配置されてもよい。
　本実施の形態においては、照明２０５の光源としてＬＥＤによる構成を開示しているが、光源として電球や蛍光灯や自然光などの他の光源を用いてもよい。
　制御部３００は、操作表示部１０５の下方に配置されている。制御部３００は、電子レンジ１００の各構成要素を制御する。
　図２において、制御部３００は、加熱制御部３０１、認識部３０２、測光対象検出部３０３及び露光制御部３０４を有している。
　尚、本実施の形態では、制御部３００は、加熱制御部３０１、認識部３０２、測光対象検出部３０３及び露光制御部３０４を一体の構成とした。しかしながら、これらの構成を別々の半導体素子等で実現してもよい。また、制御部３００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のようなプロセッサを有するマイクロコンピュータにより構成してもよい。
　加熱制御部３０１は、マグネトロン２０２ａとマグネトロン２０２ｂの制御を行う。マグネトロン２０２ａおよびマグネトロン２０２ｂにより放射されたマイクロ波により、加熱庫２０１内に収納された加熱対象物２０３が加熱される。
　認識部３０２は、カメラ２０４が撮影した画像から、食品等の物体の認識や、食品等に付されたバーコード等の図形コードや文字等の認識を行う。
　測光対象検出部３０３は、カメラ２０４で撮影された画像に対し、認識および測光の対象となる食品ラベル部の画素階調値を通過させるフィルタ処理を行った上で、画像全体の平均階調値を算出する。算出された平均階調値を測光対象部分の推定階調値として測光対象を抽出する。すなわち、測光対象検出部３０３は、カメラ２０４で撮影された画像から測光および認識対象部分の階調情報を通過させる。
　露光制御部３０４は、測光対象検出部３０３が出力した推定階調値を元に、露光調整の要否を判断する。そして、露光制御部３０４は、必要に応じてカメラ２０４、または照明２０５を制御し、露光設定を変更する。
　図３は、食品に貼られるラベルの一例である。
　加熱庫２０１には弁当、おにぎり、惣菜などの商品が入れられて加熱される。それら商品には、先ほど説明した、商品を調理するために必要な加熱パワーと加熱時間等が表示されたラベルが貼付されている。
　尚、この加熱パワーや加熱時間といった調理を行うための情報を、本実施の形態においては、加熱制御情報と称している。
　ラベル４０１には商品名４０２、加熱制御情報４０３、金額情報４０４、消費期限情報４０５、商品を特定するバーコード４０６（その他の図形コードでもよい）、栄養情報４０７、お知らせ情報４０８、といった、情報が表示されている。本実施の形態においては、これらの情報から加熱制御情報を抽出しやすいように加熱制御情報が四角枠４０９で囲まれている。
　また、このラベル４０１には、一般的な家庭用の電子レンジで加熱する時の目安として例えば５００Ｗで加熱する場合の加熱時間と、業務用として大パワーで短時間加熱する時の目安として例えば１５００Ｗで加熱する場合の加熱時間が併記されている。例えば、ラベル４０１には、加熱制御情報として、「５００Ｗ　２分００秒　１５００Ｗ　０分４０秒」と表示されている。
　使用者が、ドア１０２を開けて食品を入れると、カメラ２０４が加熱庫２０１内の撮影を行う。そして、認識部３０２が、カメラ２０４が撮影した画像からこの加熱制御情報が表示されている個所を認識し、この加熱制御情報の文字や数字を認識する。
　具体的には、認識部３０２は、カメラ２０４が撮影した画像から、四角枠４０９を認識する。
　次に認識部３０２は、この四角枠４０９で囲まれた中の英数字「５００Ｗ２００　１５００Ｗ０４０」という文字列を認識する。
　そして予め定められた解析ルールに従い、認識部３０２は、「Ｗ」までの数字列、「Ｗ」の後の３桁の数字列、それに続く「Ｗ」までの数字列、「Ｗ」の後の３桁の数字列に分解して「５００」「２００」「１５００」「０４０」とする。認識部３０２は、更に２番目の数字列と４番目の数字列は最初の１桁が「分」、後の２桁が秒として、また１番目の数字列のパワーと２番目の数字列の時間が対応していて、３番目の数字列のパワーと４番目の数字列の時間が対応しているとして認識する。そして、認識部３０２は、５００Ｗで２分、１５００Ｗで４０秒という加熱制御情報を認識する。
　本実施の形態においては、庫内画像全体ではなく、このような食品ラベル部（ラベル４０１）が認識、および、測光の対象である。また、詳細については後述するが、露光調整のための階調推定の対象となるのも、この食品ラベル部（ラベル４０１）の階調値である。
　図４は、加熱庫２０１が空の状態であるときの庫内撮影画像の一例を表す。レンジ庫内には、食品の置き位置の目安を示す四角枠や、使用上の注意事項が底面に印刷されている。本実施の形態においては、白地に黒色で四角枠や、注意事項等の文字が印刷されているものとして以下の説明を行うが、庫内底面の色を含めたデザインについては、別のものでもよい。
　図５Ａおよび図５Ｂは、加熱庫２０１内を撮影した別の画像の一例である。この例では、図５Ａは、加熱庫２０１内に比較的明度の高い食品例として「白飯」が存在する場合、図５Ｂは、加熱庫２０１内に比較的明度の低い食品例として「のり弁当」が存在する場合のそれぞれにおける庫内を撮影した画像の一例を示している。
　図６Ａおよび図６Ｂは、図５Ａおよび図５Ｂで一例として挙げた食品が庫内に存在する場合の、それぞれの撮影画像に対応する画像階調値のヒストグラムと画像全体の平均階調値を示す。図５Ａ、図５Ｂの画像のヒストグラムが、それぞれ図６Ａ、および図６Ｂのヒストグラムに対応する。すなわち、図６Ａは明るい階調の面積量が多く、図６Ｂは暗い階調の面積量が多い。
　図７Ａおよび図７Ｂは、測光対象検出部３０３が行う処理として、上位階調通過フィルタ処理が行われたときに、図５Ａおよび図５Ｂそれぞれの撮影画像に対するフィルタの通過対象画素領域を白黒の２値画像で表現した例である。図７Ａおよび図７Ｂでは、白色部分がフィルタを通過した画素領域、黒色部分はフィルタでカットされた画素領域を表す。
　図８Ａおよび図８Ｂは、図５Ａおよび図５Ｂのそれぞれの庫内画像に対し、測光対象検出部３０３が行う処理として、上位階調通過フィルタ処理が行われた場合、すなわち図７Ａおよび図７Ｂのヒストグラム、および平均階調値を示す例である。ヒストグラムの破線部は、図６Ａおよび図６Ｂのヒストグラムとそれぞれ比較した際の上位階調通過フィルタ処理の効果把握を容易にするために、フィルタでカットされた階調部分を示す。
　図９Ａおよび図９Ｂは、測光対象検出部３０３が行う処理として、コントラストフィルタ処理が行われる場合、図５Ａおよび図５Ｂそれぞれの撮影画像に対するフィルタの通過対象画素領域を白黒の２値画像で表現した例である。図７Ａおよび図７Ｂと同様に、白色部分がフィルタを通過した画素領域、黒色部分はフィルタ処理でカットされた画素領域を表す。
　図１０Ａは、測光対象のラベル４０１の背景部分に特徴的な色（一例として原色に近い黄色）が使われている場合の庫内画像を示す。図１０Ｂは、図１０Ａの撮影画像に対して、測光対象検出部３０３が色度フィルタ処理を行った場合の、フィルタの通過対象画素領域を白黒の２値画像で表現した例である。図７同様、白色部分がフィルタを通過した画素領域、黒色部分はフィルタでカットされた画素領域を表す。本実施の形態においては、背景色が原色に近い黄色であるラベルを例に説明するが、色について特に限定するものではない。
　図１１は、測光対象検出部３０３が色度フィルタ処理を行う際の、フィルタ通過の色度範囲をｘｙ色度図上に表現したものである。図中の破線１１０１で示す円の内部がフィルタ通過の色度範囲を示す。なお、フィルタ通過の色度範囲に関しては、円形以外にも、矩形や任意の関数を使った範囲の指定でも構わない。また、色度図としてｘｙ色度図以外に、ｕｖ色度図やｕ’ｖ’色度図を用いてもよいし、表色系としてＸＹＺ表色系以外の、例えば、Ｌ＊ｕ＊ｖ＊表色系、Ｌ＊ａ＊ｂ＊表色系、ＨＳＶ表色系、等を用いてもよい。
　図１２は、実施の形態１における電子レンジ１００の露光制御の動作を示すフローチャートである。以下、図１２のフローチャートを用いて詳細に説明する。
　Ｓ１ステップでは、初期の露光設定でカメラ２０４が庫内画像の撮影を行い、制御部３００は、Ｓ２ステップへ処理を進める。撮影の結果として図５Ａおよび図５Ｂのような庫内画像が得られる。
　Ｓ２ステップでは、測光対象検出部３０３が、庫内撮影画像に対して測光対象検出フィルタ処理を施す。本実施の形態では、測光対象検出部３０３は、上位階調通過フィルタ処理、コントラストフィルタ処理、および、色度フィルタ処理の少なくとも一つの処理を行う。以下、各フィルタ処理について詳細に説明する。
　まず、上位階調通過フィルタ処理について説明する。測光対象検出部３０３が本フィルタ処理を使用する場合は、認識および測光対象の食品ラベル４０１の背景が白色等、比較的明度の高いものであることを前提とする。また一連の処理については、カラーではなくグレー画像で行う前提で説明するため、階調とはグレー階調（黒：０階調、白：２５５階調）のことを指す。
　具体的な上位階調通過フィルタ処理の流れとしては、まず図５Ａおよび図５Ｂに示すような庫内画像に対し、それぞれ図６Ａおよび図６Ｂのような階調値のヒストグラムが作成される。図５Ａは比較的明度の高い食品例として「白飯」、図５Ｂは比較的明度の低い食品例として「のり弁当」を想定した庫内撮影画像である。このため、対応するヒストグラムとして、図６Ａは高階調域に偏ったヒストグラム形状となる。図６Ｂは、「のり弁当」の中でも特に明度の低い「のり」部分に対応して低階調域にピークがあり、また食品ラベル４０１や庫内底面は白色で明度が高いため、高階調域にもピークを持つようなヒストグラム形状となる。
　それぞれの平均階調値に関しても図６Ａおよび図６Ｂに示す通り、「白飯」、「のり弁当」のような明度の異なる食品では画像全体の平均階調値に顕著な差が表れる。後述のＳ３ステップで行われる処理だが、本実施の形態で説明する露光制御では、認識および露光調整を行う際の測光対象である食品ラベル（ラベル４０１）部分の推定階調値として、画像全体の平均階調値が計算される。
　フィルタ処理が行われない段階では、同一の照度環境下でも、食品ラベル（ラベル４０１）領域以外の食品の明度の差が図６Ａおよび図６Ｂのような平均階調値の差として表れる。すなわち、階調推定誤差が大きく、階調平均値を、直接、露光制御に使用するのは難しい。上位階調通過フィルタ処理では、画像の全画素数に対する所定割合の上位階調画素の階調値のみを通過させ、下位階調の画素階調値はカットする。
　図５Ａおよび図５Ｂの庫内画像に対し、上位階調通過フィルタ処理が行われた場合の通過対象画素領域を白黒の２値画像で表現した画像が、図７Ａおよび図７Ｂである。測光対象の食品ラベル（ラベル４０１）を含む、画像の明度の高い部分が通過画素領域となる。
　例えば、上位５０％の通過フィルタを考えた場合、図６Ａおよび図６Ｂのヒストグラムの面積のうち下位５０％がカットされ、図８Ａおよび図８Ｂのような形状となる。破線部はフィルタによりカットされた下位５０％の画素を示す。平均階調値を算出する際、カットされた画素に関しては計算の対象としないため、図８Ａおよび図８Ｂに示す通り、双方の平均階調値の差が図６Ａおよび図６Ｂと比較すると縮まり、階調推定誤差が小さくなる。認識および測光対象の明度が高いという前提がある場合、このようなフィルタ処理によって、ラベル部（ラベル４０１）の検出を行うことなく、前処理段階の単純なフィルタ処理のみで、高速、かつ精度よく測光対象（ラベル部）の階調値を推定できる。したがってラベル部の文字を容易に認識することができる。
　次に、コントラストフィルタ処理について説明する。基本的な考え方は上位階調通過フィルタ処理と同様である。フィルタ処理により、認識および測光対象である食品ラベル以外の影響を排除して、露光制御に用いる階調値の推定誤差を小さくすることを目的とする。測光対象検出部３０３がコントラストフィルタ処理を使用する場合は、認識および測光対象の食品ラベルにおける認識対象部分が、文字、またはバーコード等、白黒のコントラストが大きいことを前提とする。具体的なフィルタ処理としては、自身近傍に自身の画素値と所定の階調差がある画素のみを通過させる処理を行う。すなわち、測光対象検出部３０３は所定の画素領域の画素値と所定の階調差がある画素階調値のみを測定対象として通過させる。
　例えば、画像中のある画素がフィルタを通過するか否かを判断する際、対象の画素を中心とした５×５ピクセル領域を確認する処理が行われる。例えば、対象画素の階調値が２００階調で、５×５ピクセル領域中に－１００階調となる１００階調以下となる画素が存在すれば、対象の画素は通過画素となり、存在しなかった場合はカット画素となる。このような処理を画像中の全ての画素に対して行う。ここで挙げた５×５ピクセルの領域サイズは一例であり、サイズを含め、領域の形状を矩形に限定するものではない。また－１００の階調差についても同様に一例であり、数値については限定しない。
　図５Ａおよび図５Ｂの庫内画像に対し、コントラストフィルタ処理を行った場合の通過対象画素領域を白黒の２値画像で表現した画像が、図９Ａおよび図９Ｂである。認識対象となる文字部分を含む、白黒のコントラストの高い部分が通過対象領域となる。認識および測光対象のコントラストが高いという前提がある場合、このようなコントラストフィルタ処理によって、ラベル部の検出を行うことなく、前処理段階の単純なフィルタ処理のみで、高速、かつ精度よく測光対象の階調値を推定できる。したがってラベル部の文字を容易に認識することができる。
　次に、色度フィルタ処理について説明する。基本的な考え方は上位階調通過フィルタ処理と同様で、色度フィルタ処理により、認識および測光対象である食品ラベル以外の影響を排除して、露光制御に用いる階調値の推定誤差を小さくすることができる。測光対象検出部３０３が色度フィルタ処理を使用する場合は、測光対象となるラベルの色が特徴的であるような場合を前提とする。
　図１０Ａは食品ラベルが、例えば黄色の場合の庫内画像の一例である。ラベル部に色がついているため、グレー階調としては、白色である庫内底面よりも階調が低く撮影される。具体的なフィルタ処理としては、色度図上で予め定められた範囲内に収まる画素の階調値のみ通過させる処理を行う。例えば、画像中のある画素が、Ｒ：１００階調、Ｇ：１００階調、Ｂ：１０階調であるとする。
　例えば、ＩＴＵ－Ｒ　ＢＴ．７０９準拠として考えると、Ｘ＝０．４１２４Ｒ＋０．３５７６Ｇ＋０．１８０５Ｂ、Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ、Ｚ＝０．０１９３Ｒ＋０．１１９２Ｇ＋０．９５０５Ｂ、でＸ，Ｙ，Ｚが計算できる。さらに、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）であるため、色度ｘ、ｙが計算でき、それぞれｘ＝０．４０２８、ｙ＝０．４７７９となる。このｘ、ｙの値が予め決められた図１１のｘｙ色度図上の範囲１１０１に含まれる場合、測光対象検出部３０３は対象の画素を通過画素とする。図１１のｘｙ色度図上の範囲１１０１の範囲外となる場合、測光対象検出部３０３は対象の画像をカット画素とする。すなわち、測光対象検出部３０３は所定の色度範囲内に収まる画素の階調値のみを通過させる。測光対象検出部３０３は、このような処理を画像中の全ての画素に対して行う。
　本フィルタにおいては、フィルタ条件確認については、色情報を使うため、ＲＧＢ階調を用いて行うが、平均階調を計算する際は、グレー階調で行う。ＲＧＢ階調からグレー階調への変換は、０．２９９Ｒ　＋０．５８７Ｇ＋０．１１４Ｂで計算できる。
　図１０Ａの庫内画像に対し、コントラストフィルタ処理を行った場合の通過対象画素領域を白黒の２値画像で表現した画像が、図１０Ｂである。認識対象となるラベル部が通過対象領域となる。認識および測光対象の色が特徴的であるという前提がある場合、このようなフィルタ処理によって、ラベル部の検出を行うことなく、前処理段階の単純なフィルタ処理のみで、高速、かつ精度よく測光対象の階調値を推定できる。したがって、ラベル部の文字が容易に認識される。
　測光対象検出部３０３が、上位階調通過フィルタ処理、コントラストフィルタ処理、色度フィルタ処理のいずれかの測光対象検出フィルタ処理を行って、カメラ２０４で撮影された画像から測光および認識対象部分の階調情報のみを通過させる。その後、制御部３００はＳ３ステップに処理を進める。
　Ｓ３ステップでは、測光対象検出部３０３が、Ｓ２ステップのフィルタ処理で通過した画素階調値を使って、画像全体の平均階調値を算出する。その後、制御部３００はＳ４ステップに処理を進める。
　Ｓ４ステップでは、露光制御部３０４が、Ｓ３ステップで算出した平均階調値を用いて露光調整の要否を判断する。例えば、平均階調値が１００以上、１５０以下となる場合は、既に認識に適した明るさで撮影ができているものと判断し、露光制御部３０４による露光調整が行われず、制御部３００はＳ６ステップに処理を進める。平均階調値が１００未満、または１５０より大きい場合は、露光制御部３０４は露光調整が必要と判断し、制御部３００はＳ５ステップに処理を進める。なお、１００階調、１５０階調の閾値については一例であり、具体的に数値範囲を限定するものではない。
　Ｓ５ステップでは、露光制御部３０４が、平均階調値に応じて、露光調整を行う。例えば、平均階調値が１００未満である場合は、露光制御部３０４は庫内画像が暗すぎると判断し、露光時間を長くするような設定をカメラ２０４に対して行う。すなわち、露光制御部３０４は、カメラ２０４で撮影した画像から得られる階調情報を元に露光制御を行う。
　また、平均階調値が１５０より大きい場合は、露光制御部３０４は庫内画像が明るすぎると判断し、露光時間を短くするような設定をカメラ２０４に対して行う。露光調整の具体的な方法として、露光時間を調整する方法を挙げたが、別の方法でもよい。カメラ２０４のゲイン設定を調整する方法を用いてもよいし、露光時間調整とゲイン調整を組み合わせる方法でもよい。または照明２０５によって庫内の明るさを制御する方法を用いてもよい。露光調整を行った後、Ｓ１ステップに戻り再度、庫内画像撮影から処理が行われる。
　Ｓ６ステップでは、制御部３００が、Ｓ２のフィルタ処理で通過した画素数が、所定の数を超えるか否かを判断する。例えば、通過した画素数が１００００以上となる場合は、制御部３００は画像認識処理であるＳ７ステップに処理を進める。通過した画素数が１００００未満となる場合は、制御部３００はＳ９ステップに処理を進める。
　Ｓ９ステップでは、Ｓ６ステップの結果、認識対象となる食品ラベルが撮影画像に写っていない、または一部写っているものの、画像外にはみ出ているため、認識画像として不適当であると制御部３００が判断し、使用者に認識対象未検出の通知を行い、認識処理、および加熱は行わず、処理を終了する。すなわち、測光対象として検出した画素が所定の数に満たなかった場合、制御部３００は認識対象未検出を使用者に通知する。認識処理を実行することなく、認識対象が未検出であることを使用者に通知するため、使用者にいち早く、食品の置き直しや、食品ラベルの状態の確認を促すことができる。
　Ｓ７ステップでは、認識部３０２が、カメラ２０４が撮影した庫内画像を用いて画像認識処理を行い、加熱制御情報を取得してＳ８ステップに処理を進める。
　Ｓ８ステップでは、Ｓ７ステップで取得した加熱制御情報を元に、加熱制御部３０１が加熱調理を行い、処理を終了する。
　以上のように、本実施の形態によれば、レンジのドア１０２の開口部から入射する外光の影響がある場合にも、カメラ２０４が撮影された画像の階調情報から、認識および測光対象の食品ラベル部の階調を精度よく推定する。そして、露光制御部３０４が、推定した階調に応じて適切な露光調整を行うため、認識に適した明度で撮影された画像で高精度な画像認識処理を行うことができる。
　（その他の実施形態）
　電子レンジ等の加熱調理器をネットワークと接続可能にし、ネットワーク上のサーバーで加熱調理器を制御する加熱調理システムとして、上述した実施形態を実施することも可能である。このような加熱調理システムでは、実施の形態１の電子レンジ１００における測光対象検出部３０３が行う処理をサーバー側で実行する。これにより、加熱調理器における画像フィルタ処理による処理負荷を軽減することができる。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示の加熱調理器は、カメラにより撮影を行い形状などの特徴や文字などの庫内状況を認識し、認識した結果を調理制御に反映できる。これにより、販売店で使われる電子レンジの他、家庭用の電子レンジ、炊飯器やＩＨクッキングヒータなど、加熱調理器に広く適用可能である。
　　１００　電子レンジ（加熱調理器）
　　１０１　筐体
　　１０２　ドア
　　１０３　ガラス窓
　　１０４　取っ手
　　１０５　操作表示部
　　１０６　液晶表示器
　　１０７　時間設定ボタン群
　　１０８　加熱開始ボタン
　　１０９　取消ボタン
　　１１０　一時停止ボタン
　　２０１　加熱庫
　　２０２ａ、２０２ｂ　マグネトロン
　　２０３　加熱対象物
　　２０４　カメラ（撮影部）
　　２０５　照明
　　３００　制御部
　　３０１　加熱制御部
　　３０２　認識部
　　３０３　測光対象検出部
　　３０４　露光制御部

Claims (6)

  1. 　加熱対象物を収納する加熱庫と、
    　前記加熱庫内を撮影する撮影部と、
    　露光制御を実行する露光制御部と、を備え、
    　前記露光制御部は、前記撮影部で撮影された画像から得られる階調情報をもとに前記露光制御を行う加熱調理器。
  2. 　前記撮影部で撮影された画像から測光対象を抽出する測光対象検出部をさらに有し、
    　前記測光対象検出部は、前記画像から測光対象部分の前記階調情報を通過させ、
    　前記露光制御部は前記階調情報をもとに前記露光制御を行う、請求項１記載の加熱調理器。
  3. 　前記測光対象検出部は、前記画像における所定割合の上位階調値のみを通過させる、請求項２記載の加熱調理器。
  4. 　前記測光対象検出部は、前記測光対象の所定の画素領域の画素値と所定の階調差がある画素階調値のみを通過させる、請求項２記載の加熱調理器。
  5. 　前記測光対象検出部は、所定の色度範囲内に収まる画素の階調値のみを通過させる、請求項２記載の加熱調理器。
  6. 　前記測光対象検出部は、前記測光対象として検出した画素が所定の数に満たなかった場合、認識対象が未検出であることを使用者に通知する請求項２～５のいずれか１項に記載の加熱調理器。
PCT/JP2019/048580 2019-02-22 2019-12-11 加熱調理器 WO2020170568A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021501603A JP7470903B2 (ja) 2019-02-22 2019-12-11 加熱調理器
CN201980092379.4A CN113454392A (zh) 2019-02-22 2019-12-11 加热烹调器
US17/429,329 US20220151037A1 (en) 2019-02-22 2019-12-11 Heating cooker
EP19915971.6A EP3929489A4 (en) 2019-02-22 2019-12-11 COOKING APPLIANCE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019029953 2019-02-22
JP2019-029953 2019-02-22

Publications (1)

Publication Number Publication Date
WO2020170568A1 true WO2020170568A1 (ja) 2020-08-27

Family

ID=72145075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048580 WO2020170568A1 (ja) 2019-02-22 2019-12-11 加熱調理器

Country Status (5)

Country Link
US (1) US20220151037A1 (ja)
EP (1) EP3929489A4 (ja)
JP (1) JP7470903B2 (ja)
CN (1) CN113454392A (ja)
WO (1) WO2020170568A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249752A1 (ja) * 2021-05-26 2022-12-01 シャープ株式会社 撮像装置
WO2023090142A1 (ja) * 2021-11-19 2023-05-25 シャープ株式会社 撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349546A (ja) 2001-04-03 2001-12-21 Sanyo Electric Co Ltd 加熱調理装置
WO2016170604A1 (ja) * 2015-04-21 2016-10-27 オリンパス株式会社 内視鏡装置
CN106603933A (zh) * 2016-12-16 2017-04-26 中新智擎有限公司 一种曝光方法和装置
WO2018235702A1 (ja) * 2017-06-23 2018-12-27 パナソニックＩｐマネジメント株式会社 加熱調理器および加熱調理器の制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147629A (ja) * 1998-11-17 2000-05-26 Canon Inc カメラ
JP2006293161A (ja) * 2005-04-13 2006-10-26 Sharp Corp 画像形成装置及びその制御プログラム
JP2009010566A (ja) * 2007-06-27 2009-01-15 Yamaguchi Univ 写真画像のダイナミックレンジを拡大する方法及び撮像装置
KR101517148B1 (ko) * 2008-10-09 2015-05-04 삼성전자주식회사 자동 노출 시스템 및 방법
JP5782311B2 (ja) * 2011-07-01 2015-09-24 キヤノン株式会社 撮像装置及びその制御方法
US20150366219A1 (en) * 2012-12-04 2015-12-24 Ingo genannt STORK genannt WERSBORG Heat treatment monitoring system
WO2017090244A1 (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 加熱調理器、加熱調理器の制御方法、および、加熱調理システム
DE102016215550A1 (de) * 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut
CN108593261A (zh) * 2018-05-03 2018-09-28 中影巴可（北京）电子有限公司 激光电影放映机散斑检测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349546A (ja) 2001-04-03 2001-12-21 Sanyo Electric Co Ltd 加熱調理装置
WO2016170604A1 (ja) * 2015-04-21 2016-10-27 オリンパス株式会社 内視鏡装置
CN106603933A (zh) * 2016-12-16 2017-04-26 中新智擎有限公司 一种曝光方法和装置
WO2018235702A1 (ja) * 2017-06-23 2018-12-27 パナソニックＩｐマネジメント株式会社 加熱調理器および加熱調理器の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3929489A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249752A1 (ja) * 2021-05-26 2022-12-01 シャープ株式会社 撮像装置
WO2023090142A1 (ja) * 2021-11-19 2023-05-25 シャープ株式会社 撮像装置

Also Published As

Publication number Publication date
EP3929489A4 (en) 2022-04-20
JP7470903B2 (ja) 2024-04-19
US20220151037A1 (en) 2022-05-12
CN113454392A (zh) 2021-09-28
EP3929489A1 (en) 2021-12-29
JPWO2020170568A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
CN109564000B (zh) 烹饪物的褐变程度的确定
JP4056185B2 (ja) カラー映像処理装置及び方法
US6668078B1 (en) System and method for segmentation of images of objects that are occluded by a semi-transparent material
CN101536493B (zh) 摄像机和摄像机中摄像机设置的确定方法
WO2020170568A1 (ja) 加熱調理器
US20200253415A1 (en) Monitoring system and food preparation system
CN102858072B (zh) 照明控制方法及系统
JP6861345B2 (ja) 文字図形認識装置、文字図形認識方法、及び文字図形認識プログラム
CN103108469B (zh) 控制照明装置输出光的方法及装置、照明系统
WO2017077695A1 (ja) 加熱調理器
TW202123684A (zh) 用於特徵化環境照明之系統
CN113167721A (zh) 烹饪器具和用于运行烹饪器具的方法
CN109964083B (zh) 加热烹调器以及加热烹调器的控制方法
US20220414937A1 (en) Operation of a household cooking appliance with at least one camera
WO2018225666A1 (ja) 加熱調理器および加熱調理器の制御方法
WO2019208284A1 (ja) 加熱調理器
EP3438546B1 (en) Heating cooking device
WO2019159518A1 (ja) 加熱調理器および加熱調理システム
JP4226422B2 (ja) 着色眼用レンズの存在等の検知方法
JP7178622B2 (ja) 加熱調理器
JP2020165573A (ja) 加熱調理器
CN110286491A (zh) 用于x光胶片投射影像增强的显示装置
EP4187158A1 (en) Food preparation assembly comprising a camera assembly
WO2019059304A1 (ja) 加熱調理器
WO2023094078A1 (en) Food preparation assembly comprising a camera assembly

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501603

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019915971

Country of ref document: EP

Effective date: 20210922