WO2022231174A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022231174A1
WO2022231174A1 PCT/KR2022/005303 KR2022005303W WO2022231174A1 WO 2022231174 A1 WO2022231174 A1 WO 2022231174A1 KR 2022005303 W KR2022005303 W KR 2022005303W WO 2022231174 A1 WO2022231174 A1 WO 2022231174A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
ingredients
identified
food material
processor
Prior art date
Application number
PCT/KR2022/005303
Other languages
English (en)
French (fr)
Inventor
정순묵
김규태
김하나
이혜미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022231174A1 publication Critical patent/WO2022231174A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Definitions

  • the present invention relates to an electronic device that analyzes ingredients and recommends a recipe, and a method for controlling the same.
  • smart kitchen appliances that recommend recipes by using a neural network model.
  • Previously even if a user wanted to cook using the ingredients stored at home, it was difficult to obtain information on which ingredients to cook by combining them.
  • users It has become easy to cook through various recipes using ingredients.
  • the present disclosure is in accordance with the above-mentioned necessity, and an object of the present invention is to provide an electronic device that selects a food ingredient based on an image of a tray in which the food ingredient is stored, and provides a recommended recipe based on the selected ingredient, and a control method thereof is in providing.
  • An electronic device for achieving the above object is a camera arranged to photograph the tray from the upper part of the tray divided into a plurality of storage areas, and an image obtained by photographing the tray by the camera is obtained, size information of the plurality of storage areas is obtained based on the image, and size information of the plurality of food material areas stored in the tray and identification of the plurality of food materials by inputting the image to a neural network model obtaining information, and identifying at least some of the ingredients of the plurality of ingredients based on size information on the identified plurality of storage areas, size information on the plurality of food ingredient regions, and identification information of the plurality of ingredients, It may include a processor that provides a recommended recipe based on the identified ingredients.
  • the processor is configured to identify a region that at least partially overlaps a first storage region among the plurality of storage regions from among the plurality of food ingredient regions, a size of a food ingredient region including the overlapping region, and a size of the first storage region And based on the size of the overlapping region, it is possible to identify at least a portion of the food material among the plurality of food materials.
  • the processor identifies an area having a relatively larger size among the food material area including the overlapping area and the first storage area, and based on a ratio of the size of the overlapping area to the size of the identified area, the It may be determined whether the ingredients stored in the first storage area are reflected in the recommended recipe.
  • the processor further comprising a plurality of infrared cameras spaced apart from the upper portion of the tray to photograph the tray in different directions
  • the processor the size of the food material obtained by the plurality of images taken by the plurality of infrared cameras
  • Remaining amount information of the identified food material may be obtained based on the information and characteristic information of each of the plurality of food materials, and the recommended recipe may be provided based on the remaining amount information of the food material.
  • the plurality of storage areas have a preset height and are implemented in a form in which indicating lines detectable by the infrared camera are marked at different heights
  • the processor is configured to include a plurality of images captured by the plurality of infrared cameras.
  • height information of the identified food material may be obtained based on the indicating line
  • size information of the food material may be obtained based on the obtained height information.
  • it further comprises a pressure sensor provided under each of the plurality of storage areas, the processor, the food material obtained by the pressure information obtained by the pressure sensor, the plurality of images taken by the plurality of infrared cameras Remaining amount information of the identified ingredients may be acquired based on the size information of the ingredients and the characteristic information of each of the plurality of ingredients.
  • the processor identifies the priority of the identified food material based on the freshness information of the identified food material and the residual amount information of the identified food material, the priority of the identified food material, and characteristic information of the identified food material Based on the above, the recommended recipe may be provided.
  • the processor may provide the recommended recipe based on the priority of the identified ingredients, the characteristic information of the identified ingredients, and the user's intake history information for the identified ingredients.
  • the processor when the identified food material is identified as a replacement target based on the freshness information of the identified food material and the user's intake history information, the identified food material based on the characteristic information of the remaining ingredients among the plurality of ingredients It is possible to provide information on recommended ingredients to replace
  • the display may further include a display, and the processor may display, on the display, a screen including guide lines corresponding to the plurality of storage areas, images of ingredients stored in the plurality of storage areas, and identification information.
  • the display device may further include a display, wherein the processor may display an animation UI indicating a cooking process for the identified ingredient based on the recommended recipe on the display.
  • control method includes the steps of: obtaining size information on the plurality of storage areas based on images obtained by photographing a tray divided into a plurality of storage areas, and inputting the images into a neural network model to obtain size information of a plurality of food ingredient regions and identification information of the plurality of ingredients stored in the tray, size information of the identified plurality of storage regions, size information of the plurality of ingredient regions, and the The method may include identifying at least some of the ingredients from among the plurality of ingredients based on identification information of the plurality of ingredients, and providing a recommended recipe based on the identified ingredients.
  • the step of identifying the at least a portion of the food material may include: identifying an area at least partially overlapping with a first storage area among the plurality of storage areas among the plurality of food material areas; and the size of the food material area including the overlapping area. , based on the size of the first storage area and the size of the overlapping area, it may include the step of identifying at least some of the foodstuffs among the plurality of foodstuffs.
  • the step of providing the recommended recipe may include identifying a relatively large area among the food material area including the overlapping area and the first storage area, and a ratio of the size of the overlapping area to the size of the identified area. It may be determined whether or not to reflect the ingredients stored in the first storage area to the recommended recipe based on the .
  • the step of providing the recommended recipe the size information of the food material obtained by a plurality of images taken by a plurality of infrared cameras spaced apart to photograph the tray in different directions from the upper portion of the tray and the plurality of Remaining amount information of the identified food material may be obtained based on the characteristic information of each food material, and the recommended recipe may be provided based on the remaining amount information of the food material.
  • the electronic device can identify information on the type of food ingredient, the remaining amount of the ingredient, and the freshness of the ingredient without user intervention, and provide an optimal recipe based thereon, user convenience is improved.
  • 1 is a view for explaining a user's cooking process to help understanding of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a view for explaining an operation of identifying the types of a plurality of food ingredients stored in a tray according to an embodiment of the present disclosure.
  • 4A to 4C are diagrams for explaining an operation of identifying size information of a plurality of storage areas and size information of a plurality of food material areas according to an embodiment of the present disclosure.
  • FIG. 5 is a view for explaining a detailed structure of a tray and a camera for photographing the tray according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining an operation of acquiring various types of information about a food material according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an operation of providing a recommended recipe based on various types of information according to an embodiment of the present disclosure.
  • 8A and 8B are diagrams for explaining an operation of providing recommendation information for an alternative food material according to an embodiment of the present disclosure.
  • 9A and 9B are diagrams for explaining an operation of providing an animation UI indicating a cooking process for ingredients according to an embodiment of the present disclosure.
  • FIGS. 10A and 10B are block diagrams for specifically explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component)
  • another component eg, a second component
  • a component may be directly connected to another component or may be connected through another component (eg, a third component).
  • a "module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device.
  • an embodiment of the present disclosure will be described in more detail with reference to the accompanying drawings.
  • FIG. 1 is a view for explaining a user's cooking process to help understanding of the present disclosure.
  • a user 20 can cook using an electronic device, for example, food ingredients stored in a refrigerator 100 .
  • the refrigerator 100 may include a tray 10 divided into a plurality of storage areas to store food materials.
  • the user 20 can cook various dishes by combining several ingredients stored in the tray 10 .
  • the user 20 needs to know the types of stored ingredients and the remaining amount of each.
  • the refrigerator 100 may identify which foodstuffs are stored in each of the plurality of storage areas of the tray 10 and provide information thereto to the user 20 .
  • the refrigerator 100 may include various types of optical sensors including a camera in order to obtain information on the type and remaining amount of the food material.
  • the refrigerator 100 may not only identify the type and remaining amount of the food ingredient based on the image acquired through the optical sensor, but also acquire information about the freshness of the food ingredient or the available period of consumption.
  • the refrigerator 100 may recommend an optimal recipe to the user 20 based on the remaining amount of various ingredients stored in the tray 10 , the intake history of the user 20 , and nutritional information of the ingredients. have.
  • the recipe may be a concept including information on a method of making a specific dish by combining a plurality of ingredients.
  • an electronic device such as the refrigerator 100 can accurately determine the state of ingredients stored at home without user intervention and provide an optimal recipe to the user 20 based thereon will be described in more detail below. Let me explain in detail.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a camera 110 and a processor 120 .
  • the camera 110 may acquire an image by capturing an area within a field of view (FoV) of the camera.
  • FoV field of view
  • the camera 110 may include an image sensor capable of detecting an optical signal and a lens for focusing an optical signal received by being reflected by an object, for example, stored food to the image sensor.
  • the image sensor may include a 2D pixel array divided into a plurality of pixels.
  • the camera 110 may include a wide-angle (RGB) camera, an infrared camera, and a light source, and the camera 110 is arranged to photograph the tray from the top of the tray divided into a plurality of storage areas at a specific location of the electronic device.
  • RGB wide-angle
  • the camera 110 is arranged to photograph the tray from the top of the tray divided into a plurality of storage areas at a specific location of the electronic device.
  • the processor 120 controls the overall operation of the electronic device 100 .
  • the processor 120 may be connected to each component of the electronic device 100 to control the overall operation of the electronic device 100 .
  • the processor 120 may be connected to the camera 110 to control the operation of the electronic device 100 .
  • the processor 120 includes a digital signal processor (DSP), a microprocessor, a central processing unit (CPU), a micro controller unit (MCU), and a micro processing unit (MPU). unit), a Neural Processing Unit (NPU), a controller, an application processor (application processor (AP)), etc. may be named various names, but in the present specification, the processor 120 is described.
  • DSP digital signal processor
  • CPU central processing unit
  • MCU micro controller unit
  • MPU micro processing unit
  • unit a Neural Processing Unit
  • AP application processor
  • the processor 120 may be implemented in a system on chip (SoC), large scale integration (LSI), or a field programmable gate array (FPGA) format.
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 120 may include a volatile memory such as SRAM.
  • a function related to artificial intelligence according to the present disclosure may be executed through the processor 120 and a memory (not shown).
  • the processor 120 may include one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • One or a plurality of processors 120 control to process input data according to a predefined operation rule or a neural network model stored in a memory (not shown).
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific neural network model.
  • a predefined action rule or neural network model is characterized in that it is created through learning.
  • being made through learning means that a basic neural network model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or neural network model set to perform a desired characteristic (or purpose) is created.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited thereto.
  • the processor 120 may obtain size information for a plurality of storage areas based on the obtained image.
  • the storage area may be one of the areas in which the tray is divided into a predetermined structure, and the storage area according to an example may be a rectangular area, but is not limited thereto. However, in the following description, it is assumed that the storage area has a rectangular shape for convenience of description.
  • the size information of the storage area includes the area of the storage area having a rectangular shape and location information of the storage area on the tray, for example, a relative position (eg, vertical, left and right information based on a reference point) or an absolute position (eg, For example, coordinate information) may be included.
  • a relative position eg, vertical, left and right information based on a reference point
  • an absolute position eg, For example, coordinate information
  • the processor 120 may obtain the size information of the storage area through the detection and correction of the outline in the image after converting the image of the tray, for example, an RGB image to a grayscale image.
  • the tray according to an example may be implemented in a form in which a specific pattern is marked on the upper side of the partition wall that separates the plurality of storage areas from each other.
  • the processor 120 may obtain size information on a plurality of food ingredient regions stored in the tray by inputting the image of the tray photographed to the neural network model.
  • the size information on the food material area may be information on the size of a space occupied by various food materials stored in a plurality of storage areas included in the tray.
  • the food materials stored in each storage area may be distributed in an area having an irregular outline (hereinafter, an atypical area) according to the unique shape of the food material and the stacked structure of the food material.
  • the processor 120 may utilize a neural network model in order to more conveniently analyze such an irregular region.
  • the neural network model may be a model trained to output information on a structured region corresponding to an irregular region distributed in the input image.
  • the shaping area may be a rectangular area
  • the processor 120 may obtain size information on the plurality of food material areas based on the information on the shaping area.
  • the size information for the plurality of food material regions may include information about the area of the shaping area and the relative position of the shaping area on the tray.
  • the processor 120 may obtain identification information of a plurality of ingredients stored in the tray by inputting an image of the tray to the neural network model.
  • the identification information of the ingredients may include at least one of information about the type of ingredients, the processing state of the ingredients, and the freshness of the ingredients.
  • the neural network model may be a model trained to output identification information corresponding to food ingredients included in the input image when an image is input.
  • the processor 120 identifies at least some of the ingredients from among the plurality of ingredients based on the identified size information on the plurality of storage areas, the size information on the plurality of food ingredient regions, and identification information of the plurality of ingredients. can do.
  • the processor 120 may provide a recommended recipe to the user 20 based on the identified ingredients.
  • the recommended recipe is provided in the form of an image through the display provided in the electronic device 100 and the display provided in the mobile device possessed by the user 20, as well as information on the recipe can be directly provided. It can also be done in a way that provides connection information that can connect to an external server that can be used.
  • the processor 120 may identify an area (hereinafter, overlapping area) that at least partially overlaps with the first storage area among the plurality of storage areas among the plurality of food material areas. Furthermore, the processor 120 may identify the food material of at least some of the plurality of food materials based on the size of the food material area including the overlapping area, the size of the first storage area, and the size of the overlapping area.
  • overlapping area an area that at least partially overlaps with the first storage area among the plurality of storage areas among the plurality of food material areas.
  • the processor 120 may identify the food material of at least some of the plurality of food materials based on the size of the food material area including the overlapping area, the size of the first storage area, and the size of the overlapping area.
  • the processor 120 identifies an area having a relatively large size among the food material area including the overlapping area and the first storage area, and stores it in the first storage area based on the ratio of the size of the overlapping area to the size of the identified area. You can decide whether to reflect the stored ingredients in the recommended recipe. A detailed operation of the electronic device 100 in this regard will be described in detail with reference to FIGS. 4A to 4C .
  • the electronic device 100 may include a plurality of infrared cameras spaced apart from the top of the tray to photograph the tray in different directions.
  • the processor 120 may obtain information on the remaining amount of the identified food material based on the size information of the food material obtained by the plurality of images captured by the plurality of infrared cameras and the characteristic information of each of the plurality of food materials. .
  • the size information of the food material may be information about the volume of the space occupied by the food material located in the storage area.
  • the characteristic information according to an example may include information on a basic unit (eg, one bean) of a specific type of food material.
  • Residual amount information of a food ingredient may be information about whether a sufficient amount of the corresponding ingredient remains to be used as a material for a specific dish, a normal amount, or an insufficient amount remains.
  • the remaining amount information may include information about the weight of the food material stored in the storage area.
  • the plurality of storage areas may have preset heights and may be implemented in a form in which indicating lines detectable by an infrared camera are marked at different heights.
  • the preset height may be a height corresponding to a plurality of points obtained by equalizing the height from the bottom surface of the storage area to the upper side of the partition wall.
  • the processor 120 obtains the height information of the food material identified based on the indicating line in each of the plurality of images taken by the plurality of infrared cameras, and based on the obtained height information, Size information can be obtained.
  • the electronic device 100 may further include a pressure sensor provided under each of the plurality of storage areas.
  • the pressure sensor includes a circuit in which a resistance value changes according to the amount of pressure applied to the sensor surface, and the processor 120 according to an example is stored in the storage area by outputting pressure information quantifying the change in the resistance value.
  • the weight of the cooked food can be measured.
  • the pressure sensor may receive power from a power supply unit (not shown) included in the electronic device 100 or may receive power through its own built-in battery.
  • the processor 120 determines the amount of food ingredients identified based on pressure information acquired by the pressure sensor, size information of ingredients acquired by a plurality of images captured by a plurality of infrared cameras, and characteristic information of each of the plurality of ingredients. Remaining information can be obtained. Through this, the electronic device 100 may more accurately identify the remaining amount of food ingredients stored in the storage area.
  • the processor 120 may identify the priority of the identified food material based on freshness information of the identified food material and residual amount information of the identified food material.
  • the freshness may be information regarding the degree to which a food material is suitable to be used as a material for cooking. Specifically, a food ingredient having a freshness of less than or equal to a critical value may not be suitable for use as a cooking ingredient.
  • the freshness according to an example may have a value corresponding to the ingestible period of the food material.
  • the electronic device 100 may identify the freshness of a food ingredient having an ingestible period equal to or greater than the critical period as 'good' and a freshness of the food ingredient having an ingestible period less than the critical period as 'bad'.
  • the priority of the ingredients may mean a priority corresponding to the need for a specific ingredient to be used as an ingredient for cooking.
  • the processor 120 may identify a food material having a high necessity to be used as a material for cooking as having a high priority.
  • the processor 120 may provide a recommended recipe based on the identified priority of the ingredient and the characteristic information of the ingredient.
  • the characteristic information of the food material may include information on the taste, aroma, and texture of the food ingredient, nutritional information of the food ingredient, and information on other ingredients suitable for the ingredient.
  • the processor 120 may provide a recommended recipe based on the identified priority of the ingredients, the characteristic information of the ingredients, and the user's intake history information for the ingredients.
  • the intake history information may include at least one of information on ingredients recently consumed by the user or information on frequencies used as ingredients in cooking for each ingredient.
  • the processor 120 selects the recommended food material to replace the identified food material based on the characteristic information of the remaining food material among the plurality of food materials. information can be provided.
  • the processor 120 may identify, among the ingredients identified as 'bad' in freshness, ingredients that have no recent consumption history by the user or ingredients whose frequency of use as ingredients in cooking is less than a threshold value as a replacement target ingredient. That is, the processor 120 may identify a food ingredient not preferred by the user and not suitable for use as an ingredient for cooking as a ingredient to be removed from the tray.
  • the processor 120 may provide information on the recommended ingredients to be newly stored in the storage area where the removed ingredients were stored, and more specifically, the processor 120 based on the characteristic information of various ingredients included in the tray. Thus, ingredients that go well with various ingredients can be identified as recommended ingredients.
  • the electronic device 100 may further include a display.
  • the display may be implemented as various types of displays, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a quantum dot light-emitting diode (QLED) display, a plasma display panel (PDP), and the like.
  • the display may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of a TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • the display may be implemented as a flexible display, a three-dimensional display, or the like.
  • the processor 120 may display a screen including guide lines corresponding to a plurality of storage areas and an image of food ingredients stored in the plurality of storage areas and identification information on a display or a user terminal (not shown) provided in the electronic device 100 . city) can be displayed on the display provided.
  • the processor 120 may display an animation UI indicating a cooking process for a food ingredient identified based on a recommended recipe on a display provided in the electronic device 100 or a display provided in a user terminal (not shown). .
  • FIG. 3 is a view for explaining an operation of identifying the types of a plurality of food ingredients stored in a tray according to an embodiment of the present disclosure.
  • a tray in which various ingredients are stored may be divided into a plurality of storage areas surrounded by a dotted rectangle.
  • the processor 120 converts an image taken from a tray into a grayscale image, and then identifies a storage area by detecting and correcting an outline in the image ( 310 ).
  • the processor 120 may assign an identification number to the plurality of identified storage areas according to a predetermined rule ( 320 ). Specifically, the processor 120 according to an example may assign identification numbers 1, 2, and 3 to the right from the storage area located at the lower left of the tray. If there is no other storage area to the right of the storage area to which the last identification number was assigned, the next identification number, number 4, may be assigned to the storage area located above the storage area (No. have. The processor 120 may also assign identification numbers to the plurality of storage areas according to the same rule thereafter.
  • the processor 120 may obtain identification information of a plurality of ingredients stored in the tray by inputting the image of the tray to the neural network model ( 330 ).
  • the identification information of the food material may be information about the type (name) of the food material.
  • the neural network model may be a model trained to output text corresponding to the name of a food ingredient included in the input image when an image is input.
  • the processor 120 may identify that olives are stored in the storage area with identification number 1, pineapples are stored in storage area 2, and cheese is stored in storage area 3, respectively.
  • 4A to 4C are diagrams for explaining an operation of identifying size information of a plurality of storage areas and size information of a plurality of food material areas, according to an exemplary embodiment.
  • the processor 120 can identify various ingredients stored in each storage area. 4A to 4C, more specifically, an operation of the processor 120 for identifying only the food ingredients stored in the storage area satisfying a predetermined condition will be described.
  • the electronic device 100 may identify a plurality of storage areas on the tray 400 in which various ingredients are stored. Also, the electronic device 100 may identify a plurality of food material areas on the storage tray.
  • the food material area may be a regular area corresponding to an atypical area having an irregular outline according to the unique shape of the food material stored in the storage area and the stacked structure of the food material, and the regular area according to an example may be a rectangular area. .
  • the processor 120 may input an image corresponding to the food material region into the neural network model to identify the food material included in the corresponding region.
  • FIG. 4A an operation of the electronic device 100 corresponding to a case in which food material areas corresponding to food materials stored in adjacent storage areas are not individually identified will be described.
  • the processor 120 is stored in the storage area adjacent to the food material. It may be identified that the food material is included in one food material area 411 .
  • the electronic device 100 when included in one food ingredient region 411 including several ingredients, the electronic device 100 cannot accurately obtain identification information of ingredients corresponding to the ingredient region 411 in which multiple ingredients are mixed. . Accordingly, the processor 120 may not identify the food ingredients stored in the storage area overlapping the area 411 and the partial area.
  • the processor 120 identifies the food material area 411 in which the first storage area 401 and a partial area (hereinafter, overlapping area) overlap among the plurality of storage areas included in the tray 400 , and the first storage area 411 .
  • the food material stored in the first storage area 401 may be identified based on the size of the area 401 , the size of the food material area 411 overlapping the area 401 and the size of the overlapping area.
  • the processor 120 identifies an area having a relatively large size among the first storage area 401 and the food material area 411 , and a ratio of the size of the overlapping area to the size of the identified area (hereinafter, intersecting area). ratio), it may be determined whether or not to reflect the ingredients stored in the first storage area 401 in the recommended recipe.
  • the processor 120 may identify the food ingredients stored in the storage area when the ratio of the crossing area corresponding to the specific storage area is equal to or greater than a threshold value. For example, the processor 120 may identify the food ingredient stored in the first storage area 401 as 'olive' when the ratio of the crossing area corresponding to the first storage area 401 is 50% or more.
  • the processor 120 is a cross area ratio corresponding to the first storage area 401 , and overlaps the size of the relatively large food material area 411 among the first storage area 401 and the food material area 411 .
  • a value of 25% which is the ratio of the size of the area, can be calculated.
  • the processor 120 may not identify the food material stored in the first storage area 401 .
  • the processor 120 may identify the food ingredient region 411 and the remaining three storage regions overlapping the partial region as each having an intersecting region ratio of 25%, and may not identify the ingredients stored in the storage regions. .
  • the processor 120 may identify the storage area 401 , etc. storing the unidentified food material and the food material area 411 in which a partial area overlaps, as the 'misrecognized area'.
  • the electronic device 100 identifies the food material stored in the storage area where the misrecognized area 411 and the partial area do not overlap, and includes text corresponding to the name of the identified food material and an image indicating the misrecognized area 411 .
  • a UI 410 may be provided.
  • FIG. 4B An operation of the electronic device 100 corresponding to the case in which the size of the food material area corresponding to the food materials stored in the specific storage area is not large enough will be described in FIG. 4B .
  • the processor 120 may identify the first storage area 401 and the food material area 421 included therein, respectively. In the step of the user putting the food material into the tray 400 , when a specific food material is put in less than the reference value or the remaining amount is less than a threshold value as the food material is used for cooking, the processor 120 may not identify the corresponding food material.
  • the processor 120 determines that when the cross area ratio corresponding to the first storage area 401 is equal to or greater than the threshold value of 50%, the food material stored in the first storage area 401 is can be identified as being 'olive'.
  • the processor 120 corresponds to the ratio of the cross area corresponding to the first storage area 401 to the size of the relatively large first storage area 401 among the first storage area 401 and the food material area 421 .
  • the processor 120 may not identify the food material stored in the first storage area 401 .
  • the processor 120 may identify the storage area 401 storing the unidentified food material as the 'misrecognized area'.
  • the electronic device 100 identifies the food material stored in the storage area where the misrecognized area 421 and the partial area do not overlap, and includes text corresponding to the name of the identified food material and an image indicating the misrecognized area 421 .
  • a UI 420 may be provided.
  • the processor 120 identifies the ingredients stored in all storage areas, and a UI 430 including text corresponding to the name of the identified food material. can provide
  • FIG. 5 is a view for explaining a detailed structure of a tray and a camera for photographing the tray according to an embodiment of the present disclosure.
  • the tray 500 divided into a plurality of storage areas includes the upper partition wall 510, a, the left partition 520, b, the lower partition 530, c, and the right partition wall based on the drawing. It may have a rectangular shape surrounded by (540, d).
  • the plurality of storage areas 501 included in the tray 500 also have a rectangular shape surrounded by the upper partition wall (a), the left partition wall (b), the lower partition wall (c), and the right partition wall (d). can have
  • the camera 110 may be implemented as a camera module 110 including a plurality of cameras and a light source.
  • the camera module 110 includes a wide-angle camera 111 for obtaining an optical signal belonging to a visible light wavelength band, and a plurality of infrared cameras 112-1, 112-2, 112-3 spaced apart to photograph the tray in different directions. , 112-4) and at least one light source 113-1, 113-2, 113-3, and 113-4.
  • the camera module 110 may be implemented as a panel having the same area as the area of the tray 500 , and the camera module 110 is a tray ( 500 ) to photograph the tray ( 500 ) from the upper part of the tray ( 500 ).
  • the wide-angle camera 111 may be positioned at a central position of the 500 .
  • one storage area 501 included in the tray 500 has a predetermined height on the partition walls in four directions and has a plurality of detectable by the infrared cameras 112-1, 112-2, 112-3, 112-4.
  • the indicating lines 501-a1, 501-a2, 501-b1, 501-b2, 501-c1, 501-c2, 501-d1, and 501-d2 may be implemented in a form marked at different heights.
  • the indicating lines 501-a1, 501-a2, 501-b1, 501-b2, 501-c1, 501-c2, 501-d1, and 501-d2 may be lines that can be identified with the naked eye. , may be a line that can be identified only by the infrared cameras 112-1, 112-2, 112-3, and 112-4. Since the plurality of infrared cameras (112-1, 112-2, 112-3, 112-4) take pictures in different directions, the image taken by each of the infrared cameras shows that the food materials stored in a specific storage area are separated by the partition wall in a specific direction. It may be an image that covers the indicating line marked on the image.
  • the food material stored in the storage area 501 is disposed on the left partition wall 501-b and the lower partition wall 501-c of the storage area 501 .
  • An image covering the marked indicator line can be acquired.
  • the second infrared camera 112 - 2 indicates that the food ingredients stored in the storage area 501 are marked on the lower partition wall 501-c and the right partition wall 501-d of the storage area 501 . You can acquire an image that covers the
  • the processor 120 may determine that, based on the image acquired by the first infrared camera 112-1 , the food material included in the storage area 501 is placed on the left partition wall 501-b of the storage area 501 . It is identified that the marked first indicating line 501-b1 and the second indicating line 501-b2 and the first indicating line 501-c1 marked on the lower partition wall 501-c are covered and at the same time, based on the image acquired by the second infrared camera 112 - 2 , the first indicating that the food material included in the storage area 501 is marked on the lower partition wall 501-c of the storage area 501 . It can be identified that the first indicating line 501-d1 and the second indicating line 501-d2 marked on the line 501-c1 and the right partition wall 501-d are covered.
  • the processor 120 determines the amount of food ingredients stored in the storage area 501 based on a result of analyzing the images acquired through each of the infrared cameras 112-1, 112-2, 112-3, and 112-4. Height information can be obtained.
  • the height information may be information on how high the ingredients are stacked in the storage area.
  • the processor 120 analyzes the image acquired by the first infrared camera 112-1 to determine the level 2 and the lower side based on the indicating line marked on the left partition 501-b of the storage area 501 .
  • An output value of (2,1) corresponding to level 1 based on the indicator line marked on the partition wall 501-c may be acquired as height information based on the first infrared camera 112-1.
  • the processor 120 further acquires a plurality of height information having a shape of (n, m) based on the images acquired by the remaining infrared cameras, and based on the acquired plurality of height information, the storage area 501 ) can be obtained information about the size of the stored ingredients.
  • the size information of the food material may be information about the volume of the space occupied by the food material located in the storage area.
  • the processor 120 may obtain size information of the food material based on the size information of the food material area and the height information of the food material.
  • the electronic device 100 may acquire height information of ingredients stored in the storage area by photographing the storage area in different directions, more accurate information on the size of ingredients than acquiring height information of ingredients in a single direction can be obtained.
  • FIG. 6 is a diagram for explaining an operation of acquiring various types of information about a food material according to an embodiment of the present disclosure.
  • the electronic device 100 may obtain quantified characteristic information of a food ingredient from the characteristics 610 of a plurality of ingredients stored in a tray 600 .
  • the characteristic information of the food material may be information about the taste, aroma, and texture of the food material.
  • the processor 120 may identify 'shrimp 601', which is a food ingredient included in the tray 600 , and identify categorical material property information corresponding to the shrimp 601 .
  • the categorical material property information may be information obtained by classifying the taste, flavor, and texture, which are one of the ingredient characteristics 610 , into various categories, and the characteristic information according to an example includes 50 kinds of each of the taste, flavor, and texture of the ingredient. It may be information classified into a category of .
  • the categorical characteristic information corresponding to the food material may be stored in a memory (not shown) of the electronic device 100 or may be received from an external server through a communication interface (not shown).
  • the processor 120 determines that, based on the categorical characteristic information corresponding to the shrimp 601 , the shrimp 601 has 'sweet', 'savory taste' and 'light taste', and 'light flavor' and ' It can be identified as a food ingredient having a 'salty flavor' and a 'tangy texture'.
  • the processor 120 may generate a feature vector based on the categorical characteristic information corresponding to the shrimp 601 , and perform dimension reduction and refinement thereon.
  • the 'quantification engine' shown in FIG. 6 may be a unit corresponding to the function of the processor 120 performing such processing.
  • the processor 120 may obtain quantified characteristic information obtained by quantifying the categorical characteristic information corresponding to the shrimp 601 .
  • the quantification characteristic information corresponding to the food material may be information in the form of including numerical values for the taste, aroma, and texture of the food material.
  • the processor 120 may identify that the quantification characteristic information corresponding to the shrimp 601 is (15, 7, 23).
  • the processor 120 may identify the intake priority of the food material based on the freshness information 620 and the remaining amount information 630 of the food material. Specifically, when the food ingredient is fresh and there is a remaining period for ingestion ( 621 ), the processor 120 may identify the food ingredient as having a relatively low intake priority. On the other hand, when the food ingredient is not fresh and the remaining period of ingestion is insufficient ( 622 ), the processor 120 may identify the food ingredient as having a relatively high intake priority.
  • the processor 120 may identify that the intake priority of the corresponding food material is relatively high. On the other hand, when the remaining amount of the food material is insufficient ( 632 ), the processor 120 may identify that the intake priority of the corresponding food material is relatively low.
  • the processor 120 may not identify the priority for the corresponding ingredient and not reflect it in the recipe.
  • the processor 120 identifies that the intake priority of the shrimp 601 with a sufficient remaining period is insufficient and the remaining amount is the highest priority, and the chicken breast 602 with the remaining period and the remaining amount is sufficient. It can be identified that the intake priority of the avocado 603 is the second priority, the remaining period is sufficient, and the intake priority of the avocado 603 is the lowest third priority.
  • FIG. 7 is a diagram for explaining an operation of providing a recommended recipe based on various types of information according to an embodiment of the present disclosure.
  • the processor 120 may obtain quantification characteristic information corresponding to a plurality of ingredients stored in a tray, and recommend a primary material combination among the various ingredients.
  • a module for performing the corresponding function of the processor 120 it is illustrated as a 'material combination recommendation engine 710' in FIG. 7 .
  • the processor 120 may identify the similarity of taste, aroma, and texture between the ingredients based on the quantification characteristic information corresponding to the ingredients ( 711 ).
  • the processor 120 identifies the values corresponding to the taste, flavor, and texture included in the quantification characteristic information corresponding to each food ingredient as x, y, and z coordinates of the corresponding ingredient in the three-dimensional space, respectively, in the three-dimensional space. , by calculating a distance between positions of each food ingredient, it is possible to identify a degree of similarity between the ingredients based on the calculated distance ( 711 ).
  • the processor 120 may predict a combination between a plurality of ingredients having a similarity equal to or greater than a threshold value ( 712 ).
  • the combination prediction 712 between ingredients may be made based on information about a combination between ingredients.
  • Information on a combination between ingredients may be stored in a memory (not shown) provided in the electronic device 100 or may be received from an external server through a communication interface (not shown).
  • the information on the combination between the ingredients may be information generated based on the know-how of a professional chef.
  • the processor 120 may generate a combination of ingredients based on a plurality of ingredients suitable to be combined with each other ( 713 ). In generating the combination, the processor 120 may generate a list of various food ingredient combinations in consideration of the category of ingredients.
  • ingredients (categories) suitable for combination salmon (protein), chicken breast (protein), lettuce (leaf vegetable), celery (leaf vegetable), pea (carbohydrate), kidney bean (carbohydrate), apple (fruit),
  • the processor 120 has two ingredients having a category corresponding to 'protein', two ingredients having a category corresponding to 'leaf vegetable', and a category corresponding to 'carbohydrate'. Based on two ingredients and two ingredients having a category corresponding to 'fruit', a total of 16 (2 to the fourth power) combination list of ingredients can be generated (recommended primary ingredient combination).
  • the processor 120 may secondarily recommend a material combination based on a list of food material combinations according to the primary material combination recommendation.
  • a module that performs the corresponding function of the processor 120 in FIG. 7 , it is illustrated as a 'material combination post-processing engine 720 '.
  • the processor 120 may generate a final food ingredient combination based on the user's intake history information 721 , the main nutritional/functional information 722 of the food material, and the intake priority 723 .
  • the processor 120 may ingest various nutrients in a balanced manner according to the combination of the list and the ingredients that the user has recently or frequently consumed in the ingredient combination list according to the primary ingredient combination recommendation, or the user's A final ingredient combination including at least one list among a list containing ingredients predicted to be beneficial to health or a list containing a number of ingredients with a high intake priority when considering the freshness or residual amount of ingredients stored in the tray Can be created (recommended secondary material combinations).
  • information on the nutrition and function of the ingredients may be required.
  • information on nutrition and function of ingredients may include nutritional information corresponding to individual ingredients and information on health characteristics of a user who uses the electronic device 100 .
  • information on nutrition and function of ingredients may be stored in a memory (not shown) provided in the electronic device 100 or received from an external server through a communication interface (not shown).
  • the processor 120 may provide various recommended recipes based on the final ingredient combination.
  • the processor 120 may provide a recommended recipe based on the recipe-related information, where the recipe-related information may include information about a specific combination of ingredients and a dish corresponding thereto.
  • recipe-related information may also be stored in a memory (not shown) provided in the electronic device 100 or may be received from an external server through a communication interface (not shown).
  • the processor 120 is included in the final ingredient combination, and based on the ingredient combination including 'chicken breast', 'chicory', 'pickle', and 'mustard sauce', 'chicken breast tortilla 701'
  • the avocado and poached egg salad 703 may be provided as a recommended recipe based on a combination of ingredients including 'egg', 'avocado', 'paprika', and 'balsamic vinegar'.
  • the processor 120 may group various recommended recipes according to preset criteria.
  • the processor 120 according to an example is a food ingredient having a relatively high intake priority because the remaining period is insufficient and the remaining amount is large in the group having the name “recipe for quickly exhausting ingredients with a large remaining amount and insufficient remaining period”. Recipes corresponding to dishes including a plurality of can be grouped.
  • 8A and 8B are diagrams for explaining an operation of providing recommendation information for an alternative food material according to an embodiment of the present disclosure.
  • FIG. 2 the operation of the electronic device 100 for identifying and recommending ingredients to be replaced in a state in which ingredients are stored in all storage areas of the tray has been described.
  • the operation of the electronic device 100 to identify and recommend ingredients to be stored in the empty storage area will be described.
  • a UI 810 including guide lines corresponding to a plurality of storage areas included in the tray and text corresponding to the types of ingredients stored in the plurality of storage areas is illustrated.
  • Two storage areas in which ingredients are not stored are included on the UI 810 , and the UI 810 is provided through a display (not shown) provided in the electronic device 100 or the user's terminal 30 ) can be provided through the screen.
  • the user may purchase various ingredients.
  • the user may input information about purchased ingredients into the electronic device 100 .
  • the user may input information about food materials to be stored in the empty storage area through a display (not shown) provided in the electronic device 100 .
  • the display may be implemented as a touch screen including a touch sensor.
  • the user may input information about the ingredients by photographing the ingredients purchased through the terminal 30 ( 820 ), and transmitting the photographed image to the electronic device 100 .
  • the electronic device 100 may electrically communicate with the user terminal 30 through a communication interface (not shown).
  • the electronic device 100 may group ingredients included in an image of the ingredients into at least one group. Specifically, the electronic device 100 may group the ingredients included in the image based on the category of the ingredients. For example, in the electronic device 100, ingredients 801, 802, and 803 having a category corresponding to 'vegetables' are group 1, and ingredients 804 and 805 having a category corresponding to 'meat' are group 2 can be grouped by .
  • the electronic device 100 groups the ingredients into groups equal to the number of empty storage areas, and identifies priorities to be stored in the empty storage areas with respect to the ingredients belonging to each group. . Specifically, the electronic device 100 may identify the priority to be stored in the empty storage area with respect to the ingredients belonging to each group based on the characteristic information of the ingredients stored in the plurality of storage areas included in the tray.
  • the characteristic information of the food material may include information on the taste, aroma, and texture of the food ingredient, nutritional information of the food ingredient, and information on other ingredients suitable for the ingredient.
  • the electronic device 100 may identify priorities to be stored in the storage area in the order of avocado, cherry tomato, and onion with respect to ingredients included in group 1 . Meanwhile, the electronic device 100 may identify priorities to be stored in the storage area in the order of tenderloin and salmon with respect to the ingredients included in group 2 .
  • the electronic device 100 displays the text corresponding to the food item in the guide line corresponding to the storage area as the food material having a higher priority in the same group is displayed on the UI 830 ) can be created.
  • the electronic device 100 provides the generated UI 830 through a display (not shown) or by controlling a communication interface (not shown) to transmit information about the UI 830 to the user terminal 30 .
  • the UI 830 may be provided through the user terminal 30 .
  • 9A and 9B are diagrams for explaining an operation of providing an animation UI indicating a cooking process for ingredients according to an embodiment of the present disclosure.
  • the electronic device 100 may identify an image attribute for each ingredient.
  • the image attribute for each food ingredient may mean a characteristic in which an image of a food ingredient changes in an animation representing a cooking process for the ingredient.
  • the lettuce 901 is a base vegetable, and may be a food material spread widely at the lowermost portion of a dish in which the dish is to be placed. Accordingly, in the electronic device 100, the lettuce 901 is preferentially dropped onto the bowl to be cooked over other ingredients, and when the image corresponding to the bowl and the image corresponding to the lettuce 901 come into contact with each other, the lettuce 901 It is possible to provide an animation UI in which the corresponding image has an appropriate coefficient of restitution and is spaced apart from the image corresponding to the bowl.
  • the salmon steak 902 is a main protein, and may be a food ingredient placed on a base vegetable that is spread at the bottom of a bowl for cooking. Accordingly, in the electronic device 100 , the salmon steak 902 is dropped into a bowl for cooking after lettuce 901, which is a base vegetable, is dropped, and the image corresponding to the lettuce 901 and the image corresponding to the salmon steak 902 are When the images touch, it is possible to provide an animated UI with the property that the two images collide inelastically.
  • the electronic device 100 may provide an animation UI 910 in which various ingredients are sequentially dropped into a bowl based on image properties for each ingredient.
  • the electronic device 100 may provide an image UI 920 of a dish completed with ingredients contained in a bowl viewed from above. By additionally selecting other ingredients not included in the recipe, it is possible to check whether the additionally selected ingredients match the ingredients already in the bowl. To this end, the electronic device 100 identifies an empty space in an image of a bowl that includes only ingredients already in the bowl, and provides a UI 930 including an image corresponding to the selected material in addition to the identified empty space. can do.
  • the electronic device 100 may provide characteristic information of the added ingredient together with the UI 930 . All UIs 910 , 920 , and 930 described with reference to FIG. 9B may be provided through a display (not shown) provided in the electronic device 100 .
  • FIGS. 10A and 10B are block diagrams for specifically explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a camera 110 , a processor 120 , a pressure sensor 130 , a display 140 , a memory 150 , and a communication interface 160 .
  • a camera 110 may include a camera 110 , a processor 120 , a pressure sensor 130 , a display 140 , a memory 150 , and a communication interface 160 .
  • the camera 110 may be implemented as a camera module including a plurality of cameras 111 and 112 and a light source 113 .
  • the camera module may include a wide-angle camera 111 , an infrared camera 112 , and a light source 113 .
  • the processor 120 may identify the storage area and the food material area based on the image obtained through the wide-angle camera 111 , and obtain identification information of the food material.
  • the processor 120 may acquire size information of the ingredients stored in the storage area based on the image acquired through the infrared camera 112 .
  • the light source 113 is configured to facilitate image acquisition by the wide-angle camera 111 and the infrared camera 112 by irradiating light in the direction of the food material stored in the tray.
  • the light source 113 may be implemented as an LED, but is not limited thereto.
  • the memory 150 may store data necessary for various embodiments of the present disclosure.
  • the memory 150 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory that is detachable from the electronic device 100 according to the purpose of data storage.
  • data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100
  • data for an extended function of the electronic device 100 is detachable from the electronic device 100 . It can be stored in any available memory.
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory non-volatile memory
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM flash ROM, flash memory (such as NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD), etc.
  • a memory card eg, a compact flash (CF)
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • the memory may store at least one neural network model.
  • the processor 120 may obtain size information of the food ingredient area stored in the storage area and identification information of the food ingredient through the neural network model stored in the memory 150 .
  • the communication interface 160 may input and output various types of data.
  • the communication interface 160 is AP-based Wi-Fi (Wi-Fi, Wireless LAN network), Bluetooth (Bluetooth), Zigbee (Zigbee), wired / wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/ European Broadcasting Union), Optical , Coaxial, etc., through communication methods such as external devices (eg, source devices), external storage media (eg, USB memory), external servers (eg, web hard drives) and various types of data can send and receive.
  • external devices eg, source devices
  • external storage media eg, USB memory
  • external servers eg, web hard drives
  • various types of data can send and receive.
  • the processor 120 may receive various types of information from an external server or a user terminal through the communication interface 160 .
  • the electronic device 200 may include a camera 110 , a processor 120 , a pressure sensor 130 , a display 140 , a memory 150 , a communication interface 160 , and a tray 170 .
  • a camera 110 may include a camera 110 , a processor 120 , a pressure sensor 130 , a display 140 , a memory 150 , a communication interface 160 , and a tray 170 .
  • a processor 120 may include a camera 110 , a processor 120 , a pressure sensor 130 , a display 140 , a memory 150 , a communication interface 160 , and a tray 170 .
  • the electronic device 200 may include the tray 170 according to an example.
  • the tray 170 is divided into a plurality of storage areas to store food materials, and may be made of various materials such as plastic, glass, or ceramic.
  • FIG. 11 is a flowchart illustrating a control method according to an embodiment of the present disclosure.
  • size information on a plurality of storage areas is acquired based on an image of a tray divided into a plurality of storage areas ( S1110 ).
  • step S1110 by inputting the image obtained in step S1110 to the neural network model, size information of a plurality of food material regions stored in the tray and identification information of the plurality of food materials are obtained (S1120).
  • step S1130 based on the size information of the plurality of storage areas, the size information of the plurality of food material areas, and the identification information of the plurality of food materials identified in step S1120, at least some of the ingredients are identified (S1130).
  • step S1130 may include providing a recommended recipe based on the ingredients identified in step S1130 (S1140).
  • an area that at least partially overlaps with the first storage area among the plurality of storage areas among the plurality of food material areas is identified, and the size of the food material area including the overlapping area, the first Based on the size of the storage area and the size of the overlapping area, at least some of the foodstuffs among the plurality of foodstuffs may be identified.
  • a region having a relatively large size among the food ingredient region including the overlapping region and the first storage region may be identified.
  • the step of providing the recommended recipe it may be determined whether or not the ingredients stored in the first storage area are reflected in the recommended recipe based on the ratio of the size of the overlapping area to the size of the identified area.
  • each of the size information and the plurality of ingredients obtained by a plurality of images taken by a plurality of infrared cameras spaced apart from the upper portion of the tray to photograph the tray in different directions. Remaining amount information of the identified food material may be obtained based on the characteristic information of .
  • the recommended recipe may be provided based on the remaining amount information of the ingredients.
  • the plurality of storage areas may have a preset height and may be implemented in a form in which indicating lines detectable by an infrared camera are marked at different heights.
  • the step of providing the recommended recipe ( S1140 ) height information of a food ingredient identified based on an indicating line in each of a plurality of images captured by a plurality of infrared cameras may be acquired.
  • size information of the ingredients may be acquired based on the acquired height information.
  • the pressure information obtained by the pressure sensor provided under each of the plurality of storage areas, the size information of the food material obtained by the plurality of images photographed by the plurality of infrared cameras, and Remaining amount information of the identified ingredients may be acquired based on the characteristic information of each of the plurality of ingredients.
  • the priority of the identified ingredients may be identified based on the freshness information of the identified ingredients and the remaining amount information of the identified ingredients.
  • the recommended recipe may be provided based on the priority of the identified ingredients and the characteristic information of the identified ingredients.
  • the recommended recipe may be provided based on the priority of the identified ingredients, the characteristic information of the identified ingredients, and the user's intake history information for the identified ingredients.
  • a recommendation to replace the identified ingredient based on the characteristic information of the remaining ingredients among a plurality of ingredients may further include the step of providing information about the ingredients.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor 120 itself.
  • embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation of the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium. have.
  • the specific device performs the processing operation in the electronic device 100 according to the various embodiments described above.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Thermal Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 복수의 보관 영역으로 구분된 트레이의 상부에서 트레이를 촬영하도록 배치된 카메라 및 카메라에 의해 트레이를 촬영한 이미지가 획득되면 이미지에 기초하여 복수의 보관 영역에 대한 크기 정보를 획득하고, 이미지를 신경망 모델에 입력하여 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보 및 복수의 식재료의 식별 정보를 획득하고, 식별된 복수의 보관 영역에 대한 크기 정보, 복수의 식재료 영역에 대한 크기 정보 및 복수의 식재료의 식별 정보에 기초하여 복수의 식재료 중 적어도 일부의 식재료를 식별하고, 식별된 식재료에 기초하여 추천 레시피를 제공하는 프로세서를 포함할 수 있다.

Description

전자 장치 및 그 제어 방법
본 발명은 식재료를 분석해 레시피를 추천해주는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 들어 신경망 모델을 활용하여 레시피(Recipe)를 추천해주는 주방용 가전 기기(이하, 스마트 주방 기기)의 보급이 활발해지고 있다. 기존에는 사용자가 가정에 보관하고 있는 식재료를 이용하여 요리를 하고 싶더라도 어떤 식재료를 조합하여 어떤 요리를 해야 할지에 관한 정보를 얻기 어려웠던 반면, 스마트 주방 기기의 보급으로 인해 사용자는 가정에 보관하고 있는 식재료를 활용한 다양한 레시피를 통해 손쉽게 요리를 할 수 있게 되었다.
그러나, 기존의 스마트 주방 기기는 보관 중인 식재료의 종류, 식재료의 잔량 및 신선도에 관한 정보를 식별하기 어려워 사용자가 직접 이러한 정보를 직접 관리해야 하는 불편함이 있었다. 이에 따라 사용자의 개입 없이도 식재료의 종류, 식재료의 잔량 및 신선도에 대한 정보를 식별하고, 이에 기초하여 최적의 레시피를 제공할 수 있는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 식재료가 보관된 트레이를 촬영한 이미지에 기초하여 식재료를 선별하고, 선별된 식재료에 기초하여 추천 레시피를 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 복수의 보관 영역으로 구분된 트레이의 상부에서 상기 트레이를 촬영하도록 배치된 카메라 및 상기 카메라에 의해 상기 트레이를 촬영한 이미지가 획득되면, 상기 이미지에 기초하여 상기 복수의 보관 영역에 대한 크기 정보를 획득하고, 상기 이미지를 신경망 모델에 입력하여 상기 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보를 획득하고, 상기 식별된 복수의 보관 영역에 대한 크기 정보, 상기 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하고, 상기 식별된 식재료에 기초하여 추천 레시피를 제공하는 프로세서를 포함할 수 있다.
여기서, 상기 프로세서는, 상기 복수의 식재료 영역 중에서 상기 복수의 보관 영역 중 제1 보관 영역과 적어도 일부 중첩되는 영역을 식별하고, 상기 중첩 영역을 포함하는 식재료 영역의 크기, 상기 제1 보관 영역의 크기 및 상기 중첩 영역의 크기에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별할 수 있다.
여기서, 상기 프로세서는, 상기 중첩 영역을 포함하는 식재료 영역 및 상기 제1 보관 영역 중 상대적으로 크기가 큰 영역을 식별하고, 상기 식별된 영역의 크기에 대한 상기 중첩 영역의 크기의 비율에 기초하여 상기 제1 보관 영역에 보관된 식재료를 상기 추천 레시피에 반영할지 여부를 결정할 수 있다.
한편, 상기 트레이의 상부에서 상기 트레이를 상이한 방향으로 촬영하도록 이격 배치된 복수의 적외선 카메라를 더 포함하며, 상기 프로세서는, 상기 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 상기 복수의 식재료 각각의 특성 정보에 기초하여 상기 식별된 식재료의 잔량 정보를 획득하고, 상기 식재료의 잔량 정보에 기초하여 상기 추천 레시피를 제공할 수 있다.
여기서, 상기 복수의 보관 영역은 기 설정된 높이를 가지고 상기 적외선 카메라에 의해 검출 가능한 인디케이팅 라인이 상이한 높이에 표기된 형태로 구현되며, 상기 프로세서는, 상기 복수의 적외선 카메라에 의해 촬영된 복수의 이미지 각각에서 상기 인디케이팅 라인에 기초하여 식별된 식재료의 높이 정보를 획득하고, 상기 획득된 높이 정보에 기초하여 상기 식재료의 크기 정보를 획득할 수 있다.
또한, 상기 복수의 보관 영역 각각의 하부에 마련된 압력 센서를 더 포함하며, 상기 프로세서는, 상기 압력 센서에 의해 획득된 압력 정보, 상기 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 상기 복수의 식재료 각각의 특성 정보에 기초하여 상기 식별된 식재료의 잔량 정보를 획득할 수 있다.
한편, 상기 프로세서는, 상기 식별된 식재료의 신선도 정보 및 상기 식별된 식재료의 잔량 정보에 기초하여 상기 식별된 식재료의 우선순위를 식별하고, 상기 식별된 식재료의 우선순위 및 상기 식별된 식재료의 특성 정보에 기초하여 상기 추천 레시피를 제공할 수 있다.
여기서, 상기 프로세서는, 상기 식별된 식재료의 우선순위, 상기 식별된 식재료의 특성 정보 및 상기 식별된 식재료에 대한 사용자의 섭취 이력 정보에 기초하여 상기 추천 레시피를 제공할 수 있다.
한편, 상기 프로세서는, 상기 식별된 식재료의 신선도 정보 및 사용자의 섭취 이력 정보에 기초하여 상기 식별된 식재료가 대체 대상으로 식별되면, 상기 복수의 식재료 중 나머지 식재료의 특성 정보에 기초하여 상기 식별된 식재료를 대체할 추천 식재료에 대한 정보를 제공할 수 있다.
또한, 디스플레이를 더 포함하며, 상기 프로세서는, 상기 복수의 보관 영역에 대응되는 가이드 라인 및 상기 복수의 보관 영역에 보관된 식재료 이미지 및 식별 정보를 포함하는 화면을 상기 디스플레이 상에 표시할 수 있다.
또한, 디스플레이를 더 포함하며, 상기 프로세서는, 상기 추천 레시피에 기초하여 상기 식별된 식재료에 대한 조리 과정을 나타내는 애니메이션 UI를 상기 디스플레이 상에 표시할 수 있다.
한편, 본 발명의 일 실시 예에 따른 제어 방법은, 복수의 보관 영역으로 구분된 트레이를 촬영한 이미지에 기초하여 상기 복수의 보관 영역에 대한 크기 정보를 획득하는 단계, 상기 이미지를 신경망 모델에 입력하여 상기 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보를 획득하는 단계, 상기 식별된 복수의 보관 영역에 대한 크기 정보, 상기 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하는 단계 및 상기 식별된 식재료에 기초하여 추천 레시피를 제공하는 단계를 포함할 수 있다.
여기서, 상기 적어도 일부의 식재료를 식별하는 단계는, 상기 복수의 식재료 영역 중에서 상기 복수의 보관 영역 중 제1 보관 영역과 적어도 일부 중첩되는 영역을 식별하는 단계 및 상기 중첩 영역을 포함하는 식재료 영역의 크기, 상기 제1 보관 영역의 크기 및 상기 중첩 영역의 크기에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하는 단계를 포함할 수 있다.
여기서, 상기 추천 레시피를 제공하는 단계는, 상기 중첩 영역을 포함하는 식재료 영역 및 상기 제1 보관 영역 중 상대적으로 크기가 큰 영역을 식별하고, 상기 식별된 영역의 크기에 대한 상기 중첩 영역의 크기 비율에 기초하여 상기 제1 보관 영역에 보관된 식재료를 상기 추천 레시피에 반영할지 여부를 결정할 수 있다.
한편, 상기 추천 레시피를 제공하는 단계는, 상기 트레이의 상부에서 상기 트레이를 상이한 방향으로 촬영하도록 이격 배치되는 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 상기 복수의 식재료 각각의 특성 정보에 기초하여 상기 식별된 식재료의 잔량 정보를 획득하고, 상기 식재료의 잔량 정보에 기초하여 상기 추천 레시피를 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치는 사용자의 개입 없이도 식재료의 종류, 식재료의 잔량 및 신선도에 대한 정보를 식별하고, 이에 기초하여 최적의 레시피를 제공할 수 있으므로 사용자의 편의성이 향상된다.
도 1은 본 개시의 이해를 돕기 위한 사용자의 요리 과정을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 트레이에 보관된 복수의 식재료의 종류를 식별하는 동작을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 개시의 일 실시 예에 따른 복수의 보관 영역에 대한 크기 정보 및 복수의 식재료 영역에 대한 크기 정보를 식별하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 트레이 및 트레이를 촬영하는 카메라의 세부적인 구조를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 식재료에 대한 다양한 타입의 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 다양한 타입의 정보에 기초하여 추천 레시피를 제공하는 동작을 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 대체 식재료에 대한 추천 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 식재료에 대한 조리 과정을 나타내는 애니메이션 UI를 제공하는 동작을 설명하기 위한 도면이다.
도 10a 및 도 10b는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 구체적으로 설명하기 위한 블록도이다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용자라는 용어는 전자 장치를 사용하는 사람을 지칭할 수 있다. 이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 이해를 돕기 위한 사용자의 요리 과정을 설명하기 위한 도면이다. 도 1에 따르면, 사용자(20)는 전자 장치, 예를 들어 냉장고(100)에 보관된 식재료를 사용하여 요리를 할 수 있다. 여기서, 냉장고(100)는 식재료를 보관하기 위해 복수의 보관 영역으로 구분된 트레이(10)를 포함할 수 있다.
사용자(20)는 트레이(10)에 보관된 여러 식재료를 조합하여 다양한 요리를 할 수 있는데, 이를 위해서는 사용자(20)가 보관된 식재료의 종류와 각각의 잔량을 파악할 필요가 있다. 이를 돕기 위해, 냉장고(100)는 트레이(10)의 복수의 보관 영역 각각에 어떠한 식재료가 얼마나 보관되어 있는지 식별하여 이에 대한 정보를 사용자(20)에게 제공할 수 있다.
여기서, 식재료의 종류와 잔량에 대한 정보를 획득하기 위해 냉장고(100)는 카메라를 비롯한 다양한 종류의 광학 센서를 포함할 수 있다. 냉장고(100)는 광학 센서를 통해 획득된 이미지에 기초하여 식재료의 종류와 잔량을 식별할 수 있을 뿐만 아니라, 식재료의 신선도 내지 섭취 가능 기간에 관한 정보를 획득할 수도 있다.
또한, 냉장고(100)는 트레이(10)에 보관된 여러 식재료의 잔량, 사용자(20)의 섭취 이력 및 식재료들의 영양 정보에 기초하여 사용자(20)에게 최적의 레시피(Recipe)를 추천해 줄 수도 있다. 여기서, 레시피란 복수의 식재료를 조합하여 특정한 요리를 만드는 방법에 관한 정보를 포함하는 개념일 수 있다.
본 명세서에서는 '재료'라고 함은 요리를 위해 사용되는 '식재료'를 의미하는 것으로 전제하고 두 표현을 혼용하도록 한다.
이하에서는, 냉장고(100) 등의 전자 장치가 사용자의 개입 없이도 가정에서 보관 중인 식재료들의 상태를 정확히 파악하고, 이에 기초하여 사용자(20)에게 최적의 레시피를 제공할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2에 따르면 전자 장치(100)는 카메라(110) 및 프로세서(120)를 포함할 수 있다.
카메라(110)는 카메라의 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 이미지를 획득할 수 있다.
카메라(110)는 객체, 예를 들어 보관된 식재료에 의해 반사되어 수신되는 광학 신호를 이미지 센서로 포커싱하는 렌즈 및 광학 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
여기서, 카메라(110)는 광각(RGB) 카메라, 적외선 카메라 및 광원을 포함할 수 있으며, 카메라(110)는 전자 장치의 특정 위치에 복수의 보관 영역으로 구분된 트레이의 상부에서 트레이를 촬영하도록 배치될 수 있다.
프로세서(120)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(120)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(120)는 카메라(110)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(120)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(120)로 기재한다.
프로세서(120)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(120)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서(120)와 메모리(미도시)를 통해 실행될 수 있다. 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서(120)는 메모리(미도시)에 저장된 기 정의된 동작 규칙 또는 신경망 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서(120)가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는 특정 신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 신경망 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은 기본 신경망 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 신경망 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
본 개시의 일 실시 예에 따른 프로세서(120)는 카메라(110)에 의해 트레이를 촬영한 이미지가 획득되면 획득된 이미지에 기초하여 복수의 보관 영역에 대한 크기 정보를 획득할 수 있다. 여기서, 보관 영역은 트레이가 일정한 구조로 분할된 영역 중 일 영역일 수 있으며, 일 예에 따른 보관 영역은 사각 형상의 영역일 수 있으나, 이에 한정되는 것은 아니다. 다만, 이하에서는 설명의 편의를 위하여 보관 영역이 사각 형상인 것으로 상정하여 설명하도록 한다.
일 예에 따른 보관 영역의 크기 정보는 사각 형상을 가지는 보관 영역의 면적 및 트레이 상에서 보관 영역의 위치 정보 예를 들어 상대적 위치(예를 들어, 기준점을 기준으로 상하좌우 정보) 또는 절대적 위치(예를 들어 좌표 정보)에 관한 정보를 포함할 수 있다.
구체적으로, 프로세서(120)는 트레이를 촬영한 이미지, 예를 들어 RGB 이미지를 Grayscale 이미지로 변환한 후 이미지 내의 외곽선 검출 및 보정을 통해 보관 영역의 크기 정보를 획득할 수 있다. 이를 위하여 일 예에 따른 트레이는 복수의 보관 영역을 서로 구분하는 격벽의 상측에 특정 패턴이 표기된 형태로 구현될 수 있다.
또한, 일 예에 따른 프로세서(120)는 트레이를 촬영한 이미지를 신경망 모델에 입력하여 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보를 획득할 수 있다. 여기서, 식재료 영역에 대한 크기 정보는 트레이에 포함된 복수의 보관 영역에 보관된 여러 식재료가 차지하는 공간의 크기에 대한 정보일 수 있다.
구체적으로, 각 보관 영역에 보관된 식재료는 식재료 고유의 형태와 식재료의 적층 구조에 따라 불규칙한 외곽선을 갖는 영역(이하, 비정형 영역)에 분포할 수 있다. 일 예에 따른 프로세서(120)는 이러한 비정형 영역을 보다 간편하게 분석하기 위하여 신경망 모델을 활용할 수 있다. 여기서, 신경망 모델은 이미지가 입력되면 입력된 이미지 내에 분포하는 비정형 영역에 대응되는 정형 영역에 대한 정보를 출력하도록 학습된 모델일 수 있다.
여기서, 정형 영역은 사각형 형태의 영역일 수 있으며, 일 예에 따른 프로세서(120)는 정형 영역에 대한 정보에 기초하여 복수의 식재료 영역에 대한 크기 정보를 획득할 수 있다. 여기서, 복수의 식재료 영역에 대한 크기 정보는 정형 영역의 면적 및 트레이 상에서 정형 영역의 상대적 위치에 관한 정보를 포함할 수 있다.
또한, 일 예에 따른 프로세서(120)는 트레이를 촬영한 이미지를 신경망 모델에 입력하여 트레이에 보관된 복수의 식재료의 식별 정보를 획득할 수 있다. 여기서, 식재료의 식별 정보는 식재료의 종류, 식재료의 가공 상태, 식재료의 신선도에 관한 정보 중 적어도 하나의 정보를 포함할 수 있다. 여기서, 신경망 모델은 이미지가 입력되면 입력된 이미지 내에 포함된 식재료에 대응되는 식별 정보를 출력하도록 학습된 모델일 수 있다.
이어서, 일 예에 따른 프로세서(120)는 식별된 복수의 보관 영역에 대한 크기 정보, 복수의 식재료 영역에 대한 크기 정보 및 복수의 식재료의 식별 정보에 기초하여 복수의 식재료 중 적어도 일부의 식재료를 식별할 수 있다.
최종적으로, 프로세서(120)는 식별된 식재료에 기초하여 사용자(20)에게 추천 레시피를 제공할 수 있다. 여기서, 추천 레시피의 제공은 전자 장치(100)에 구비된 디스플레이, 사용자(20)가 소지한 모바일 기기에 구비된 디스플레이를 통해 이미지 형태로 제공하는 방식은 물론, 레시피에 대한 정보를 직접적으로 제공받을 수 있는 외부 서버로 연결할 수 있는 연결 정보를 제공하는 방식으로도 이루어 질 수 있다.
여기서, 프로세서(120)는 복수의 식재료 영역 중에서 복수의 보관 영역 중 제1 보관 영역과 적어도 일부 중첩되는 영역(이하, 중첩 영역)을 식별할 수 있다. 나아가 프로세서(120)는 중첩 영역을 포함하는 식재료 영역의 크기, 제1 보관 영역의 크기 및 중첩 영역의 크기에 기초하여 복수의 식재료 중 적어도 일부의 식재료를 식별할 수 있다.
여기서, 프로세서(120)는 중첩 영역을 포함하는 식재료 영역 및 제1 보관 영역 중 상대적으로 크기가 큰 영역을 식별하고, 식별된 영역의 크기에 대한 중첩 영역의 크기 비율에 기초하여 제1 보관 영역에 보관된 식재료를 추천 레시피에 반영할지 여부를 결정할 수 있다. 이에 관한 전자 장치(100)의 구체적인 동작은 도 4a 내지 도 4c를 통해 상세히 설명한다.
한편, 일 예에 따른 전자 장치(100)는 트레이의 상부에서 트레이를 상이한 방향으로 촬영하도록 이격 배치된 복수의 적외선 카메라를 포함할 수 있다.
일 예에 따른 프로세서(120)는 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 복수의 식재료 각각의 특성 정보에 기초하여 식별된 식재료의 잔량 정보를 획득할 수 있다.
여기서, 식재료의 크기 정보란 보관 영역 내에 위치한 식재료가 차지하는 공간의 부피에 관한 정보일 수 있다. 또한, 일 예에 따른 특성 정보는 특정 종류의 식재료가 갖는 기본 단위(예: 콩 한 알)에 관한 정보를 포함할 수 있다.
일 예에 따른 식재료의 잔량 정보는 해당 식재료가 특정 요리의 재료로 사용되기 충분한 양이 남아있는지, 보통의 양이 남아있는지 또는 부족한 양이 남아있는지에 관한 정보일 수 있다. 또한, 일 예에 따른 잔량 정보는 보관 영역에 보관된 식재료의 무게에 관한 정보를 포함할 수 있다.
한편, 복수의 보관 영역은 기 설정된 높이를 가지고 적외선 카메라에 의해 검출 가능한 인디케이팅 라인이 상이한 높이에 표기된 형태로 구현될 수 있다. 여기서, 기 설정된 높이는 보관 영역의 바닥 면으로부터 격벽의 상측까지의 높이를 균분한 복수의 지점에 각각 대응되는 높이일 수 있다.
또한, 일 예에 따른 프로세서(120)는 복수의 적외선 카메라에 의해 촬영된 복수의 이미지 각각에서 인디케이팅 라인에 기초하여 식별된 식재료의 높이 정보를 획득하고, 획득된 높이 정보에 기초하여 식재료의 크기 정보를 획득할 수 있다.
한편, 일 예에 따른 전자 장치(100)는 복수의 보관 영역 각각의 하부에 마련된 압력 센서를 더 포함할 수 있다. 여기서, 압력 센서는 센서 표면에 가해지는 압력의 크기에 따라 저항 값이 변화하는 회로를 포함하며, 저항 값의 변화를 수치화한 압력 정보를 출력함으로써 일 예에 따른 프로세서(120)가 보관 영역에 보관된 식재료의 무게를 측정할 수 있다. 또한, 압력 센서는 전자 장치(100)에 포함된 전원 공급부(미도시)로부터 전원을 공급받거나 자체 내장 배터리를 통해 전원을 공급받을 수 있다.
다만, 일 예에 따른 압력 센서만으로는 압력이 가해지는 보관 영역의 바닥 면의 기울기, 압력을 발생시키는 식재료의 질량 중심의 변화 및 센서 자체의 측정 오차로 인하여 보관 영역에 보관된 식재료의 무게를 정확히 측정하기 어려울 수 있다. 이를 위해 프로세서(120)는 압력 센서에 의해 획득된 압력 정보, 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 복수의 식재료 각각의 특성 정보에 기초하여 식별된 식재료의 잔량 정보를 획득할 수 있다. 이를 통해 전자 장치(100)는 보관 영역에 보관된 식재료의 잔량을 보다 정확하게 식별할 수 있다.
한편, 일 예에 따른 프로세서(120)는 식별된 식재료의 신선도 정보 및 식별된 식재료의 잔량 정보에 기초하여 식별된 식재료의 우선순위를 식별할 수 있다. 여기서, 신선도란 식재료가 요리의 재료로 사용되기 적합한 정도에 관한 정보일 수 있다. 구체적으로, 신선도가 임계 수치 이하인 식재료는 요리의 재료로 사용되기 적합하지 않을 수 있다. 한편, 일 예에 따른 신선도는 식재료의 섭취 가능 기간에 대응되는 수치를 가질 수 있다. 구체적으로, 일 예에 따른 전자 장치(100)는 섭취 가능 기간이 임계 기간 이상인 식재료의 신선도는 '좋음'으로, 섭취 가능 기간이 임계 기간 미만인 식재료의 신선도는 '나쁨'으로 식별할 수도 있다.
여기서, 식재료의 우선순위는 특정 식재료가 요리에 재료로 사용되어야 할 필요성에 대응되는 우선순위를 의미할 수 있다. 구체적으로, 일 예에 따른 프로세서(120)는 요리에 재료로 사용될 필요성이 높은 식재료가 높은 우선순위를 갖는 것으로 식별할 수 있다.
또한, 프로세서(120)는 식별된 식재료의 우선순위 및 식재료의 특성 정보에 기초하여 추천 레시피를 제공할 수 있다. 여기서, 식재료의 특성 정보는 식재료의 맛, 향 및 식감에 대한 정보, 식재료의 영양정보 및 해당 식재료와 어울리는 타 식재료에 관한 정보를 포함할 수 있다.
여기서, 프로세서(120)는 식별된 식재료의 우선순위, 식재료의 특성 정보 및 식재료에 대한 사용자의 섭취 이력 정보에 기초하여 추천 레시피를 제공할 수 도 있다. 일 예에 따른 섭취 이력 정보는 최근 사용자가 섭취한 식재료에 관한 정보 또는 식재료 별 요리에 재료로 사용된 빈도에 관한 정보 중 적어도 하나를 포함할 수 있다.
한편, 프로세서(120)는 식별된 식재료의 신선도 정보 및 섭취 이력 정보에 기초하여 식별된 식재료가 대체 대상으로 식별되면 복수의 식재료 중 나머지 식재료의 특성 정보에 기초하여 식별된 식재료를 대체할 추천 식재료에 대한 정보를 제공할 수 있다.
구체적으로, 프로세서(120)는 신선도가 '나쁨'으로 식별된 식재료 중에 최근 사용자가 섭취한 이력이 없는 식재료 또는 요리에 재료로 사용된 빈도가 임계 수치 미만인 식재료를 대체 대상 식재료로 식별할 수 있다. 즉, 프로세서(120)는 사용자가 선호하지 않는 식재료이면서 동시에 요리에 재료로 사용하기 적합하지 않은 식재료를 트레이에서 제거할 식재료로 식별할 수 있다.
이와 동시에 프로세서(120)는 제거된 식재료가 보관되어 있던 보관 영역에 새롭게 보관될 추천 식재료에 대한 정보를 제공할 수 있으며, 보다 구체적으로 프로세서(120)는 트레이에 포함된 여러 식재료들의 특성 정보에 기초하여 여러 식재료들과의 어울리는 식재료를 추천 식재료로 식별할 수 있다.
한편, 일 예에 따른 전자 장치(100)는 디스플레이를 더 포함할 수 있다. 디스플레이는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, QLED(Quantum dot light-emitting diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이 내에는 TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이는 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
일 예에 따른 프로세서(120)는 복수의 보관 영역에 대응되는 가이드 라인 및 복수의 보관 영역에 보관된 식재료 이미지 및 식별 정보를 포함하는 화면을 전자 장치(100)에 구비된 디스플레이 또는 사용자 단말(미도시)에 구비된 디스플레이 상에 표시할 수 있다.
또한, 프로세서(120)는 추천 레시피에 기초하여 식별된 식재료에 대한 조리 과정을 나타내는 애니메이션 UI를 전자 장치(100)에 구비된 디스플레이 또는 사용자 단말(미도시)에 구비된 디스플레이 상에 표시할 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 트레이에 보관된 복수의 식재료의 종류를 식별하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 여러 식재료가 보관된 트레이는 점선의 사각형으로 둘러 쌓인 복수의 보관 영역으로 구분될 수 있다. 일 예에 따른 프로세서(120)는 트레이를 촬영한 이미지를 Grayscale 이미지로 변환한 후 이미지 내의 외곽선 검출 및 보정을 통해 보관 영역을 식별할 수 있다(310).
이어서, 프로세서(120)는 식별된 복수의 보관 영역에 대해 일정한 규칙에 따라 식별 번호를 부여할 수 있다(320). 구체적으로, 일 예에 따른 프로세서(120)는 트레이의 좌측 하단에 위치한 보관 영역부터 우측 방향으로 1, 2, 3번의 식별 번호를 부여할 수 있다. 마지막으로 식별 번호를 부여한 보관 영역의 우측에 다른 보관 영역이 존재하지 않을 경우, 해당 열의 가장 좌측에 있는 보관 영역(1번)의 상부에 위치한 보관 영역에 그 다음 식별 번호인 4번을 부여할 수 있다. 프로세서(120)는 이후에도 같은 규칙에 따라 복수의 보관 영역에 식별 번호를 부여할 수 있다.
이어서, 프로세서(120)는 트레이를 촬영한 이미지를 신경망 모델에 입력하여 트레이에 보관된 복수의 식재료의 식별 정보를 획득할 수 있다(330). 여기서, 식재료의 식별 정보는 식재료의 종류(명칭)에 관한 정보일 수 있다. 여기서, 신경망 모델은 이미지가 입력되면 입력된 이미지 내에 포함된 식재료의 명칭에 대응되는 텍스트를 출력하도록 학습된 모델일 수 있다.
그 결과, 프로세서(120)는 1번의 식별 번호를 갖는 보관 영역에 올리브가 보관되어 있으며, 2번 보관 영역에는 파인애플이, 3번 보관 영역에는 치즈가 각각 보관되어 있다고 식별할 수 있다.
도 4a 내지 도 4c는 일 실시 예에 따른 복수의 보관 영역에 대한 크기 정보 및 복수의 식재료 영역에 대한 크기 정보를 식별하는 동작을 설명하기 위한 도면이다.
도 3에서는 프로세서(120)가 각 보관 영역에 보관된 여러 식재료를 식별할 수 있다는 점을 설명하였다. 도 4a 내지 4c에서는 보다 구체적으로, 프로세서(120)가 일정 조건을 충족하는 보관 영역에 보관된 식재료만을 식별하는 동작에 대해 설명하도록 한다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 여러 식재료가 보관된 트레이(400) 상의 복수의 보관 영역을 식별할 수 있다. 또한, 전자 장치(100)는 보관 트레이 상의 복수의 식재료 영역을 식별할 수 있다.
여기서, 식재료 영역은 보관 영역에 보관된 식재료 고유의 형태와 식재료의 적층 구조에 따라 불규칙한 외곽선을 갖는 비정형 영역에 대응되는 정형 영역일 수 있으며, 일 예에 따른 정형 영역은 사각형 형태의 영역일 수 있다.
일 예에 따른 프로세서(120)는 식재료 영역에 대응되는 이미지를 신경망 모델에 입력하여 해당 영역에 포함된 식재료를 식별할 수 있다.
도 4a에서는 인접한 보관 영역에 보관된 식재료들에 대응되는 식재료 영역이 개별적으로 식별되지 못한 경우에 대응되는 전자 장치(100)의 동작을 설명하도록 한다.
사용자가 식재료를 트레이(400)에 투입하는 단계에서, 특정 식재료를 기준치보다 많이 투입하거나 또는 식재료가 보관 영역의 일 측면에 집중되도록 적층하는 경우 프로세서(120)는 해당 식재료와 인접한 보관 영역에 보관된 식재료가 하나의 식재료 영역(411)에 포함되는 것으로 식별할 수 있다.
여기서, 여러 식재료가 포함된 하나의 식재료 영역(411)에 포함되는 경우, 전자 장치(100)는 여러 식재료가 혼재되어 있는 식재료 영역(411)에 대응되는 식재료의 식별 정보를 정확하게 획득할 수 없게 된다. 따라서, 프로세서(120)는 이러한 영역(411)과 일부 영역이 중첩되는 보관 영역에 보관된 식재료를 식별하지 않을 수 있다.
이 경우 프로세서(120)는 트레이(400)에 포함된 복수의 보관 영역 중 제1 보관 영역(401)과 일부 영역(이하, 중첩 영역)이 중첩되는 식재료 영역(411)을 식별하고, 제1 보관 영역(401)의 크기, 그와 일부 영역이 중첩되는 식재료 영역(411)의 크기 및 중첩 영역의 크기에 기초하여 제1 보관 영역(401)에 보관된 식재료를 식별할 수 있다. 구체적으로, 프로세서(120)는 제1 보관 영역(401)과 식재료 영역(411) 중 상대적으로 크기가 큰 영역을 식별하고, 식별된 영역의 크기에 대한 중첩 영역의 크기의 비율(이하, 교차 영역 비율)에 기초하여 제1 보관 영역(401)에 보관된 식재료를 추천 레시피에 반영할지 여부를 결정할 수 있다.
일 예에 따른 프로세서(120)는 특정 보관 영역에 대응되는 교차 영역 비율이 임계 수치 이상인 경우 해당 보관 영역에 보관된 식재료를 식별할 수 있다. 예를 들어, 프로세서(120)는 제1 보관 영역(401)에 대응되는 교차 영역 비율이 50% 이상인 경우 제1 보관 영역(401)에 보관된 식재료가 '올리브'인 것으로 식별할 수 있다.
도 4a에서 프로세서(120)는 제1 보관 영역(401)에 대응되는 교차 영역 비율로서, 제1 보관 영역(401)과 식재료 영역(411) 중 상대적으로 큰 식재료 영역(411)의 크기에 대한 중첩 영역의 크기의 비율인 25%의 수치를 산출할 수 있다.
이 경우 제1 보관 영역(401)에 대응되는 교차 영역 비율이 임계 수치 미만인 25%이기 때문에, 프로세서(120)는 제1 보관 영역(401)에 보관된 식재료를 식별하지 않을 수 있다.
마찬가지로, 프로세서(120)는 식재료 영역(411)과 일부 영역이 중첩되는 나머지 세 보관 영역에 대해서도 교차 영역 비율이 각각 25%인 것으로 식별하고, 해당 보관 영역들에 보관된 식재료들을 식별하지 않을 수 있다.
프로세서(120)는 식별되지 않은 식재료를 보관하고 있는 보관 영역(401 등)과 일부 영역이 중첩되는 식재료 영역(411)을 '오인식 영역'으로 식별할 수 있다.
이 경우 전자 장치(100)는 오인식 영역(411)과 일부 영역이 중첩되지 않는 보관 영역에 보관된 식재료를 식별하고, 식별된 식재료의 명칭에 대응되는 텍스트 및 오인식 영역(411)을 나타내는 이미지를 포함하는 UI(410)를 제공할 수 있다.
도 4b에서 특정 보관 영역에 보관된 식재료들에 대응되는 식재료 영역의 크기가 충분히 크지 않을 경우에 대응되는 전자 장치(100)의 동작을 설명하도록 한다.
일 예에 따른 프로세서(120)는 제1 보관 영역(401) 및 그에 포함된 식재료 영역(421)을 각각 식별할 수 있다. 사용자가 식재료를 트레이(400)에 투입하는 단계에서, 특정 식재료를 기준치보다 적게 투입하거나 또는 식재료가 요리에 사용됨에 따라 잔량이 임계 수치 미만인 경우 프로세서(120)는 해당 식재료를 식별하지 않을 수 있다.
이 경우에도 도 4a에서 설명한 것과 마찬가지로, 일 예에 따른 프로세서(120)는 제1 보관 영역(401)에 대응되는 교차 영역 비율이 임계 수치 50% 이상인 경우 제1 보관 영역(401)에 보관된 식재료가 '올리브'인 것으로 식별할 수 있다.
구체적으로, 프로세서(120)는 제1 보관 영역(401)에 대응되는 교차 영역 비율로서, 제1 보관 영역(401)과 식재료 영역(421) 중 상대적으로 큰 제1 보관 영역(401)의 크기에 대한 중첩 영역의 크기의 비율인 30%의 수치를 산출할 수 있다.
이 경우 제1 보관 영역(401)에 대응되는 교차 영역 비율이 임계 수치 미만인 30%이기 때문에, 프로세서(120)는 제1 보관 영역(401)에 보관된 식재료를 식별하지 않을 수 있다. 또한, 프로세서(120)는 식별되지 않은 식재료를 보관하고 있는 보관 영역(401)을 '오인식 영역'으로 식별할 수 있다.
이 경우 전자 장치(100)는 오인식 영역(421)과 일부 영역이 중첩되지 않는 보관 영역에 보관된 식재료를 식별하고, 식별된 식재료의 명칭에 대응되는 텍스트 및 오인식 영역(421)을 나타내는 이미지를 포함하는 UI(420)를 제공할 수 있다.
도 4c를 참조하면, 트레이(400)에 오인식 영역이 식별되지 않는 경우 프로세서(120)는 모든 보관 영역에 보관된 식재료를 식별하고, 식별된 식재료의 명칭에 대응되는 텍스트를 포함하는 UI(430)를 제공할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 트레이와 트레이를 촬영하는 카메라의 세부적인 구조를 설명하기 위한 도면이다.
도 5를 참조하면, 복수의 보관 영역으로 구분된 트레이(500)는 도면 기준 상측의 격벽(510, a), 좌측의 격벽(520, b), 하측의 격벽(530, c) 및 우측의 격벽(540, d)에 둘러쌓인 사각형 형태를 가질 수 있다. 또한, 트레이(500)에 포함된 복수의 보관 영역(501 등) 역시 상측의 격벽(a), 좌측의 격벽(b), 하측의 격벽(c) 및 우측의 격벽(d)에 둘러쌓인 사각형 형태를 가질 수 있다.
또한, 일 예에 따른 카메라(110)는 복수의 카메라와 광원을 포함하는 카메라 모듈(110)로 구현될 수 있다. 여기서, 카메라 모듈(110)은 가시광선 파장대에 속한 광학 신호를 획득하는 광각 카메라(111), 트레이를 상이한 방향에서 촬영하도록 이격 배치된 복수의 적외선 카메라(112-1, 112-2, 112-3, 112-4) 및 적어도 하나의 광원(113-1, 113-2, 113-3, 113-4)을 포함할 수 있다.
일 예에 따른 카메라 모듈(110)는 트레이(500)의 면적과 동일한 면적을 갖는 패널로 구현될 수 있으며, 카메라 모듈(110)은 트레이(500)의 상부에서 트레이(500)를 촬영하도록 트레이(500)의 중심 위치에 광각 카메라(111)가 위치하도록 배치될 수 있다.
한편, 트레이(500)에 포함된 일 보관 영역(501)은 네 방향의 격벽에 기 설정된 높이를 가지고 적외선 카메라(112-1, 112-2, 112-3, 112-4)에 의해 검출 가능한 복수의 인디케이팅 라인(501-a1, 501-a2, 501-b1, 501-b2, 501-c1, 501-c2, 501-d1, 501-d2)이 상이한 높이에 표기된 형태로 구현될 수 있다.
여기서, 인디케이팅 라인(501-a1, 501-a2, 501-b1, 501-b2, 501-c1, 501-c2, 501-d1, 501-d2)은 육안으로 식별할 수 있는 라인일 수도 있으나, 적외선 카메라(112-1, 112-2, 112-3, 112-4)로만 식별할 수 있는 라인일 수도 있다. 복수의 적외선 카메라 (112-1, 112-2, 112-3, 112-4)는 각기 상이한 방향을 촬영하므로, 적외선 카메라 각각에 의해 촬영된 이미지는 특정 보관 영역에 보관된 식재료가 특정 방향의 격벽 상에 표기된 인디케이팅 라인을 가리고 있는 이미지일 수 있다.
구체적으로, 일 예에 따른 제1 적외선 카메라(112-1)는 보관 영역(501)에 보관된 식재료가 보관 영역(501)의 좌측 격벽(501-b)과 하측 격벽(501-c) 상에 표기된 인디케이팅 라인을 가리고 있는 이미지를 획득할 수 있다. 한편, 제2 적외선 카메라(112-2)는 보관 영역(501)에 보관된 식재료가 보관 영역(501)의 하측 격벽(501-c)과 우측 격벽(501-d) 상에 표기된 인디케이팅 라인을 가리고 있는 이미지를 획득할 수 있다.
예를 들어, 프로세서(120)는 제1 적외선 카메라(112-1)가 획득한 이미지에 기초하여, 보관 영역(501)에 포함된 식재료가 보관 영역(501)의 좌측 격벽(501-b)에 표기된 제1 인디케이팅 라인(501-b1)과 제2 인디케이팅 라인(501-b2) 및 하측 격벽(501-c)에 표기된 제1 인디케이팅 라인(501-c1)을 가리고 있음을 식별하고, 동시에 제2 적외선 카메라(112-2)가 획득한 이미지에 기초하여, 보관 영역(501)에 포함된 식재료가 보관 영역(501)의 하측 격벽(501-c)에 표기된 제1 인디케이팅 라인(501-c1) 및 우측 격벽(501-d)에 표기된 제1 인디케이팅 라인(501-d1)과 제2 인디케이팅 라인(501-d2)를 가리고 있음을 식별할 수 있다.
이어서, 프로세서(120)는 각각의 적외선 카메라(112-1, 112-2, 112-3, 112-4)를 통해 획득된 이미지를 분석한 결과에 기초하여 보관 영역(501)에 보관된 식재료의 높이 정보를 획득할 수 있다. 여기서, 높이 정보는 식재료가 보관 영역 내에서 얼마나 높이 적층되어 있는지에 관한 정보일 수 있다.
구체적으로, 프로세서(120)는 제1 적외선 카메라(112-1)에 의해 획득된 이미지를 분석하여 보관 영역(501)의 좌측 격벽(501-b)에 표기된 인디케이팅 라인에 기초한 레벨 2와 하측 격벽(501-c)에 표기된 인디케이팅 라인에 기초한 레벨 1에 대응되는 (2,1)의 출력 값을 제1 적외선 카메라(112-1) 기준의 높이 정보로 획득할 수 있다.
이어서, 프로세서(120)는 나머지 적외선 카메라에 의해 획득된 이미지에 기초하여 (n, m)의 형태를 갖는 복수의 높이 정보를 추가로 획득하고, 획득된 복수의 높이 정보에 기초하여 보관 영역(501)에 보관된 식재료의 크기 정보를 획득할 수 있다. 여기서, 식재료의 크기 정보란 보관 영역 내에 위치한 식재료가 차지하는 공간의 부피에 관한 정보일 수 있다.
구체적으로, 프로세서(120)는 식재료 영역에 대한 크기 정보 및 식재료의 높이 정보에 기초하여 식재료의 크기 정보를 획득할 수 있다.
결과적으로 전자 장치(100)는 상이한 방향에서 보관 영역을 촬영해 그 보관 영역에 보관된 식재료의 높이 정보를 획득할 수 있으므로, 단일 방향에서 식재료의 높이 정보를 획득하는 것보다 더욱 정확한 식재료의 크기 정보를 획득할 수 있게 된다.
도 6은 본 개시의 일 실시 예에 따른 식재료에 대한 다양한 타입의 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 전자 장치(100)는 트레이(600)에 보관된 복수의 식재료의 특성(610)으로부터 정량화된 식재료의 특성 정보를 획득할 수 있다. 여기서, 식재료의 특성 정보는 식재료의 맛, 향 및 식감에 대한 정보에 관한 정보일 수 있다.
구체적으로, 프로세서(120)는 트레이(600)에 포함된 식재료인 '새우(601)'를 식별하고, 새우(601)에 대응되는 범주형 재료 특성 정보를 식별할 수 있다. 여기서, 범주형 재료 특성 정보는 식재료 특성(610) 중 하나인 맛, 향 및 식감을 여러 카테고리로 분류한 정보일 수 있으며, 일 예에 따른 특성 정보는 식재료의 맛, 향 및 식감을 각 50 가지의 카테고리로 분류한 정보일 수 있다.
일 예에 따르면 식재료에 대응되는 범주형 특성 정보는 전자 장치(100)의 메모리(미도시)에 저장되어 있을 수도 있고, 외부 서버로부터 통신 인터페이스(미도시)를 통해 수신될 수도 있다.
구체적으로, 프로세서(120)는 새우(601)에 대응되는 범주형 특성 정보에 기초하여, 새우(601)가 '단맛', '고소한 맛' 및 '담백한 맛'을 가지며, '담백한 향' 및 '짭조름한 향'을 가지며, '탱글탱글한 식감'을 가지는 식재료임을 식별할 수 있다.
이어서, 프로세서(120)는 새우(601)에 대응되는 범주형 특성 정보에 기초하여 Feature Vector를 생성하고, 이에 대해 차원 축소 및 정제를 수행할 수 있다. 여기서, 도 6에 도시된 '정량화 Engine'은 이러한 처리를 수행하는 프로세서(120)의 기능에 대응되는 일 유닛(Unit)일 수 있다.
그 결과 프로세서(120)는 새우(601)에 대응되는 범주형 특성 정보를 정량화한 정량화 특성 정보를 획득할 수 있다. 구체적으로, 식재료에 대응되는 정량화 특성 정보는 식재료의 맛, 향 및 식감에 대한 수치를 포함하는 형태의 정보일 수 있다. 프로세서(120)는 새우(601)에 대응되는 정량화 특성 정보가 (15, 7, 23)인 것으로 식별할 수 있다.
또한, 프로세서(120)는 식재료의 신선도 정보(620) 및 잔량 정보(630)에 기초하여 식재료의 섭취 우선순위를 식별할 수 있다. 구체적으로, 프로세서(120)는 식재료가 신선하여 섭취 가능한 잔여 기간이 여유 있는 경우(621)에는 해당 식재료의 섭취 우선순위가 상대적으로 낮은 것으로 식별할 수 있다. 반면, 식재료가 신선하지 않아 섭취 가능한 잔여 기간이 부족한 경우(622) 프로세서(120)는 해당 식재료의 섭취 우선순위가 상대적으로 높은 것으로 식별할 수 있다.
한편, 프로세서(120)는 식재료의 잔량이 충분한 경우(631)에는 해당 식재료의 섭취 우선순위가 상대적으로 높은 것으로 식별할 수 있다. 반면, 식재료의 잔량이 부족한 경우(632) 프로세서(120)는 해당 식재료의 섭취 우선순위가 상대적으로 낮은 것으로 식별할 수 있다.
만일 식재료의 잔량이 없는 경우(633)라면, 프로세서(120)는 해당 식재료에 대해 우선순위를 식별하지 않고 레시피에 반영하지 않을 수 있다.
예를 들어, 프로세서(120)는 잔여 기간이 부족하고, 잔량이 충분한 새우(601)의 섭취 우선순위가 가장 높은 1순위인 것으로 식별하고, 잔여 기간이 여유 있고, 잔량이 충분한 닭고기 가슴살(602)의 섭취 우선순위가 2순위인 것으로 식별하고, 잔여 기간이 여유 있고, 잔량이 부족한 아보카도(603)의 섭취 우선순위가 가장 낮은 3순위인 것으로 식별할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 다양한 타입의 정보에 기초하여 추천 레시피를 제공하는 동작을 설명하기 위한 도면이다.
일 예에 따른 프로세서(120)는 트레이에 보관된 복수의 식재료에 대응되는 정량화 특성 정보를 획득하고, 여러 재료들 간의 1차 재료 조합을 추천할 수 있다. 이에 대응되는 프로세서(120)의 기능을 수행하는 모듈로서, 도 7에서는 '재료 조합 추천 Engine(710)'으로 도시하였다. 구체적으로, 프로세서(120)는 식재료들에 대응되는 정량화 특성 정보에 기초하여 식재료들 간의 맛, 향 및 식감의 유사도를 식별할 수 있다(711). 여기서, 프로세서(120)는 각 식재료에 대응되는 정량화 특성 정보에 포함된 맛, 향 및 식감에 대응되는 수치를 각각 해당 식재료가 3차원 공간에서 갖는 x, y, z좌표로 식별하고, 3차원 공간에서 각 식재료가 갖는 위치 간의 거리를 산출하여, 산출된 거리에 기초하여 식재료들 간의 유사도를 식별할 수 있다(711).
이어서, 프로세서(120)는 유사도가 임계 수치 이상인 복수의 식재료들 간의 조합을 예측할 수 있다(712). 여기서, 재료 간 조합 예측(712)는 식재료 간의 조합에 관한 정보에 기초하여 이루어질 수 있다. 일 예에 따른 식재료 간의 조합에 관한 정보는 전자 장치(100)에 구비된 메모리(미도시)에 저장되어 있거나, 외부 서버로부터 통신 인터페이스(미도시)를 통해 수신될 수 있다. 또한, 식재료 간의 조합에 관한 정보는 전문 요리사의 노하우(Know-How)에 기초하여 생성된 정보일 수 있다.
이어서, 프로세서(120)는 서로 조합하기 적당한 복수의 식재료에 기초하여 재료 조합을 생성할 수 있다(713). 조합 생성에 있어 프로세서(120)는 식재료의 카테고리를 고려하여 다양한 식재료 조합 리스트를 생성할 수 있다.
구체적으로, 조합하기에 적당한 식재료(카테고리)로서 연어(단백질), 닭고기 가슴살(단백질), 양상추(잎 채소), 샐러리(잎 채소), 완두콩(탄수화물), 강낭콩(탄수화물), 사과(과일), 오렌지(과일)가 식별된 경우에 프로세서(120)는 '단백질'에 대응되는 카테고리를 갖는 식재료 2가지, '잎 채소'에 대응되는 카테고리를 갖는 식재료 2가지, '탄수화물'에 대응되는 카테고리를 갖는 식재료 2가지, '과일'에 대응되는 카테고리를 갖는 식재료 2가지에 기초하여 총 16(2의 4제곱)가지의 식재료 조합 리스트를 생성할 수 있다(1차 재료 조합 추천).
또한, 일 예에 따른 프로세서(120)는 1차 재료 조합 추천에 따른 식재료 조합 리스트에 기초하여 2차적으로 재료 조합을 추천할 수 있다. 이에 대응되는 프로세서(120)의 기능을 수행하는 모듈로서, 도 7에서는 '재료 조합 후처리 Engine(720)'으로 도시하였다. 구체적으로, 프로세서(120)는 사용자의 섭취 이력 정보(721), 식재료의 주요 영양ㆍ기능 정보(722) 및 섭취 우선순위(723)에 기초하여 최종적인 식재료 조합을 생성할 수 있다.
이 과정에서, 프로세서(120)는 1차 재료 조합 추천에 따른 식재료 조합 리스트에서 사용자가 최근에 또는 자주 섭취한 식재료를 포함하는 리스트, 식재료들의 조합에 따라 다양한 영양소를 균형 있게 섭취할 수 있거나 사용자의 건강에 이로울 것으로 예측되는 식재료를 포함하는 리스트 또는 트레이에 보관된 식재료들의 신선도 또는 잔량을 고려할 때 섭취 우선순위가 높은 식재료를 다수 포함하고 있는 리스트 중에 적어도 하나의 리스트를 포함하는 최종적인 식재료 조합을 생성할 수 있다(2차 재료 조합 추천).
여기서, 프로세서(120)의 동작에 있어서는 식재료들의 영양ㆍ기능에 관한 정보가 필요할 수 있다. 일 예에 따른 식재료들의 영양ㆍ기능에 관한 정보는 개별적인 식재료에 대응되는 영양 정보와 전자 장치(100)를 사용하는 사용자의 건강 특성에 관한 정보를 포함할 수 있다. 한편, 식재료들의 영양ㆍ기능에 관한 정보 전자 장치(100)에 구비된 메모리(미도시)에 저장되어 있거나, 외부 서버로부터 통신 인터페이스(미도시)를 통해 수신될 수 있다.
일 예에 따른 프로세서(120)는 최종적인 식재료 조합에 기초하여 다양한 추천 레시피를 제공할 수 있다. 이 과정에서 프로세서(120)는 레시피 관련 정보에 기초하여 추천 레시피를 제공할 수 있으며, 여기서 레시피 관련 정보는 특정 식재료 조합과 그에 대응되는 요리에 관한 정보를 포함할 수 있다. 한편, 레시피 관련 정보 역시 전자 장치(100)에 구비된 메모리(미도시)에 저장되어 있거나, 외부 서버로부터 통신 인터페이스(미도시)를 통해 수신될 수 있다.
구체적으로, 프로세서(120)는 최종적인 식재료 조합에 포함되며, '닭고기 가슴살', '치커리', '피클', '머스터드 소스'를 포함하는 식재료 조합에 기초하여 '닭가슴살 토르티아(701)'를, '계란', '아보카도', '파프리카', '발사믹 식초'를 포함하는 식재료 조합에 기초하여 아보카도 수란 샐러드(703)를 추천 레시피로 제공할 수 있다.
나아가, 프로세서(120)는 기 설정된 기준에 따라 다양한 추천 레시피를 그룹핑할 수 있다. 일 예에 따른 프로세서(120)는 "잔여 기간이 부족하고, 잔량이 많은 재료들을 빠르게 소진하기 위한 레시피"라는 명칭을 갖는 그룹에 잔여 기간이 부족하고, 잔량이 많아 섭취 우선순위가 상대적으로 높은 식재료들을 다수 포함하는 요리에 대응되는 레시피들을 그룹핑할 수 있다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 대체 식재료에 대한 추천 정보를 제공하는 동작을 설명하기 위한 도면이다.
도 2에서는 트레이의 모든 보관 영역에 식재료가 보관되어 있는 상태에서 대체할 식재료를 식별하여 추천하는 전자 장치(100)의 동작에 대해 설명하였으나, 도 8a 및 도 8b에서는 보관 영역 중 일부 영역에 식재료가 보관되어 있지 않은 경우 비어 있는 보관 영역에 보관할 식재료를 식별하여 추천하는 전자 장치(100)의 동작을 설명하도록 한다.
도 8a를 참조하면, 트레이에 포함된 복수의 보관 영역에 대응되는 가이드 라인 및 복수의 보관 영역에 보관된 식재료의 종류에 대응되는 텍스트를 포함하는 UI(810)가 도시되어 있다. 해당 UI(810) 상에는 식재료가 보관되어 있지 않은 2개의 보관 영역이 포함되어 있으며, 해당 UI(810)는 전자 장치(100)에 구비된 디스플레이(미도시)를 통해 제공되거나, 사용자의 단말(30)의 화면을 통해 제공될 수 있다.
비어 있는 보관 영역에 새로운 식재료를 선택하기 위해, 사용자는 다양한 식재료를 구매할 수 있다. 사용자는 구매한 식재료들에 관한 정보를 전자 장치(100)에 입력할 수 있다. 이 과정에서, 사용자는 전자 장치(100)에 구비된 디스플레이(미도시)를 통해 비어 있는 보관 영역에 보관할 식재료에 관한 정보를 입력할 수 있다. 이를 위해 디스플레이는 터치 센서를 포함하는 터치스크린으로 구현될 수 있다.
한편, 상술한 방법 이외에도 사용자는 단말(30)을 통해 구매한 식재료들을 촬영하고(820), 촬영한 이미지를 전자 장치(100)에 전송함으로써 식재료들에 관한 정보를 입력할 수 있다. 이 경우 전자 장치(100)는 통신 인터페이스(미도시)를 통해 사용자 단말(30)과 전기적으로 통신할 수 있다.
일 예에 따른 전자 장치(100)는 식재료들을 촬영한 이미지에 포함된 식재료들을 적어도 하나의 그룹으로 그룹핑할 수 있다. 구체적으로, 전자 장치(100)는 식재료의 카테고리에 기초하여 이미지에 포함된 식재료들을 그룹핑할 수 있다. 예를 들어, 전자 장치(100)는 '야채'에 대응되는 카테고리를 갖는 식재료(801, 802, 803)는 그룹 1로, '육류'에 대응되는 카테고리를 갖는 식재료(804, 805)는 그룹 2로 그룹핑할 수 있다.
여기서, 일 예에 따른 전자 장치(100)는 비어 있는 보관 영역의 수와 동일한 수의 그룹으로 식재료들을 그룹핑하고, 각 그룹 속한 식재료들에 대하여 비어 있는 보관 영역에 보관될 우선순위를 식별할 수 있다. 구체적으로, 전자 장치(100)는 트레이에 포함된 복수의 보관 영역에 보관된 식재료들의 특성 정보에 기초하여 각 그룹에 속한 식재료들에 대하여 비어 있는 보관 영역에 보관될 우선순위를 식별할 수 있다. 여기서, 식재료의 특성 정보는 식재료의 맛, 향 및 식감에 대한 정보, 식재료의 영양정보 및 해당 식재료와 어울리는 타 식재료에 관한 정보를 포함할 수 있다.
도 8b를 참조하면, 일 예에 따른 전자 장치(100)는 그룹 1에 포함된 식재료들에 대해서는 아보카도, 방울토마토, 양파 순으로 보관 영역에 보관될 우선순위를 식별할 수 있다. 한편, 전자 장치(100)는 그룹 2에 포함된 식재료들에 대해서는 안심, 연어 순으로 보관 영역에 보관될 우선순위를 식별할 수 있다.
도 8b을 참조하면, 전자 장치(100)는 식별한 우선순위에 기초하여, 동일한 그룹에서 우선순위가 높은 식재료일수록 보관 영역에 대응되는 가이드 라인 내에서 해당 식재료에 대응되는 텍스트가 위에 표시된 UI(830)를 생성할 수 있다.
이어서, 전자 장치(100)는 생성한 UI(830)을 디스플레이(미도시)를 통해 제공하거나, UI(830)에 관한 정보를 사용자 단말(30)로 전송하도록 통신 인터페이스(미도시)를 제어함으로써 사용자 단말(30)을 통해 UI(830)를 제공할 수 있다.
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 식재료에 대한 조리 과정을 나타내는 애니메이션 UI를 제공하는 동작을 설명하기 위한 도면이다.
도 9a를 참조하면, 일 예에 따른 전자 장치(100)는 식재료 별 이미지 속성을 식별할 수 있다. 여기서, 식재료 별 이미지 속성이란 식재료에 대한 조리 과정을 나타내는 애니메이션 내에서 식재료에 대한 이미지가 변화하는 특성을 의미할 수 있다.
구체적으로, 양상추(901)는 베이스 채소로서, 요리가 담길 그릇의 가장 아랫부분에 넓게 깔리는 식재료일 수 있다. 따라서, 전자 장치(100)는 양상추(901)가 다른 식재료보다 우선적으로 요리가 담길 그릇에 투하되고, 그릇에 대응되는 이미지와 양상추(901)에 대응되는 이미지가 맞닿으면, 양상추(901)에 대응되는 이미지가 적당한 반발 계수를 가지고 그릇에 대응되는 이미지와 이격되는 특성을 가진 애니메이션 UI를 제공할 수 있다.
한편, 연어 스테이크(902)는 메인 단백질로서, 요리가 담길 그릇의 가장 아랫부분에 깔리는 베이스 채소 위에 담기는 식재료일 수 있다. 따라서, 전자 장치(100)는 연어 스테이크(902)가 베이스 채소인 양상추(901)이 투하된 이후 요리가 담길 그릇에 투하되고, 양상추(901)에 대응되는 이미지와 연어 스테이크(902)에 대응되는 이미지가 맞닿으면, 두 이미지가 비탄성 충돌하는 특성을 가진 애니메이션 UI를 제공할 수 있다.
도 9b를 참조하면, 일 예에 따른 전자 장치(100)는 각 식재료별 이미지 속성에 기초하여 그릇에 여러가지 식재료가 순차적으로 투하되는 애니메이션 UI(910)를 제공할 수 있다.
한편, 사용자는 애니메이션 UI(910)가 제공된 후에, 전자 장치(100)는 그릇에 담긴 식재료들로 완성된 요리를 위에서 바라본 이미지 UI(920)를 제공할 수 있다. 레시피에 포함되지 않은 다른 식재료를 추가적으로 선택하여, 추가로 선택한 식재료가 이미 그릇에 담긴 식재료들과 어울리는 식재료인지를 확인할 수 있다. 이를 위해 전자 장치(100)는 이미 그릇에 담긴 식재료들만을 포함하는 그릇의 이미지 내에서 빈 공간을 식별하고, 식별된 빈 공간에 추가로 선택된 재료에 대응되는 이미지를 포함시킨 UI(930)를 제공할 수 있다.
이와 함께 전자 장치(100)는 추가된 식재료의 특성 정보를 UI(930)과 함께 제공할 수 있음은 물론이다. 도 9b에서 설명한 모든 UI(910, 920, 930)는 전자 장치(100)에 구비된 디스플레이(미도시)를 통해 제공될 수 있다.
도 10a 및 도 10b는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 구체적으로 설명하기 위한 블록도이다.
도 10a에 따르면, 전자 장치(100)는 카메라(110), 프로세서(120), 압력 센서(130), 디스플레이(140), 메모리(150) 및 통신 인터페이스(160)를 포함할 수 있다. 도 10a에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
카메라(110)는 복수의 카메라(111, 112) 및 광원(113)을 포함하는 카메라 모듈로 구현될 수 있다. 여기서, 카메라 모듈은 광각 카메라(111), 적외선 카메라(112) 및 광원(113)을 포함할 수 있다. 일 예에 따른 프로세서(120)는 광각 카메라(111)를 통해 획득된 이미지에 기초하여 보관 영역과 식재료 영역을 식별하고, 식재료의 식별 정보를 획득할 수 있다.
또한, 프로세서(120)는 적외선 카메라(112)를 통해 획득된 이미지에 기초하여 보관 영역에 보관된 식재료의 크기 정보를 획득할 수 있다.
일 예에 따른 광원(113)는 트레이에 보관된 식재료의 방향으로 빛을 조사하여 광각 카메라(111) 및 적외선 카메라(112)에 의한 이미지 획득을 용이하게 하는 구성이다. 광원(113)는 LED로 구현될 수 있으나, 이에 한정되지 않는다.
메모리(150)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(150)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
이 예에 따른 메모리는 적어도 하나의 신경망 모델을 저장할 수 있다. 이 경우 프로세서(120)는 메모리(150)에 저장된 신경망 모델을 통해 보관 영역에 보관된 식재료 영역에 대한 크기 정보 및 식재료의 식별 정보를 획득할 수 있다.
통신 인터페이스(160)는 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(160)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
프로세서(120)는 통신 인터페이스(160)를 통해 외부 서버 또는 사용자 단말로부터 다양한 타입의 정보를 수신할 수 있다.
도 10b에 따르면, 전자 장치(200)는 카메라(110), 프로세서(120), 압력 센서(130), 디스플레이(140), 메모리(150), 통신 인터페이스(160) 및 트레이(170)를 포함할 수 있다. 도 10b에 도시된 구성 중 도 2 및 도 10b에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
도 10a에서는 트레이(170)가 전자 장치(100)의 구성에 포함되지 않는 것으로 설명하였으나, 일 예에 따라서는 전자 장치(200)가 트레이(170)를 포함할 수 있다. 여기서, 트레이(170)는 식재료를 보관하기 위해 복수의 보관 영역으로 구분되며, 플라스틱, 유리 또는 세라믹 등 다양한 소재로 제조될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법에 따르면, 복수의 보관 영역으로 구분된 트레이를 촬영한 이미지에 기초하여 복수의 보관 영역에 대한 크기 정보를 획득한다(S1110).
이어서, S1110 단계에서 획득된 이미지를 신경망 모델에 입력하여 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보 및 복수의 식재료의 식별 정보를 획득한다(S1120).
이어서, S1120 단계에서 식별된 복수의 보관 영역에 대한 크기 정보, 복수의 식재료 영역에 대한 크기 정보 및 복수의 식재료의 식별 정보에 기초하여 복수의 식재료 중 적어도 일부의 식재료를 식별한다(S1130).
이 후, S1130 단계에서 식별된 식재료에 기초하여 추천 레시피를 제공를 포함할 수 있다(S1140).
여기서, 적어도 일부의 식재료를 식별하는 단계(S1130)에서는 복수의 식재료 영역 중에서 복수의 보관 영역 중 제1 보관 영역과 적어도 일부 중첩되는 영역을 식별하고, 중첩 영역을 포함하는 식재료 영역의 크기, 제1 보관 영역의 크기 및 중첩 영역의 크기에 기초하여 복수의 식재료 중 적어도 일부의 식재료를 식별할 수 있다.
여기서, 추천 레시피를 제공하는 단계(S1140)에서는 중첩 영역을 포함하는 식재료 영역 및 제1 보관 영역 중 상대적으로 크기가 큰 영역을 식별할 수 있다.
또한, 추천 레시피를 제공하는 단계(S1140)에서는 식별된 영역의 크기에 대한 중첩 영역의 크기 비율에 기초하여 제1 보관 영역에 보관된 식재료를 추천 레시피에 반영할지 여부를 결정할 수 있다.
한편, 추천 레시피를 제공하는 단계(S1140)에서는 트레이의 상부에서 트레이를 상이한 방향으로 촬영하도록 이격 배치되는 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 복수의 식재료 각각의 특성 정보에 기초하여 식별된 식재료의 잔량 정보를 획득할 수 있다. 또한, 추천 레시피를 제공하는 단계(S1140)에서는 식재료의 잔량 정보를 기초하여 추천 레시피를 제공할 수 있다.
여기서, 복수의 보관 영역은 기 설정된 높이를 가지고 적외선 카메라에 의해 검출 가능한 인디케이팅 라인이 상이한 높이에 표기된 형태로 구현될 수 있다. 이 경우 추천 레시피를 제공하는 단계(S1140)에서는 복수의 적외선 카메라에 의해 촬영된 복수의 이미지 각각에서 인디케이팅 라인에 기초하여 식별된 식재료의 높이 정보를 획득할 수 있다. 또한, 추천 레시피를 제공하는 단계(S1140)에서는 획득된 높이 정보에 기초하여 식재료의 크기 정보를 획득할 수 있다.
또한, 추천 레시피를 제공하는 단계(S1140)에서는 복수의 보관 영역 각각의 하부에 마련된 압력 센서에 의해 획득된 압력 정보, 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 복수의 식재료 각각의 특성 정보에 기초하여 식별된 식재료의 잔량 정보를 획득할 수 있다.
한편, 추천 레시피를 제공하는 단계(S1140)에서는 식별된 식재료의 신선도 정보 및 식별된 식재료의 잔량 정보에 기초하여 식별된 식재료의 우선순위를 식별할 수 있다. 또한, 추천 레시피를 제공하는 단계(S1140)에서는 식별된 식재료의 우선순위 및 식별된 식재료의 특성 정보에 기초하여 추천 레시피를 제공할 수 있다.
여기서, 추천 레시피를 제공하는 단계(S1140)에서는 식별된 식재료의 우선순위, 식별된 식재료의 특성 정보 및 식별된 식재료에 대한 사용자의 섭취 이력 정보에 기초하여 추천 레시피를 제공할 수 있다.
한편, 일 예에 따른 제어 방법은 식별된 신선도 정보 및 사용자의 섭취 이력 정보에 기초하여 식별된 식재료가 대체 대상으로 식별되면 복수의 식재료 중 나머지 식재료의 특성 정보에 기초하여 식별된 식재료를 대체할 추천 식재료에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.

Claims (15)

  1. 복수의 보관 영역으로 구분된 트레이의 상부에서 상기 트레이를 촬영하도록 배치된 카메라; 및
    상기 카메라에 의해 상기 트레이를 촬영한 이미지가 획득되면, 상기 이미지에 기초하여 상기 복수의 보관 영역에 대한 크기 정보를 획득하고,
    상기 이미지를 신경망 모델에 입력하여 상기 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보를 획득하고,
    상기 식별된 복수의 보관 영역에 대한 크기 정보, 상기 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하고,
    상기 식별된 식재료에 기초하여 추천 레시피를 제공하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 식재료 영역 중에서 상기 복수의 보관 영역 중 제1 보관 영역과 적어도 일부 중첩되는 영역을 식별하고,
    상기 중첩 영역을 포함하는 식재료 영역의 크기, 상기 제1 보관 영역의 크기 및 상기 중첩 영역의 크기에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 중첩 영역을 포함하는 식재료 영역 및 상기 제1 보관 영역 중 상대적으로 크기가 큰 영역을 식별하고, 상기 식별된 영역의 크기에 대한 상기 중첩 영역의 크기의 비율에 기초하여 상기 제1 보관 영역에 보관된 식재료를 상기 추천 레시피에 반영할지 여부를 결정하는, 전자 장치.
  4. 제1항에 있어서,
    상기 트레이의 상부에서 상기 트레이를 상이한 방향으로 촬영하도록 이격 배치된 복수의 적외선 카메라;를 더 포함하며,
    상기 프로세서는,
    상기 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 상기 복수의 식재료 각각의 특성 정보에 기초하여 상기 식별된 식재료의 잔량 정보를 획득하고,
    상기 식재료의 잔량 정보에 기초하여 상기 추천 레시피를 제공하는, 전자 장치.
  5. 제4항에 있어서,
    상기 복수의 보관 영역은 기 설정된 높이를 가지고 상기 적외선 카메라에 의해 검출 가능한 인디케이팅 라인이 상이한 높이에 표기된 형태로 구현되며,
    상기 프로세서는,
    상기 복수의 적외선 카메라에 의해 촬영된 복수의 이미지 각각에서 상기 인디케이팅 라인에 기초하여 식별된 식재료의 높이 정보를 획득하고,
    상기 획득된 높이 정보에 기초하여 상기 식재료의 크기 정보를 획득하는, 전자 장치.
  6. 제4항에 있어서,
    상기 복수의 보관 영역 각각의 하부에 마련된 압력 센서;를 더 포함하며,
    상기 프로세서는,
    상기 압력 센서에 의해 획득된 압력 정보, 상기 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 상기 복수의 식재료 각각의 특성 정보에 기초하여 상기 식별된 식재료의 잔량 정보를 획득하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 식재료의 신선도 정보 및 상기 식별된 식재료의 잔량 정보에 기초하여 상기 식별된 식재료의 우선순위를 식별하고,
    상기 식별된 식재료의 우선순위 및 상기 식별된 식재료의 특성 정보에 기초하여 상기 추천 레시피를 제공하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 식별된 식재료의 우선순위, 상기 식별된 식재료의 특성 정보 및 상기 식별된 식재료에 대한 사용자의 섭취 이력 정보에 기초하여 상기 추천 레시피를 제공하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 식재료의 신선도 정보 및 사용자의 섭취 이력 정보에 기초하여 상기 식별된 식재료가 대체 대상으로 식별되면, 상기 복수의 식재료 중 나머지 식재료의 특성 정보에 기초하여 상기 식별된 식재료를 대체할 추천 식재료에 대한 정보를 제공하는, 전자 장치.
  10. 제1항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 복수의 보관 영역에 대응되는 가이드 라인 및 상기 복수의 보관 영역에 보관된 식재료 이미지 및 식별 정보를 포함하는 화면을 상기 디스플레이 상에 표시하는, 전자 장치.
  11. 제1항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 추천 레시피에 기초하여 상기 식별된 식재료에 대한 조리 과정을 나타내는 애니메이션 UI를 상기 디스플레이 상에 표시하는, 전자 장치.
  12. 전자 장치의 제어 방법에 있어서,
    복수의 보관 영역으로 구분된 트레이를 촬영한 이미지에 기초하여 상기 복수의 보관 영역에 대한 크기 정보를 획득하는 단계;
    상기 이미지를 신경망 모델에 입력하여 상기 트레이에 보관된 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보를 획득하는 단계;
    상기 식별된 복수의 보관 영역에 대한 크기 정보, 상기 복수의 식재료 영역에 대한 크기 정보 및 상기 복수의 식재료의 식별 정보에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하는 단계; 및
    상기 식별된 식재료에 기초하여 추천 레시피를 제공하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 적어도 일부의 식재료를 식별하는 단계는,
    상기 복수의 식재료 영역 중에서 상기 복수의 보관 영역 중 제1 보관 영역과 적어도 일부 중첩되는 영역을 식별하는 단계; 및
    상기 중첩 영역을 포함하는 식재료 영역의 크기, 상기 제1 보관 영역의 크기 및 상기 중첩 영역의 크기에 기초하여 상기 복수의 식재료 중 적어도 일부의 식재료를 식별하는 단계;를 포함하는 제어 방법.
  14. 제13항에 있어서,
    상기 추천 레시피를 제공하는 단계는,
    상기 중첩 영역을 포함하는 식재료 영역 및 상기 제1 보관 영역 중 상대적으로 크기가 큰 영역을 식별하고, 상기 식별된 영역의 크기에 대한 상기 중첩 영역의 크기 비율에 기초하여 상기 제1 보관 영역에 보관된 식재료를 상기 추천 레시피에 반영할지 여부를 결정하는, 제어 방법.
  15. 제12항에 있어서,
    상기 추천 레시피를 제공하는 단계는,
    상기 트레이의 상부에서 상기 트레이를 상이한 방향으로 촬영하도록 이격 배치되는 복수의 적외선 카메라에 의해 촬영된 복수의 이미지에 의해 획득된 식재료의 크기 정보 및 상기 복수의 식재료 각각의 특성 정보에 기초하여 상기 식별된 식재료의 잔량 정보를 획득하고, 상기 식재료의 잔량 정보에 기초하여 상기 추천 레시피를 제공하는, 제어 방법.
PCT/KR2022/005303 2021-04-28 2022-04-12 전자 장치 및 그 제어 방법 WO2022231174A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0054820 2021-04-28
KR1020210054820A KR20220147826A (ko) 2021-04-28 2021-04-28 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2022231174A1 true WO2022231174A1 (ko) 2022-11-03

Family

ID=83848658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005303 WO2022231174A1 (ko) 2021-04-28 2022-04-12 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220147826A (ko)
WO (1) WO2022231174A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026662A (ko) * 2008-09-01 2010-03-10 엘지이노텍 주식회사 냉장고 및 그 제어방법
US20140045433A1 (en) * 2012-08-10 2014-02-13 Lg Electronics Inc. Mobile terminal and control method thereof
KR20140093045A (ko) * 2013-01-17 2014-07-25 엘지전자 주식회사 식재료 안내 방법
EP3527918A2 (en) * 2018-02-14 2019-08-21 Whirlpool Corporation Foodstuff sensing appliance
KR20210036887A (ko) * 2014-04-15 2021-04-05 엘지전자 주식회사 냉장고 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026662A (ko) * 2008-09-01 2010-03-10 엘지이노텍 주식회사 냉장고 및 그 제어방법
US20140045433A1 (en) * 2012-08-10 2014-02-13 Lg Electronics Inc. Mobile terminal and control method thereof
KR20140093045A (ko) * 2013-01-17 2014-07-25 엘지전자 주식회사 식재료 안내 방법
KR20210036887A (ko) * 2014-04-15 2021-04-05 엘지전자 주식회사 냉장고 및 그 제어 방법
EP3527918A2 (en) * 2018-02-14 2019-08-21 Whirlpool Corporation Foodstuff sensing appliance

Also Published As

Publication number Publication date
KR20220147826A (ko) 2022-11-04

Similar Documents

Publication Publication Date Title
WO2019135542A1 (en) Electronic device and method for processing information associated with food
WO2022050584A1 (ko) 이미지 기반 포장 육류 품질 분류 및 판매 방법, 장치 및 시스템
JPWO2018016214A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20080123946A1 (en) Image processing device
US20140104385A1 (en) Method and apparatus for determining information associated with a food product
US10354124B2 (en) Electronic apparatus and controlling method for improve the image quality preference of skin area
EP3258229B1 (en) Colorimetry device and colorimetry method
US20200311903A1 (en) Learned model generating method, learned model generating device, product identifying method, product identifying device, product identifying system, and measuring device
US20160321732A1 (en) Product search apparatus, product search system, server system, and product search method
EP1808680A2 (en) Measuring method and apparatus using color images
CN110914619B (zh) 食品管理系统
US9921108B2 (en) Color conversion information generating apparatus and method, and non-transitory computer readable medium
WO2022231174A1 (ko) 전자 장치 및 그 제어 방법
JP2015173891A (ja) 測定装置、画像表示装置、及びその制御方法
US11049305B2 (en) Electronic apparatus identifying image arrangement on layout, controlling method of electronic apparatus and computer readable medium
JP2020038207A (ja) 油脂劣化度測定装置、油脂劣化度測定方法及び油脂劣化度測定プログラム
US20150215568A1 (en) Controller, control method, image projection system, and image processor
KR20180112136A (ko) 식품 신선도 분석방법 및 이를 이용한 식품 신선도 분석시스템
JP2002016935A (ja) 異なる光源下におけるカラー画像データの変換方法，装置およびカラー画像データ変換のためのプログラムを記録した媒体
WO2024019327A1 (en) Method for generating a three-dimensional spectral data cube representing images of food in an appliance and apparatus for performing the same
WO2022059913A1 (ko) 전자 장치 및 그 제어 방법
CN211509130U (zh) 图像获取装置、设备及系统
JP2020057202A (ja) 提示装置及び提示方法
US11897648B2 (en) Adaptive quantitative sub-packaging method for fried rice with multiple side dishes in central kitchen and apparatus therefor
WO2022059967A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22796008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22796008

Country of ref document: EP

Kind code of ref document: A1