WO2023287131A1 - 조리 기기 및 그의 제어 방법 - Google Patents

조리 기기 및 그의 제어 방법 Download PDF

Info

Publication number
WO2023287131A1
WO2023287131A1 PCT/KR2022/010025 KR2022010025W WO2023287131A1 WO 2023287131 A1 WO2023287131 A1 WO 2023287131A1 KR 2022010025 W KR2022010025 W KR 2022010025W WO 2023287131 A1 WO2023287131 A1 WO 2023287131A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
food
image
information
history
Prior art date
Application number
PCT/KR2022/010025
Other languages
English (en)
French (fr)
Inventor
한성주
가기환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/994,212 priority Critical patent/US20230089725A1/en
Publication of WO2023287131A1 publication Critical patent/WO2023287131A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/086—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination touch control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to a cooking appliance and a control method thereof, and more particularly, to a cooking appliance for performing cooking using past cooking results of the cooking appliance and a control method thereof.
  • the cooking device may perform various cooking functions such as baking, frying, and boiling.
  • conventional cooking appliances define a predetermined cooking degree for each food item and provide the user with the predetermined cooking degree.
  • the cooking appliance When the user selects a desired degree of cooking among the provided degrees of cooking and starts cooking, the cooking appliance performs cooking according to a predetermined standard to reach the degree of cooking.
  • the present invention provides a cooking device and a control method capable of cooking food to the same degree of cooking simply by photographing a previously cooked image by a user and then selecting the previously cooked image by the user. .
  • a cooking device includes a camera that captures a cooking image by photographing food, a sensor that detects cooking-related information while the food is photographed, a display, and the camera.
  • the cooking image acquired by the sensor is matched with the information related to the cooking detected through the sensor, stored as information on the cooking history in the memory, and a UI capable of setting a cooking degree based on the stored cooking history is provided.
  • Control the display obtain cooking device control information based on the cooking-related information matched to the cooking image selected on the provided UI, and operate the cooking device to perform cooking based on the obtained cooking device control information. It includes a processor that controls
  • the information on the cooking history includes information on the type of food included in the photographed cooking image
  • the processor recognizes the type of food located in the cooking device, and the information on the cooking history Among the information on the type of food included in the food, a food that matches the type of the recognized food is identified, and when a food that matches the type of the recognized food is identified, based on a cooking image matched to the identified food, A display may be controlled to provide the UI.
  • the processor based on the cooking image included in the information on the cooking history of the food similar to the food or the cooking image of the food received from the external device
  • the display may be controlled to provide the UI.
  • the cooking image included in the cooking history may be a most recently captured cooking image or a cooking image with the longest photographing time.
  • the UI may include the captured cooking image, a progress bar capable of adjusting a shooting time point of the cooking image, and a representative thumbnail corresponding to a recommended cooking history around the progress bar.
  • the UI may sequentially provide a plurality of images corresponding to the recommended cooking history, and information related to the cooking may be included in the plurality of images.
  • the cooking appliance includes a communication interface that communicates with an external device, and when the captured cooking image is a cooking image captured with less than a critical cooking degree, the communication interface transmits a predicted cooking image after the captured cooking image to the external device. and the processor may control the display to provide the UI based on the captured cooking image and the predicted cooking image.
  • the processor recognizes the state of the food located in the cooking appliance, and if the state of the recognized food is different from the initial state of the food included in the photographed cooking image, information on the state of the recognized food
  • the cooking device control information may be obtained by inputting information related to the cooking matched to the cooking image selected on the provided UI to a learned neural network model.
  • the processor may compare cooking-related information detected while the input food is being cooked with cooking-related information matched to a cooking image selected on the provided UI, and change the obtained cooking device control information.
  • the processor recognizes the type of food in the cooking device, and if the food in the photographed cooking image and the food in the cooking device are different foods, cooking is performed according to the selected cooking degree.
  • the cooking appliance control information may be acquired to perform the cooking.
  • the method for controlling a cooking appliance includes the steps of matching a photographed cooking image and information related to cooking detected through a sensor while the cooking image is photographed and storing the photographed cooking image as information on a cooking history; Providing a UI for setting a cooking level using the cooking image stored in the cooking history; Obtaining cooking device control information based on information related to cooking matched to a cooking image selected on the provided UI; and controlling the cooking appliance to perform cooking based on the obtained cooking appliance control information.
  • the information on the cooking history may include information on the type of food included in the photographed cooking image, and the controlling of the cooking device may include recognizing the type of food located in the cooking device. Step, identifying food that matches the recognized type of food among the information on the type of food included in the information on the cooking history, and when the food that matches the recognized type of food is identified, the The method may include providing the UI based on a cooking image matched to the identified food.
  • the UI is displayed based on a cooking image included in the cooking history information of a food similar to the recognized food or a cooking image of food received from an external device. It may include providing steps.
  • the cooking image included in the cooking history may be a most recently captured cooking image or a cooking image with the longest photographing time.
  • the UI may include the captured cooking image, a progress bar capable of adjusting a shooting time point of the cooking image, and a representative thumbnail corresponding to a recommended cooking history around the progress bar.
  • the UI sequentially provides a plurality of images corresponding to the recommended cooking history, and information related to the cooking may be included in the plurality of images.
  • the providing of the UI may include receiving a cooking image predicted after the captured cooking image from an external device when the captured cooking image is a cooking image captured with less than a critical cooking degree; and providing the UI based on the captured cooking image and the predicted cooking image.
  • the method of controlling the cooking appliance may further include recognizing a state of food in the cooking appliance, and the acquiring of the control information may include the recognized state of the food included in the photographed cooking image. If it is different from the initial state of , the cooking device control information may be obtained by inputting the information on the state of the recognized food and the information related to the cooking matched to the cooking image selected on the provided UI to the learned neural network model. there is.
  • the cooking control may be partially changed if it is determined that a situation in which a similar profile should be performed is determined by comparing detected information during cooking with an existing history.
  • the cooking appliance control method compares cooking-related information detected while the food is being cooked with cooking-related information matched to a cooking image selected on the provided UI, and the obtained cooking appliance control information. can be changed.
  • the cooking appliance control method further includes recognizing a type of food located in the cooking appliance, and the acquiring of the control information includes the food in the photographed cooking image and the food located in the cooking appliance. If it is another food, cooking device control information may be acquired to perform cooking according to the selected cooking degree of elements of a common cooking state.
  • FIG. 1A is a block diagram for explaining a configuration of a cooking appliance according to an embodiment of the present disclosure.
  • FIG. 1B is a perspective view illustrating the exterior and interior of a cooking appliance according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method of obtaining a cooking image based on food type information and providing a user interface (UI).
  • UI user interface
  • FIG. 3 is a diagram for explaining a UI according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining a UI according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a method of providing a UI based on the length of a cooking image.
  • FIG. 6 is a diagram for explaining a method of providing a UI when the cooking degree of a cooking image is less than the critical cooking degree.
  • FIG. 7 is a diagram for explaining a method of providing a UI when a cooking degree of a cooking image is less than a critical cooking degree.
  • FIG. 8 is a flowchart for explaining a cooking appliance control method.
  • FIG. 9 is a sequence diagram for explaining an embodiment of controlling a cooking appliance using a user terminal device.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the presence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • a component e.g., a first component is "(operatively or communicatively) coupled with/to" another component (e.g., a second component);
  • another component e.g., a second component
  • connection to it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element).
  • an element e.g, a first element
  • another element e.g, a second element
  • it is referred to as a component different from a component. It may be understood that there are no other components (eg, a third component) between the elements.
  • the expression “configured to (or configured to)” as used in this disclosure means, depending on the situation, for example, “suitable for,” “having the capacity to.” ,” “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set) to” may not necessarily mean only “specifically designed to” hardware.
  • the phrase “device configured to” may mean that the device is “capable of” in conjunction with other devices or components.
  • the phrase “a coprocessor configured (or configured) to perform A, B, and C” may include a dedicated processor (e.g., embedded processor) to perform those operations, or one or more software programs stored in a memory device. By doing so, it may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • FIG. 1A is a block diagram for explaining the configuration of a cooking appliance 100 according to an embodiment of the present disclosure.
  • the cooking appliance 100 includes a camera 110, a sensor 120, a memory 130, a display 140, a cooking unit 150, an input interface 160, a communication interface 170, and a processor. (180).
  • the processor 180 may include a cooking history acquisition module 181, a food recognition module 182, a UI providing module 183, a control information acquisition module 184, and a cooking device control module 185.
  • the cooking appliance 100 may further include other components, and at least some of the components shown in FIG. 1A may be omitted.
  • the cooking device 100 may be an oven or a microwave oven, but this is merely an example and may be implemented as an air fryer or other cooking device.
  • the camera 110 may obtain a cooking image by photographing the food located in the cooking device 100 while the food is being cooked in the cooking device 100 .
  • the camera 110 may be located inside the cooking appliance 100 and photograph the surface of the food while the food is being cooked.
  • the sensor 120 may be located in the cooking appliance 100 as shown in FIG. 1B.
  • the sensor 120 may detect information related to cooking while food is photographed.
  • Information related to cooking includes the temperature of the surface of the food located in the cooking device 100, the moisture content of the surface of the food, the temperature inside the food, the moisture content inside the food, the temperature inside the cooking device 100, and the temperature inside the cooking device 100.
  • the sensor 120 includes a temperature probe sensor capable of measuring the temperature inside the food, a non-contact temperature sensor capable of measuring the surface temperature of the food, a temperature sensor capable of knowing the temperature inside the cooking device 100, and a cooking device. (100) It may include a humidity sensor for detecting a change in the amount of water vapor inside.
  • the sensor may be implemented as another sensor, such as a weight sensor for detecting the weight of food placed in the cooking appliance 100 or a smoke detection sensor for detecting smoke generated within the cooking appliance 100 .
  • the memory 130 may store information about a cooking history in which a photographed cooking image and information related to cooking detected through a sensor are matched.
  • information on the cooking history may be information in which a photographed cooking image and information related to cooking are time-synchronized. That is, information related to cooking synchronized with the shooting time of the cooking image may be stored in the memory 130 as information on the cooking history. For example, as the shooting time of the cooking video changes from 1 minute to 15 minutes, the temperature change data of the surface and inside of the food and the temperature change data of the inside of the cooking device 100 from 1 minute to 15 minutes are the shooting time of the cooking video. It may be synchronized with and stored in the memory 130.
  • information on the cooking history may further include a user's cooking appliance control command.
  • the cooking appliance control command may include at least one of a user's temperature control command and a driving time control command of the cooking appliance 100 .
  • the cooking history information may further include food type information and food condition information.
  • the memory 130 may store at least one instruction for executing the processor 180 .
  • the memory 130 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the memory 130 is accessed by the processor 180, and data can be read/written/modified/deleted/updated by the processor 180.
  • the term memory refers to the memory 130, a ROM (not shown) in the processor 180, a RAM (not shown), or a memory card (not shown) mounted in the cooking appliance 100 (eg, micro SD). card, memory stick).
  • the display 140 may be located outside the cooking appliance 100 .
  • the display 140 may provide a UI for setting a cooking degree using a cooking image stored in a cooking history.
  • a UI capable of setting the degree of cooking will be described in detail with reference to drawings.
  • the display 140 may be implemented as a touch screen together with a touch panel included in the input interface 160 .
  • the display 140 may display various other information.
  • the display 140 may display information about cooking time.
  • FIG. 1B is a perspective view illustrating the exterior and interior of a cooking appliance according to an embodiment of the present disclosure.
  • the cooking unit 150 may be located inside the cooking appliance 100 .
  • the cooking unit 150 may cook food according to the same set cooking control command.
  • the cooking unit may mean a heater that heats the inside of the oven or air fryer.
  • the input interface 160 may receive a user's input.
  • the user's input is a command for controlling the cooking appliance 100 and may mean an input for setting a cooking degree through a UI.
  • the control command may include at least one of a user's temperature control command and a driving time control command of the cooking appliance 100 .
  • the user's input may be an input for selecting the type and state of food located in the cooking appliance 100 .
  • the input interface 160 is implemented as a touch screen together with the touch panel of the display and may include the display 140 for receiving a user's touch and buttons and dials for receiving a user's manipulation. This is only one embodiment and the input interface 160 may be implemented in various forms.
  • the communication interface 170 may perform communication with an external device.
  • the communication interface may receive information on cooking history from an external server.
  • the communication interface is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication interface includes a Wi-Fi module, a Bluetooth module, an infrared communication module, a wireless communication module, and the like.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and the Bluetooth module perform communication using the Wi-Fi method and the Bluetooth method, respectively.
  • various types of connection information such as a service set identifier (SSID) and a session key are first transmitted and received, and various types of information can be transmitted and received after a communication connection is established using the transmitted/received information.
  • SSID service set identifier
  • the processor 180 may control overall operations and functions of the cooking appliance 100 .
  • the processor 180 may include a cooking history acquisition module 181, a food recognition module 182, a UI provision module 183, a control information acquisition module 184, and a cooking device control module 185.
  • the cooking history acquisition module 181 may acquire information about the cooking history by matching the cooking image acquired by the camera 110 with information related to cooking detected through the sensor 120 .
  • the cooking history acquisition module 181 may obtain information on the cooking history by time-synchronizing the photographed cooking image and cooking-related information. That is, the cooking history obtaining module 181 may obtain information on the cooking history by synchronizing the cooking-related information synchronized with the shooting time of the cooking image with the cooking image. For example, the cooking history acquisition module 181 changes the cooking image capture time from 1 minute to 15 minutes, and the temperature change data of the surface and inside of the food from 1 minute to 15 minutes and the temperature inside the cooking device 100 Information on the cooking history may be obtained by synchronizing the change data with the shooting time of the cooking image.
  • the food recognition module 182 may recognize the type and state of food located in the cooking appliance 100 using food images captured by the camera 110 . Specifically, the type and state of food in the cooking appliance 100 may be recognized by inputting the captured food image to the learned first neural network model. Alternatively, the food recognition module 182 may recognize the type and state of food located in the cooking appliance 100 based on a user's input for selecting the type and state of food.
  • the condition of the food may mean whether or not the food is frozen, the condition of the food, the capacity of the food, and the size of the food.
  • the learned first neural network model may be a model capable of recognizing food, type, and state information by inputting food image information.
  • the food recognition module 182 inputs a food image into an artificial intelligence model so that the type of food is chicken, the state of the food is frozen, the weight is 1 kg, and the volume is 1 kg. It can be recognized that is 1L.
  • the food recognition module 182 is located in the cooking device 100 when the user selects chicken or thawed food through the input interface 160. You can recognize the type and condition of the food present as chicken or thawed.
  • the UI provision module 183 may provide a user interface (UI) for setting a cooking degree based on a cooking history using a cooking image stored in the cooking history.
  • UI user interface
  • the control information acquisition module 184 may obtain cooking device control information for controlling the cooking device 100 based on information related to cooking matched to the cooking image selected on the provided UI.
  • the cooking appliance control information may include at least one of operating time and operating temperature of the cooking appliance 100 .
  • the selected cooking image may be an image of beef cooked in a medium state.
  • the internal temperature of beef may be 40 degrees and the external temperature may be 120 degrees.
  • the cooking appliance control information may be information for controlling the cooking appliance 100 to reach a target temperature (internal temperature of 40 degrees, external temperature of 120 degrees).
  • the control information acquisition module 184 controls the information on the state of the recognized food and cooking matched with the cooking image selected on the provided UI.
  • Cooking appliance control information may be obtained by inputting related information to the learned second neural network model. Specifically, the weight of food or whether it is frozen may vary. That is, the control information acquisition module 184 may acquire control cooking device control information so that cooking-related information has a similar value.
  • the learned second neural network model may be a model capable of obtaining control information for cooking food to correspond to the cooking-related information by inputting food state information and cooking-related information.
  • the state of food included in the cooking image may be in a defrosted state, and the state of food in the cooking device 100 may be in a frozen state.
  • the control information acquisition module 184 may acquire cooking device control information so that the surface temperature of the food included in the cooking image and the internal temperature of the food are matched. Specifically, if the food in the cooking image is heated for 10 minutes with an internal temperature of 70 degrees and a surface temperature of 80 degrees, the control information acquisition module 184 determines that the food in the cooking device 100 has an internal temperature of 70 degrees and a surface temperature of 80 degrees. Cooking device control information may be acquired so that the cooking time is longer than 10 minutes so that the temperature becomes 80 degrees.
  • the size of food located in the cooking device 100 may be larger than the size of food included in the cooking image.
  • the control information acquisition module 184 may obtain cooking information so that the food is cooked at the same cooking degree by cooking the food at a relatively higher temperature or for a longer time as the size of the food increases.
  • the obtained cooking device control information may be changed by comparing cooking-related information detected while the recognized food is being cooked with cooking-related information matched to a cooking image selected on the provided UI.
  • the food included in the cooking image and the food introduced into the cooking device have the same or similar shapes, but in the state of the food (eg, thickness of the food, moisture content of the food, initial temperature of the food, ingredients of the food) It can make a difference.
  • Cooking-related information detected while food is being cooked is compared with cooking-related information matched to a selected cooking image so that the cooking result does not differ depending on the state of the food, and the obtained cooking device control information may be changed. .
  • the cooking appliance control information obtained from information related to cooking matched to the selected cooking image may be to maintain the internal temperature of the cooking appliance at 200 degrees for 20 minutes.
  • the cooking-related information included in the selected cooking image is information that, when the internal temperature of the food is 160 degrees and the external temperature of the food is 180 degrees, cooking is completed for 5 minutes with the temperature inside the cooking device at 180 degrees.
  • the obtained cooking device control information is used to set the internal temperature of the cooking device to 180 degrees and further 5 minutes from the time when the corresponding temperature is reached.
  • Cooking device control information can be changed to cook.
  • the control information acquisition module 184 adjusts elements of a common cooking state to the selected cooking degree, so that the cooking device 100 Cooking device control information may be acquired to perform cooking.
  • the elements of a common cooking state may include at least one of crispiness, moisture content, and color of food.
  • Elements of a common cooking state may be defined differently depending on major and intermediate categories of food.
  • the food in the cooking image may be duck meat
  • the food in the cooking device 100 may be chicken.
  • the user may select a cooking image of duck meat cooked to a desired degree of cooking from among the duck meat cooking images.
  • the control information acquisition module 184 may obtain cooking device control information so as to cook chicken with a similar crispiness, moisture content, and color to the selected duck meat.
  • the cooking appliance 100 may be controlled through the cooking appliance control module 185 .
  • the cooking appliance control module 185 may control the cooking appliance 100 to perform cooking based on the obtained cooking appliance control information.
  • the cooking appliance control information may include at least one of a heating temperature, an adjustment control command, and a driving time control command of the cooking appliance 100 .
  • the cooking appliance control module 185 may control the cooking appliance 100 to operate according to the cooking appliance control information.
  • FIG. 2 is a flowchart illustrating a method of obtaining a cooking image and providing a UI based on food type information according to an embodiment of the present disclosure.
  • the UI providing module 183 may acquire food type information through the food recognition module 182 (S210).
  • the UI providing module 183 may obtain food type information including that the food is beef from the food recognition module 182 .
  • the UI providing module 183 may determine whether information on the type of food included in the stored cooking history matches information on the type of food located in the cooking device 100 (S220). For example, the UI providing module 183 may determine whether there is food identical or similar to beef, which is food type information included in the cooking history, or whether food is located in the cooking device 100 .
  • the UI providing module 183 may obtain a cooking image from the stored cooking history (S230). The UI providing module 183 may provide a UI using the acquired cooking image (S240).
  • the UI providing module 183 may obtain a cooking image from a cooking history of food of a similar type to that stored in the cooking history or may obtain a cooking image from an external device. Yes (S250). Specifically, the UI providing module 183 may obtain a cooking image of food similar to food located in the cooking device 100 from among cooking histories stored in the memory 130 . Alternatively, the UI providing module 183 may obtain a cooking image of food of the same or similar type as that of food located in the cooking device 100 from an external device. The UI provision module 183 may obtain information on cooking history of food in the cooking image together with the cooking image. The UI providing module 183 may provide a UI using the acquired cooking image (S260).
  • FIG. 3 is a diagram for explaining a UI according to an embodiment of the present disclosure.
  • the UI may include an image play area 310, a thumbnail area 320, and a progress bar area 330.
  • the image reproduction area 310 may be an area where a cooking image is reproduced. At this time, the reproduced image may be the most recently photographed cooking image or the longest photographed cooking image.
  • the cooking image is a cooking image of food corresponding to the type of food input to the cooking device 100, a cooking image of food for a type of food similar to that of food input to the cooking device 100, or a cooking image of food acquired from an external device. it could be a video.
  • the progress bar area 330 may include a progress bar on the UI.
  • a viewpoint of the cooking image may be moved to a desired viewpoint by scrolling the progress bar.
  • the progress bar is only an example, and the user can move the cooking point using a dial or button.
  • the thumbnail area 320 may be positioned around the progress bar.
  • the thumbnail area 320 may include thumbnails 321, 322, and 323 corresponding to the recommended cooking history.
  • the thumbnails 321 , 322 , and 323 may be displayed with only images, or information on cooking history may be displayed around the thumbnails 321 , 322 , and 323 .
  • rare, medium rare, medium, and well can be displayed on a representative beef thumbnail.
  • a user-set cooking temperature, internal temperature of food, and surface temperature of food may be displayed together on the representative thumbnail.
  • Thumbnails 321 , 322 , and 323 are clicked or the cooking image is moved to a desired point in time through a progress bar, so that a desired degree of cooking can be selected.
  • the recommended cooking history may be determined by information stored in the memory 130 .
  • information related to cooking for rare, medium rare, medium, and well-done may be stored in the memory 130 .
  • the beef can be cooked to reach an internal temperature of 55-60 ° C.
  • Information related to cooking for cooking according to the degree of cooking may be received from an external device.
  • Thumbnails (321, 322, 323) corresponding to the recommended cooking history can be displayed on the UI by using the information stored in the memory 130 to set the cooking time corresponding to rare, medium rare, medium, and well done on the UI as the recommended cooking history. there is.
  • the recommended cooking history may be determined according to a user's preference input. Specifically, when cooking is completed, the user may input user preference for the cooking level through the input interface 160 . A recommended cooking history may be determined based on the input user preference.
  • the recommended cooking history may be determined by learning the user's cooking history. Specifically, a representative thumbnail may be displayed on the UI using a cooking history corresponding to a cooking degree frequently cooked by the user as a recommended cooking history.
  • FIG. 4 is a diagram for explaining a UI according to an embodiment of the present disclosure.
  • the UI may sequentially provide representative images 410 , 420 , 430 , and 440 corresponding to the recommended cooking history.
  • the plurality of representative images 410 , 420 , 430 , and 440 may include information related to cooking.
  • only a plurality of representative images 410 , 420 , 430 , and 440 may be displayed, and information related to cooking corresponding to the recommended cooking history may be displayed together.
  • the degree of crispness and cooking temperature information may be displayed together on the representative image of chicken.
  • the user may select an image of a desired degree of cooking from among a plurality of images.
  • FIG. 5 is a flowchart illustrating a method of providing a UI based on the length of a cooking image according to an embodiment of the present disclosure.
  • the UI providing module 183 may determine whether the cooking degree of the cooking image is greater than or equal to a predetermined critical cooking degree (S510).
  • the predetermined threshold cooking degree may be different for each type of food.
  • the critical degree of cooking may be the length of the cooking image, the state of the cooked food, the internal temperature of the cooked food, the surface temperature of the cooked food, the color of the cooked food, and the degree of crispness of the cooked food.
  • the UI providing module 183 may provide a UI based on the cooking image (S520) if the cooking image is a cooking image captured with a threshold cooking degree or higher (S510-Y). Specifically, if the cooking degree of the captured cooking image included in the stored cooking history is equal to or greater than a preset threshold cooking degree, the UI providing module 183 may provide a UI using the cooking image included in the cooking history.
  • the UI providing module 183 determines that the cooking video is an image captured at or above the threshold cooking degree. can be judged to be
  • the UI providing module 183 may acquire a cooking image from an external device if the cooking image is a cooking image captured with less than a critical cooking degree (S510-N). Specifically, when the cooking degree of the captured cooking image included in the stored cooking history is less than a preset threshold cooking degree, a cooking image predicted after the captured cooking image may be received from an external device through the communication interface 170 .
  • the UI providing module 183 may provide a UI using images obtained by sequentially combining cooking images stored in the memory 130 .
  • the UI providing module 183 determines the cooking predicted for the cooking step after medium. Images may be received from an external device through the communication interface 170 . A UI may be provided to the user using a beef cooking image obtained by merging a beef cooking image stored in the memory 130 and a beef cooking image received from an external device (S540).
  • FIG. 6 is a diagram for explaining a method of providing a UI when a cooking degree of a cooking image is less than a critical cooking degree according to an embodiment of the present disclosure.
  • the UI providing module 183 may combine a cooking image stored in a cooking history with a cooking image received from an external device and provide a UI along with a progress bar when the cooking degree of the cooking image is less than a predetermined critical cooking degree. Thumbnails may be displayed around the progress bar.
  • the thumbnail may include a thumbnail area 610 created using a cooking image stored in the cooking history and a thumbnail area 620 created using a cooking image received from an external device.
  • the UI providing module 183 may receive a cooking image in which the cooking degree of beef is medium to well done from an external device.
  • FIG. 7 is a diagram for explaining a method of providing a UI when a cooking degree of a cooking image is less than a critical cooking degree according to an embodiment of the present disclosure.
  • the UI providing module 183 may sequentially provide representative images 711, 712, 721, and 722 by combining a cooking image stored in the cooking history and a cooking image received from an external device when the degree of the cooking image is less than a preset threshold cooking degree.
  • the UI may include an area 710 displaying a cooking image stored in a cooking history and an area 720 displaying a cooking image received from an external device.
  • Representative images 711 and 712 generated using the cooking images stored in the cooking history may be included in the area 710 displaying the cooking images stored in the cooking history.
  • Representative images 721 and 722 generated using the cooking image received from the external device may be included in the area 720 displaying the cooking image received from the external device.
  • the representative images 711 and 712 are generated using the cooking image of food similar to the food located in the cooking device 100. It can be an image.
  • the representative images 711 and 712 are created using the cooking image of the same food as the food located in the cooking device 100. It may be a generated image.
  • FIG. 8 is a flowchart illustrating a method of controlling the cooking appliance 100 according to an embodiment of the present disclosure.
  • the photographed cooking image and cooking-related information detected through the sensor 120 while the cooking image is captured may be matched and stored as information on a cooking history (S810).
  • the information on the cooking history may include information on the type of food included in the photographed cooking image.
  • the cooking image included in the cooking history may be a most recently photographed cooking image or a cooking image with the longest photographing time.
  • a UI for setting a cooking degree may be provided using a cooking image stored in the cooking history (S820).
  • the UI may include a photographed cooking image, a progress bar capable of adjusting a photographing time point of the cooking image, and a representative thumbnail corresponding to the recommended cooking history around the progress bar.
  • the UI may sequentially provide a plurality of images corresponding to the recommended cooking history, and information related to cooking may be included in the plurality of images.
  • a UI may be provided based on a cooking image matched to the identified food.
  • a cooking image included in the cooking history of the food similar to the recognized food is received from an external device.
  • a UI may be provided based on the cooking image of the prepared food.
  • the process of receiving a predicted cooking image after the captured cooking image from an external device and displaying the UI based on the captured cooking image and the predicted cooking image. can be provided.
  • Cooking device control information may be obtained based on information related to cooking matched to the cooking image selected on the provided UI (S830).
  • the state of the food located in the cooking device 100 is recognized, and if the state of the recognized food is different from the initial state of the food included in the photographed cooking image, information on the state of the recognized food and the provided UI image Control information of the cooking appliance 100 may be obtained by inputting cooking-related information matched to the cooking image selected in the learned second neural network model.
  • the type of food located in the cooking device 100 is recognized and the food in the photographed cooking image and the food located in the cooking device 100 are different foods, elements of a common cooking state are matched to the selected degree of cooking.
  • Cooking appliance control information may be acquired so that cooking is performed.
  • the cooking appliance 100 may be controlled to perform cooking based on the obtained cooking appliance control information (S840).
  • FIG. 9 is a diagram for explaining an embodiment of controlling the cooking appliance 100 using a user terminal device according to an embodiment of the present disclosure.
  • the cooking device 100 may obtain information on a cooking history by matching the photographed cooking image with cooking-related information detected through a sensor while the cooking image is captured (S910).
  • the information on the cooking history may include information on the type of food included in the photographed cooking image.
  • the cooking image included in the cooking history may be a most recently photographed cooking image or a cooking image with the longest photographing time.
  • the cooking appliance 100 may transmit information about the cooking history to the user terminal device 200 (S920).
  • the cooking appliance 100 may transmit information on the cooking history to the user terminal device 200 through a communication interface.
  • the user terminal device 200 may store the received cooking history information in a memory (S930).
  • the user terminal device 200 may display a UI through a display using a cooking image included in the received cooking history information (S940).
  • the UI may include a photographed cooking image, a progress bar capable of adjusting a photographing time point of the cooking image, and a representative thumbnail corresponding to the recommended cooking history around the progress bar.
  • the UI may sequentially provide a plurality of images corresponding to the recommended cooking history, and information related to cooking may be included in the plurality of images.
  • a UI may be provided based on a cooking image matched to the identified food.
  • a cooking image included in the cooking history of the food similar to the recognized food is received from an external device.
  • a UI may be provided based on the cooking image of the prepared food.
  • the step of receiving a predicted cooking image after the captured cooking image from an external device and the UI based on the captured cooking image and the predicted cooking image. can be provided.
  • the user terminal device 200 may receive a user's input through an input interface (S950).
  • the input interface of the user terminal device 200 may be implemented as a touch display including a touch panel or a button.
  • the user terminal device 200 may acquire cooking appliance control information (S960). Specifically, the user terminal device 200 may obtain cooking appliance control information based on cooking-related information matched to a cooking image selected on a provided UI. Here, the state of the food located in the cooking device 100 is recognized, and if the state of the recognized food is different from the initial state of the food included in the photographed cooking image, information on the state of the recognized food and the provided UI image Control information of the cooking appliance 100 may be obtained by inputting cooking-related information matched to the cooking image selected in the learned second neural network model.
  • S960 cooking appliance control information
  • Cooking appliance control information may be acquired so that cooking is performed.
  • the user terminal device 200 may transmit the acquired cooking appliance control information to the cooking appliance 100 through a communication interface (S970).
  • the cooking device 100 may perform cooking based on the received cooking device control information (S980).
  • unit or “module” used in the present disclosure includes units composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits, for example.
  • a “unit” or “module” may be an integrated component or a minimum unit or part thereof that performs one or more functions.
  • the module may be composed of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a storage medium readable by a machine (eg, a computer).
  • the machine may receive instructions stored from the storage medium.
  • a device capable of calling and operating according to the called command it may include an electronic device according to the disclosed embodiments (for example, the cooking appliance 100.)
  • the processor When the command is executed by a processor, the processor directly: Alternatively, a function corresponding to the command may be performed using other components under the control of the processor.
  • a command may include a code generated or executed by a compiler or an interpreter.
  • a storage medium readable by a device may include: , It can be provided in the form of a non-transitory storage medium, where 'non-transitory' means that the storage medium does not contain a signal and is tangible, and data is stored on the storage medium. It does not distinguish between semi-permanent and temporary storage.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • an application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • Each component may be composed of a single object or a plurality of objects, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. It may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or at least some operations are executed in a different order, are omitted, or other operations are added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Food Science & Technology (AREA)
  • Human Computer Interaction (AREA)
  • Electric Ovens (AREA)

Abstract

조리 기기가 개시된다. 본 조리 기기는 음식물을 촬영하여 조리 영상을 촬영하는 카메라, 음식물이 촬영되는 동안 조리와 관련된 정보를 감지하는 센서, 디스플레이, 메모리, 및 프로세서를 포함하고, 프로세서는 카메라에 의해 획득된 조리 영상 및 센서를 통해 감지된 조리와 관련된 정보를 매칭하여 메모리에 조리 이력에 대한 정보로 저장하고, 저장된 조리 이력에 대한 정보를 바탕으로 조리 정도를 설정할 수 있는 UI를 제공하도록 디스플레이를 제어하고, 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보에 기초하여 조리 기기 제어 정보를 획득하고, 획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 조리 기기를 제어한다.

Description

조리 기기 및 그의 제어 방법
본 발명은 조리 기기 및 그 제어 방법에 관한 것으로, 보다 구체적으로 조리 기기의 과거 조리 결과를 이용하여 조리를 수행하는 조리 기기 및 그 제어 방법에 관한 것이다.
조리 기기는 굽기, 튀기기, 끓이기 등 다양한 조리 기능을 수행할 수 있다. 일반적으로 종래의 조리 기기는 식품별로 사전에 정해진 조리 정도를 정의하고, 기 정의된 조리 정도를 사용자에게 제공하였다.
사용자는 제공된 조리 정도 중 원하는 정도를 선택하고 조리를 시작하면, 조리 기기는 해당 조리 정도에 도달하기 위해 사전에 정해진 기준에 따라 조리를 수행하였다.
그러나, 이러한 종래의 조리 기기는 보편적인 관점에서 정의된 조리 정도를 제공하는 것으로 사용자 별로 다양한 성향을 만족시켜 사용자 별로 원하는 조리 정도를 제공할 수가 없는 문제점이 있다.
따라서, 사용자가 설정한 조리 정도에 따라 조리를 수행한 후 완성된 조리물을 사용자가 확인한 후, 조리 정도가 부족하면 추가적인 조리를 수행하거나, 조리 정도가 과하면 더 이상 그러한 조리 정도를 사용하지 않는 문제점이 있다.
또한, 사용자는 원하는 조리 정도에 맞게 조리 기기를 설정하여 조리를 수행하더라도 다음 조리시에 별도로 조리 기기를 재설정하여 조리를 수행해야 하는 불편함이 있고, 이전의 음식물과 상태가 다르거나 다른 음식물인 경우에 동일한 조리 정도를 얻기 위한 조리 기기 설정 값을 알 수 없는 문제점이 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 배경 정보이다. 상술한 정보는 본 개시에 대한 선행 기술로서 결정되거나 주장되지 않는다.
본 발명은 종래의 문제점을 해소하기 위해 사용자가 기존에 조리한 영상을 촬영하여 이후 사용자가 이전에 조리한 영상을 선택하는 것만으로 동일한 조리 정도로 음식물을 조리할 수 있는 조리 기기 및 제어 방법을 제공한다.
본 개시의 기술적 사상이 해결하고자 하는 과제는, 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 조리 기기는 음식물을 촬영하여 조리 영상을 획득하는 카메라, 상기 음식물이 촬영되는 동안 조리와 관련된 정보를 감지하는 센서, 디스플레이 및 상기 카메라에 의해 획득된 조리 영상 및 상기 센서를 통해 감지된 상기 조리와 관련된 정보를 매칭하여 상기 메모리에 조리 이력에 대한 정보로 저장하고, 상기 저장된 조리 이력을 바탕으로 조리 정도를 설정할 수 있는 UI를 제공하도록 상기 디스플레이를 제어하고, 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보에 기초하여 조리 기기 제어 정보를 획득하고, 상기 획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 상기 조리 기기를 제어하는 프로세서를 포함한다.
여기서, 상기 조리 이력에 대한 정보는 상기 촬영된 조리 영상에 포함된 상기 음식물의 유형에 대한 정보를 포함하고, 상기 프로세서는 상기 조리 기기 내에 위치하는 음식물의 유형을 인식하고, 상기 조리 이력에 대한 정보에 포함된 음식물의 유형에 대한 정보 중 상기 인식된 음식물의 유형과 매칭되는 음식물을 식별하고, 상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되면, 상기 식별된 음식물에 매칭된 조리 영상을 바탕으로 상기 UI를 제공하도록 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는 상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되지 않으면, 상기 음식물과 유사한 음식물의 조리 이력에 대한 정보에 포함된 조리 영상 또는 외부 장치로부터 수신된 음식물에 대한 조리 영상을 바탕으로 상기 UI를 제공하도록 상기 디스플레이를 제어할 수 있다.
상기 조리 이력에 포함된 상기 조리 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상일 수 있다.
한편, 상기 UI는, 상기 촬영된 조리 영상 및 상기 조리 영상의 촬영 시점을 조절할 수 있는 프로그레스바 및 상기 프로그레스바 주위에 추천 조리 이력에 대응되는 대표 썸네일을 포함할 수 있다.
또한, 상기 UI는 추천 조리 이력에 대응되는 복수의 이미지를 순차적으로 제공하며, 상기 복수의 이미지 내에는 상기 조리와 관련된 정보가 포함되어 있을 수 있다.
상기 조리기기는 외부 장치와 통신하는 통신 인터페이스를 포함하고, 상기 촬영된 조리 영상이 임계 조리 정도 미만으로 촬영된 조리 영상인 경우, 상기 통신 인터페이스는 상기 촬영된 조리 영상 이후 예측되는 조리 영상을 외부 장치로부터 수신하고, 프로세서는 상기 촬영된 조리 영상 및 상기 예측되는 조리 영상을 바탕으로 상기 UI를 제공하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는 상기 조리 기기 내에 위치하는 상기 음식물의 상태를 인식하고, 상기 인식된 음식물의 상태가 상기 촬영된 조리 영상에 포함된 상기 음식물의 초기 상태와 상이하면, 상기 인식된 음식물의 상태에 대한 정보 및 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보를 학습된 신경망 모델에 입력하여 상기 조리 기기 제어 정보를 획득할 수 있다.
상기 프로세서는 상기 투입된 음식물이 조리되는 동안 감지된 조리와 관련된 정보와 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보를 비교하여, 획득된 조리 기기 제어 정보를 변경할 수 있다.
상기 프로세서는 상기 조리 기기 내에 위치하는 음식물의 유형을 인식하고, 상기 촬영된 조리 영상 내의 음식물과 상기 조리 기기 내에 위치하는 음식물이 다른 음식이면, 공통적인 조리 상태의 요소를 선택된 조리 정도에 맞추어 조리를 수행하도록 상기 조리 기기 제어 정보를 획득할 수 있다.
또한, 본 개시의 일 실시예에 따른 조리 기기 제어 방법은 촬영된 조리 영상 및 상기 조리 영상이 촬영되는 동안 센서를 통해 감지된 조리와 관련된 정보를 매칭하여 조리 이력에 대한 정보로 저장하는 단계, 상기 조리 이력에 저장된 상기 조리 영상을 이용하여 조리 정도를 설정할 수 있는 UI를 제공하는 단계, 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보에 기초하여 조리 기기 제어 정보를 획득하는 단계, 및 상기 획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 상기 조리 기기를 제어하는 단계를 포함할 수 있다.
상기 조리 이력에 대한 정보는, 상기 촬영된 조리 영상에 포함된 상기 음식물의 유형에 대한 정보를 포함할 수 있고, 상기 조리 기기를 제어하는 단계는, 상기 조리 기기 내에 위치하는 음식물의 유형을 인식하는 단계, 상기 조리 이력에 대한 정보에 포함된 상기 음식물의 유형에 대한 정보 중 상기 인식된 음식물의 유형과 매칭되는 음식물을 식별하는 단계, 및 상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되면, 상기 식별된 음식물에 매칭된 조리 영상을 바탕으로 상기 UI를 제공하는 단계를 포함할 수 있다.
상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되지 않으면, 상기 인식된 음식물과 유사한 음식물의 조리 이력에 대한 정보에 포함된 조리 영상 또는 외부 장치로부터 수신된 음식물에 대한 조리 영상을 바탕으로 상기 UI를 제공하는 단계를 포함할 수 있다.
상기 조리 이력에 포함된 상기 조리 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상일 수 있다.
상기 UI는, 상기 촬영된 조리 영상 및 상기 조리 영상의 촬영 시점을 조절할 수 있는 프로그레스바 및 상기 프로그레스바 주위에 추천 조리 이력에 대응되는 대표 썸네일을 포함할 수 있다.
상기 UI는 추천 조리 이력에 대응되는 복수의 이미지를 순차적으로 제공하며, 상기 복수의 이미지 내에는 상기 조리와 관련된 정보가 포함할 수 있다.
상기 UI를 제공하는 단계는, 상기 촬영된 조리 영상이 임계 조리 정도 미만으로 촬영된 조리 영상인 경우, 상기 촬영된 조리 영상 이후 예측되는 조리 영상을 외부 장치로부터 수신하는 단계; 및 상기 촬영된 조리 영상 및 상기 예측되는 조리 영상을 바탕으로 상기 UI를 제공하는 단계를 포함할 수 있다.
상기 조리 기기 제어방법은 상기 조리 기기 내에 위치하는 음식물의 상태를 인식하는 단계를 더 포함하고, 상기 제어 정보를 획득하는 단계는, 상기 인식된 음식물의 상태가 상기 촬영된 조리 영상에 포함된 상기 음식물의 초기 상태와 상이하면, 상기 인식된 음식물의 상태에 대한 정보 및 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보를 학습된 신경망 모델에 입력하여 상기 조리 기기 제어 정보를 획득할 수 있다.
또한, 선택된 기존 조리이력에서 조리 중에 관측되어 기록된 감지 정보(영상 및 각종 센서정보)와 비교하여 형상은 동일하거나 유사하지만, 음식물의 상태(두께 차이, 수분 차이, 초기 온도 차이, 성분 차이 등)의 차이에 따른 조리 결과의 차이가 없도록 만들기 위해, 조리 진행 중의 감지 정보를 기존 이력과 비교하여 유사한 프로파일로 진행되어야 하는 상황으로 판단한다면, 부분적으로 조리 제어를 변경할 수도 있을 것이다. 또한 상기 조리 기기 제어 방법은 상기 투입된 음식물 상기 음식물이 조리되는 동안 감지된 조리와 관련된 정보와 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보를 비교하여, 상기 획득된 조리 기기 제어 정보를 변경할 수 있다.
상기 조리 기기 제어방법은 상기 조리 기기 내에 위치하는 음식물의 유형을 인식하는 단계를 더 포함하고, 상기 제어 정보를 획득하는 단계는, 상기 촬영된 조리 영상 내의 상기 음식물과 상기 조리 기기내에 위치하는 상기 음식물이 다른 음식이면, 공통적인 조리 상태의 요소를 선택된 조리 정도에 맞추어 조리를 수행하도록 조리 기기 제어 정보를 획득할 수 있다.
본 개시의 특정 실시 예의 상기 측면 및 다른 측면, 첨부된 도면과 함께 다음의 상세한 설명으로부터 명백해질 것이다.
도1a는 본 개시의 일 실시예에 따른 조리 기기의 구성을 설명하기 위한 블록도이다.
도1b는 본 개시의 일 실시예에 따른 조리 기기 외부와 내부를 나타내는 사시도이다.
도2는 음식물의 유형 정보를 바탕으로 조리 영상을 획득하고 User Interface(UI)를 제공하는 방법을 설명하기 위한 흐름도이다.
도3은 본 개시의 일 실시예에 따른 UI를 설명하기 위한 도면이다.
도4는 본 개시의 일 실시예에 따른 UI를 설명하기 위한 도면이다.
도5는 조리 영상의 길이를 바탕으로 UI를 제공하는 방법을 설명하기 위한 흐름도이다.
도6은 조리 영상의 조리 정도가 임계 조리 정도 미만인 경우 UI를 제공하는 방법을 설명하기 위한 도면이다.
도7은 조리 영상의 조리 정도가 임계 조리 정도 미만인 경우 UI를 제공하는 방법을 설명하기 위한 도면이다.
도8은 조리 기기 제어 방법을 설명하기 위한 흐름도이다.
도9는 사용자 단말 장치를 활용하여 조리 기기를 제어하는 실시예를 설명하기 위한 시퀀스도이다.
첨부된 도면을 참조하는 하기 설명은 청구항 및 이의 균등물에 의해 정의되는 본 개시의 다양한 실시 예에 대한 포괄적인 이해를 돕기 위해 제공된다. 이는 이해를 돕기 위한 다양한 구체적인 세부 사항을 포함하지만, 이는 단지 예시에 불과하다. 이에 따라, 당업자는 본 개시의 범위 및 사상을 벗어나지 않으면서 기재된 다양한 실시 예에 대한 변경 및 수정이 가능하다는 것을 인식할 수 있다. 또한, 명확성과 간결성을 위해 알려진 기능 및 구성에 대한 설명은 생략될 수 있다.
하기 설명 및 청구 범위에서 사용되는 용어 및 단어는 문헌상의 의미에 한정되지 않으며, 본 개시의 명확하고 일관된 가능하기 위해 발명자에 의해 사용되는 것에 불과하다. 이에 따라, 본 개시의 다양한 실시 예에 대한 하기 설명은 단지 예시적으로만 제공되며, 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시를 제한하기 위한 것이 아님은 당업자에게 명백하다.
단수 형태 “a”, “an” 및 “the”는 문맥이 명백하기 달리 지시하지 않는 한, 복수의 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어, “구성요소 표면”에 대한 언급은 하나 이상의 표면을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
이하, 본 발명의 실시예들을 첨부된 도면을 참조하여 상세히 설명한다.
도1a는 본 개시의 일 실시예에 따른 조리 기기(100)의 구성을 설명하기 위한 블록도이다.
도1a를 참조하면, 조리 기기(100)는 카메라(110), 센서(120), 메모리(130), 디스플레이(140), 조리부(150), 입력 인터페이스(160), 통신 인터페이스(170), 프로세서(180)를 포함할 수 있다. 이 때, 프로세서(180)는 조리 이력 획득 모듈(181), 음식물 인식 모듈(182), UI제공 모듈(183), 제어 정보 획득 모듈(184), 조리 기기 제어 모듈(185)를 포함할 수 있다. 한편 조리 기기(100)는 다른 구성요소를 더 포함할 수 있으며, 도1a의 구성요소 중 적어도 일부가 생략될 수도 있다. 여기서 조리 기기(100)는 오븐, 전자레인지일 수 있으나, 이는 일 실시예에 불과할 뿐, 에어 프라이어나 다른 조리 장치로 구현될 수 있다.
카메라(110)는 음식물이 조리 기기(100) 내에서 조리되는 동안 조리 기기(100) 내에 위치한 음식물을 촬영하여 조리 영상을 획득할 수 있다. 이때, 카메라(110)는 조리 기기(100)의 내부에 위치하여 음식물이 조리되는 동안 음식물의 표면을 촬영할 수 있다.
센서(120)는 도1b에 도시된 바와 같이 조리 기기(100) 내에 위치할 수 있다. 센서(120)는 음식물이 촬영되는 동안 조리와 관련된 정보를 감지할 수 있다. 조리와 관련된 정보는 조리 기기(100) 내에 위치한 음식물 표면의 온도, 음식물 표면의 수분 함량, 음식물 내부의 온도, 음식물 내부의 수분 함량, 조리 기기(100) 내부의 온도, 조리 기기(100) 내부의 습도를 포함할 수 있다. 따라서, 센서(120)는 음식물 내부의 온도를 측정할 수 있는 온도 프로브 센서, 음식물의 표면 온도를 측정할 수 있는 비접촉 온도 센서, 조리 기기(100) 내부의 온도를 알 수 있는 온도 센서, 조리 기기(100) 내부의 수증기량의 변화를 감지하는 습도 센서 등을 포함할 수 있다. 다른 실시예에 따르면, 센서는 조리 기기(100) 내에 위치한 음식물의 중량을 감지하는 중량 센서 또는 조리 기기(100) 내에 발생한 연기를 감지하는 연기 감지 센서와 같은 다른 센서로 구현될 수 있다.
메모리(130)는 촬영된 조리 영상과 센서를 통해 감지된 조리와 관련된 정보가 매칭된 조리 이력에 대한 정보를 저장할 수 있다. 구체적으로, 조리 이력에 대한 정보는 촬영된 조리 영상 및 조리와 관련된 정보가 시간 동기화된 정보일 수 있다. 즉, 조리 영상의 촬영 시점과 동기화된 조리와 관련된 정보가 조리 이력에 대한 정보로서 메모리(130)에 저장될 수 있다. 예를 들면, 조리 영상의 촬영 시점이 1분에서 15분으로 변화하면서 1분에서 15분까지의 음식물 표면과 내부의 온도 변화 데이터와 조리 기기(100) 내부의 온도 변화 데이터가 조리 영상의 촬영 시점과 동기화되어 메모리(130)에 저장될 수 있다.
한편, 조리 이력에 대한 정보는 사용자의 조리 기기 제어 명령을 더 포함할 수 있다. 이 때, 조리 기기 제어 명령은 사용자의 온도 조절 제어 명령, 조리 기기(100)의 구동 시간 제어 명령 중 적어도 하나를 포함할 수 있다. 또한, 조리 이력에 대한 정보는 음식물의 유형 정보, 음식물의 상태 정보를 더 포함할 수 있다.
메모리(130)는 프로세서(180)를 실행하기 위한 적어도 하나의 명령어를 저장할 수 있다.
메모리(130)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(130)는 프로세서(180)에 의해 액세스되며, 프로세서(180)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(130), 프로세서(180) 내 롬(미도시), 램(미도시) 또는 조리 기기(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
디스플레이(140)는 도1b에 도시된 바와 같이 조리 기기(100)의 외부에 위치할 수 있다. 디스플레이(140)는 조리 이력에 저장된 조리 영상을 이용하여 조리 정도를 설정할 수 있는 UI를 제공할 수 있다. 조리 정도를 설정할 수 있는 UI는 도면을 참조하여 상세히 설명하기로 한다.
디스플레이(140)는 입력 인터페이스(160)에 포함된 터치 패널과 함께 터치 스크린으로 구현될 수 있다.
디스플레이(140)는 그밖에 다양한 정보들을 표시할 수 있다. 예를 들어, 디스플레이(140)는 조리 시간에 대한 정보 등을 표시할 수 있다.
도 1b는 본 개시의 일 실시예에 따른 조리 기기 외부와 내부를 나타내는 사시도이다.
조리부(150)는 도1b에 도시된 바와 조리 기기(100) 내부에 위치할 수 있다. 조리부(150)는 같이 설정된 조리 제어 명령에 따라 음식물을 조리할 수 있다. 구체적으로, 조리 기기(100)가 오븐 또는 에어프라이어인 경우 조리부는 오븐 또는 에어프라이어의 내부를 가열하는 히터를 의미할 수 있다.
입력 인터페이스(160)는 사용자의 입력을 수신할 수 있다. 특히, 사용자의 입력은 조리 기기(100) 제어를 위한 명령으로서 UI를 통해 조리 정도를 설정하기 위한 입력을 의미할 수 있다.
제어 명령은 사용자의 온도 조절 제어 명령, 조리 기기(100)의 구동 시간 제어 명령 중 적어도 하나를 포함할 수 있다. 또한, 사용자의 입력은 조리 기기(100) 내에 위치하고 있는 음식물의 유형과 상태를 선택하는 입력일 수 있다.
입력 인터페이스(160)는 디스플레이의 터치 패널과 함께 터치 스크린으로 구현되어 사용자 터치를 입력받기 위한 디스플레이(140) 및 사용자 조작을 입력받기 위한 버튼, 다이얼을 포함할 수 있다. 이는 일 실시예일 뿐이고입력 인터페이스(160)는 다양한 형태로 구현될 수 있다.
통신 인터페이스(170)는 외부 장치와 통신을 수행할 수 있다. 특히 통신 인터페이스는 외부 서버로부터 조리 이력에 대한 정보를 수신할 수 있다.
통신 인터페이스는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다. 와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 service set identifier(SSID) 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
프로세서(180)는 조리 기기(100)의 전반적인 동작 및 기능을 제어할 수 있다. 프로세서(180)는 조리 이력 획득 모듈(181), 음식물 인식 모듈(182), UI제공 모듈(183), 제어 정보 획득 모듈(184), 조리 기기 제어 모듈(185)를 포함할 수 있다.
조리 이력 획득 모듈(181)은 카메라(110)에 의해 획득된 조리 영상 및 센서(120)를 통해 감지된 조리와 관련된 정보를 매칭하여 조리 이력에 대한 정보를 획득할 수 있다. 구체적으로, 조리 이력 획득 모듈(181)은 촬영된 조리 영상 및 조리와 관련된 정보를 시간 동기화시켜 조리 이력에 대한 정보를 획득할 수 있다. 즉, 조리 이력 획득 모듈(181)은 조리 영상의 촬영 시점과 동기화된 조리와 관련된 정보를 조리 영상과 동기화시켜 조리 이력에 대한 정보를 획득할 수 있다. 예를 들어, 조리 이력 획득 모듈(181)은 조리 영상의 촬영 시점이 1분에서 15분으로 변화하면서 1분에서 15분까지의 음식물 표면과 내부의 온도 변화 데이터와 조리 기기(100) 내부의 온도 변화 데이터를 조리 영상의 촬영 시점과 동기화시켜 조리 이력에 대한 정보가 획득될 수 있다.
음식물 인식 모듈(182)은 카메라(110)에 의해 촬영된 음식물 영상을 이용하여 조리 기기(100) 내에 위치한 음식물의 유형과 상태를 인식할 수 있다. 구체적으로, 촬영된 음식물 영상을 학습된 제1 신경망 모델에 입력하여 조리 기기(100) 내의 음식물의 유형과 상태가 인식될 수 있다. 또는, 음식물 인식 모듈(182)는 음식물의 유형과 상태를 선택하는 사용자의 입력을 바탕으로 조리 기기(100) 내에 위치한 음식물의 유형과 상태를 인식할 수 있다. 음식물의 상태는 음식물의 냉동여부, 음식물의 상태, 음식물의 용량, 음식물의 크기를 의미할 수 있다. 학습된 제1 신경망 모델은 음식물 영상 정보를 입력하여 음식물과 유형과 상태 정보를 인식할 수 있는 모델일 수 있다.
예를 들어, 음식물 인식 모듈(182)는 조리 기기(100) 내에 음식물이 투입되면 음식물 영상을 인공지능 모델에 입력하여 음식물의 유형이 닭고기이고, 음식물의 상태는 냉동 상태이고, 중량은 1kg, 부피는 1L임을 인식할 수 있다. 예를 들어, 음식물 인식 모듈(182)은 사용자가 입력 인터페이스(160)를 통해 조리 기기(100) 내에 위치하고 있는 음식을 닭고기, 해동이라고 선택하면 음식물 인식 모듈(182)은 조리 기기(100) 내에 위치하고 있는 음식의 유형과 상태를 닭고기, 해동이라고 인식할 수 있다.
UI 제공 모듈은(183)은 조리 이력에 저장된 조리 영상을 이용하여 조리 이력을 바탕으로 조리 정도를 설정할 수 있는 User Interface(UI)를 제공할 수 있다. 조리 정도를 설정할 수 있는 UI는 이후 도 2 내지 7을 상세히 참조하여 상세히 설명하기로 한다.
제어 정보 획득 모듈(184)은 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보에 기초하여 조리 기기(100)를 제어하기 위한 조리 기기 제어 정보를 획득할 수 있다. 조리 기기 제어 정보는 조리 기기(100)의 작동 시간, 작동 온도 중 적어도 하나를 포함할 수 있다.
예를 들어, 선택된 조리 영상은 소고기가 미디엄 상태로 조리된 영상일 수 있다. 선택된 조리 영상과 매칭된 조리와 관련된 정보는 소고기의 내부 온도는 40도, 외부온도는 120도 일 수 있다. 이 때 조리 기기 제어 정보는 음식물이 목표 온도(내부 온도 40도, 외부온도 120도)에 도달하기 위해 조리 기기(100)를 제어하기 위한 정보일 수 있다.
제어 정보 획득 모듈(184)은 인식된 음식물의 상태가 촬영된 조리 영상에 포함된 음식물의 초기 상태와 상이하면, 인식된 음식물의 상태에 대한 정보 및 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보를 학습된 제2 신경망 모델에 입력하여 조리 기기 제어 정보를 획득할 수 있다. 구체적으로, 음식물의 중량이나 냉동 여부가 달라질 수 있다. 즉, 제어 정보 획득 모듈(184)은 조리와 관련된 정보가 유사한 값을 가지도록 제어 조리 기기 제어 정보를 획득할 수 있다. 여기서, 학습된 제2 신경망 모델은 음식물의 상태 정보와 조리와 관련된 정보를 입력하여 음식물이 조리와 관련된 정보에 대응되도록 조리되기 위한 제어 정보를 획득할 수 있는 모델일 수 있다.
예를 들어, 조리 영상에 포함된 음식물의 상태는 해동 상태이고 조리 기기(100) 내에 위치하는 음식물의 상태는 냉동 상태일 수 있다. 제어 정보 획득 모듈(184)은 조리 영상에 포함된 음식물의 음식물 표면 온도와 음식물 내부 온도와 일치되도록 조리 기기 제어 정보를 획득할 수 있다. 구체적으로, 조리 영상의 음식물이 내부 온도가 70도, 표면 온도가 80도 상태에서, 10분간 가열되었다면, 제어 정보 획득 모듈(184)은 조리 기기(100) 내의 음식물이 내부 온도가 70도, 표면 온도가 80도가 되도록 조리 시간을 10분보다 더 길게 조리하도록 조리 기기 제어 정보 획득할 수 있다.
예를 들어, 조리 영상에 포함된 음식물의 크기보다 조리 기기(100) 내에 위치하는 음식물의 크기가 더 클 수 있다. 제어 정보 획득 모듈(184)은 음식물의 크기가 클수록 상대적으로 온도를 더 높게 조리하거나 더 길게 조리하여 같은 조리 정도로 조리가 되도록 조리 정보를 획득할 수 있다.
또한, 인식된 음식물이 조리되는 동안 감지된 조리와 관련된 정보와 상기 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보를 비교하여, 획득된 조리 기기 제어 정보를 변경할 수 있다. 구체적으로, 조리 영상 내에 포함된 음식물과 조리 기기 내에 투입된 음식물은 형상이 동일하거나 유사하지만, 음식물의 상태(예를 들어, 음식물의 두께, 음식물의 수분 함량, 음식물의 초기 온도, 음식물의 성분)에서 차이가 날 수 있다. 음식물의 상태에 따라 조리 결과가 차이가 나지 않도록 조리 기기 내에 투입된 음식물이 조리 되는 동안 감지되는 조리와 관련된 정보를 선택된 조리 영상에 매칭된 조리와 관련된 정보 비교하여 획득된 조리 기기 제어 정보를 변경할 수 있다.
예를 들어, 선택된 조리 영상에 매칭된 조리와 관련된 정보로부터 획득된 조리 기기 제어 정보는 조리 기기 내부의 온도를 200도를 20분간 유지하는 것일 수 있다. 여기서, 선택된 조리 영상에 포함된 조리와 관련된 정보는 음식물의 내부 온도가 160도, 음식물의 외부 온도가 180도 일 때, 조리 기기 내의 온도를 180도인 상태로 5분 더 조리하여 조리를 완료하는 정보일 수 있다. 이 경우, 조리 기기에 투입된 음식물의 내부 온도가 160도, 외부 온도가 180도인 것으로 감지되면, 획득된 조리 기기 제어 정보를 조리 기기 내부의 온도를 180도, 해당 온도에 도달한 시점으로부터 5분간 더 조리하도록 조리 기기 제어 정보를 변경할 수 있다.
따라서, 선택된 조리 이력에 따라 획득된 조리 제어 정보에 따라 조리하더라도 조리 정도가 일부 차이가 날 수 있는 한계가 있으나, 조리 기기에 투입된 음식물의 조리 과정 중 감지된 조리 이력 정보를 활용하여 조리 기기 제어 정보를 변경함으로써 사용자가 선택한 조리 정도를 더욱 정확하게 구현할 수 있다.
구체적으로, 촬영된 조리 영상 내의 음식물과 조리 기기(100) 내에 위치하는 음식물이 다른 음식이면, 제어 정보 획득 모듈(184)은 공통적인 조리 상태의 요소를 선택된 조리 정도에 맞추어 조리 기기(100)가 조리를 수행하도록 조리 기기 제어 정보를 획득할 수 있다. 예를 들어, 공통적인 조리 상태의 요소는 음식물의 바삭함 정도, 수분 함량 정도, 색감 중 적어도 하나를 포함할 수 있다. 공통적인 조리 상태의 요소는 음식물의 대분류 및 중분류 등에 따라 서로 다르게 정의될 수 있다.
예를 들어, 조리 영상 내의 음식물은 오리고기이고, 조리 기기(100) 내의 음식물은 닭고기 일 수 있다. 사용자는 오리 고기의 조리 영상에서 원하는 조리 정도로 조리가 된 오리 고기의 조리 이미지를 선택할 수 있다. 제어 정보 획득 모듈(184)은 선택된 오리고기와 바삭함, 수분 함량 정도, 색감이 유사하게 닭고기를 조리하도록 조리 기기 제어 정보를 획득할 수 있다.
조리 기기 제어 모듈(185)은 통해 조리 기기(100)를 제어할 수 있다. 조리 기기 제어 모듈(185)는 획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 조리 기기(100)를 제어할 수 있다. 조리 기기 제어 정보는 가열 온도, 조절 제어 명령, 조리 기기(100)의 구동 시간 제어 명령 중 적어도 하나를 포함할 수 있다.
조리 기기 제어 모듈(185)는 조리 기기 제어 정보에 따라 조리 기기(100)가 작동하도록 조리 기기(100)를 제어할 수 있다.
도2는 본 개시의 일 실시예에 따른 음식물의 유형 정보를 바탕으로 조리 영상을 획득하고 UI를 제공하는 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, UI 제공 모듈(183)은 음식물 인식 모듈(182)을 통해 음식물 유형 정보를 획득할 수 있다.(S210)
예를 들어, UI 제공 모듈(183)은 음식물 인식 모듈(182)로부터 음식물이 소고기임을 포함하는 음식물 유형 정보를 획득할 수 있다.
UI 제공 모듈(183)은 저장된 조리 이력에 포함된 음식물의 유형 정보와 조리 기기(100) 내에 위치하는 음식물의 유형 정보가 일치하는지 여부를 판단할 수 있다(S220). 예를 들어, UI 제공 모듈(183)은 조리 이력에 포함된 음식물의 유형 정보인 소고기와 동일하거나 유사한 음식물이 있는지 조리 기기(100) 내에 위치하는지 판단할 수 있다.
유형 정보가 일치한다고 판단되면(S220-Y), UI 제공 모듈(183)은 저장된 조리 이력으로부터 조리 영상을 획득할 수 있다(S230). UI 제공 모듈(183)은 획득된 조리 영상을 이용하여 UI를 제공할 수 있다(S240).
유형정보가 일치하지 않는다고 판단되면(S220-N), UI 제공 모듈(183)은 조리 이력에 저장된 음식물과 유사한 유형의 음식물에 대한 조리 이력으로부터 조리 영상을 획득하거나 외부 장치로부터 조리 영상을 획득할 수 있다(S250). 구체적으로, UI 제공 모듈(183)은 메모리(130)에 저장된 조리 이력 중 조리 기기(100) 내에 위치하고 있는 음식물과 유사한 음식물에 대한 조리 영상을 획득할 수 있다. 또는, UI 제공 모듈(183)은 외부 장치로부터 조리 기기(100) 내에 위치하고 있는 음식물과 동일하거나 유사한 유형의 음식물의 조리 영상을 획득할 수 있다. UI 제공 모듈(183)은 조리 영상과 함께 조리 영상 내의 음식물의 조리 이력에 대한 정보를 함께 획득할 수 있다. UI 제공 모듈(183)은 획득된 조리 영상을 이용하여 UI를 제공할 수 있다(S260).
도3은 본 개시의 일 실시예에 따른 UI를 설명하기 위한 도면이다.
UI는 영상 재생 영역(310), 썸네일 영역(320), 프로그레스바 영역(330)을 포함할 수 있다.
영상 재생 영역(310)은 조리 영상이 재생되는 영역일 수 있다. 이 때 재생되는 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상일 수 있다.
조리 영상은 조리 기기(100)에 투입된 음식물의 유형에 대응되는 음식물의 조리 영상이거나, 조리 기기(100)에 투입된 음식물과 유사한 유형의 음식물에 대한 음식물의 조리 영상이거나 외부 장치로부터 획득된 음식물의 조리 영상일 수 있다.
프로그레스 바 영역(330)은 UI 상에 프로그레스바를 포함할 수 있다. 프로그레스바 스크롤을 통해 조리 영상의 시점이 원하는 시점으로 이동될 수 있다. 프로그레스바는 일 실시예에 불과할 뿐, 사용자는 다이얼이나 버튼을 이용해서 조리 시점을 이동할 수 있다.
썸네일 영역(320)은 프로그레스바 주위에 위치할 수 있다. 썸네일 영역(320)은 추천 조리 이력에 대응되는 썸네일(321, 322, 323)을 포함할 수 있다. 썸네일(321,322,323)은 이미지만으로 표시될 수도 있고, 썸네일(321,322,323) 주위에 조리 이력에 대한 정보가 함께 표시될 수 있다.
예를 들어, 소고기 대표 썸네일 위로 레어, 미디엄 레어, 미디엄, 웰던이 표시될 수 있다. 대표 썸네일 위로 사용자 설정 조리 온도, 식품 내부 온도, 식품 표면 온도가 함께 표시될 수 있다.
썸네일(321,322,323)이 클릭되거나 프로그레스바를 통해 조리 영상이 원하는 시점으로 이동되어 원하는 조리 정도가 선택될 수 있다.
추천 조리 이력은 메모리(130)에 저장된 정보에 의해 결정될 수 있다.
예를 들어, 소고기의 경우 레어, 미디엄 레어, 미디엄, 웰던으로 조리하기 위한 조리와 관련된 정보가 메모리(130)에 저장될 수 있다. 소고기를 미디엄으로 조리하기 위해서는 소고기를 내부 온도가 55~60 ℃에 도달하도록 조리할 수 있다. 조리 정도에 따라 조리하기 위한 조리와 관련된 정보는 외부 장치로부터 수신할 수 있다. 메모리(130)상에 저장된 정보를 이용하여 UI상에 레어, 미디엄 레어, 미디엄, 웰던에 해당하는 조리 시점을 추천 조리 이력으로 하여 추천 조리 이력에 대응되는 썸네일(321,322,323)이 UI상에 디스플레이 될 수 있다.
추천 조리 이력은 사용자의 선호도 입력에 따라 결정될 수 있다. 구체적으로, 조리가 완료되면 사용자는 조리 수준에 대한 사용자 선호도를 입력 인터페이스(160)를 통해 입력할 수 있다. 입력된 사용자 선호도를 바탕으로 추천 조리 이력이 결정될 수 있다.
추천 조리 이력은 사용자의 조리 이력을 학습하여 결정될 수 있다. 구체적으로, 사용자가 자주 조리하는 조리 정도에 대응되는 조리 이력을 추천 조리 이력으로 하여 UI 상에 대표 썸네일이 디스플레이 될 수 있다.
도4는 본 개시의 일 실시예에 따른 UI를 설명하기 위한 도면이다.
예를 들어, UI는 추천 조리 이력에 대응되는 대표 이미지(410,420,430,440)를 순차적으로 제공할 수 있다. 복수의 대표 이미지(410,420,430,440)는 조리와 관련된 정보가 포함될 수 있다. UI는 복수의 대표 이미지(410,420,430,440)만 디스플레이 될 수 있고, 추천 조리 이력에 대응되는 조리와 관련된 정보가 함께 표시될 수 있다.
예를 들어, 닭고기 대표 이미지 위로 바삭함 정도와 조리 온도 정보가 대표 이미지 위로 함께 표시될 수 있다.
사용자는 복수의 이미지 중 원하는 조리 정도의 이미지를 선택할 수 있다.
도5는 본 개시의 일 실시예에 따른 조리 영상의 길이를 바탕으로 UI를 제공하는 방법을 설명하기 위한 흐름도이다.
UI제공 모듈(183)은 조리 영상의 조리 정도가 기설정된 임계 조리 정도 이상인지 여부를 판단할 수 있다(S510). 기 설정된 임계 조리 정도는 음식물의 종류마다 달라질 수 있다. 임계 조리 정도는 조리 영상의 길이, 조리된 음식물의 상태, 조리된 음식물의 내부 온도, 조리된 음식물의 표면 온도, 조리된 음식물의 색감, 조리된 음식물의 바삭함 정도일 수 있다.
UI 제공 모듈(183)은 조리 영상이 임계 조리 정도 이상으로 촬영된 조리 영상이면(S510-Y), 조리 영상을 바탕으로 UI를 제공할 수 있다(S520). 구체적으로, 저장된 조리 이력에 포함된 촬영된 조리 영상의 조리 정도가 기설정된 임계 조리 정도 이상이면 UI 제공 모듈(183)은 조리 이력에 포함된 조리 영상을 이용하여 UI를 제공할 수 있다.
예를 들어, 조리 영상 내의 소고기의 굽기가 웰던이거나, 내부 온도가 50도 이상이거나, 조리 영상의 길이가 10분 이상인 경우 UI 제공 모듈(183)은 조리 영상이 임계 조리 정도 이상으로 촬영된 영상인 것으로 판단할 수 있다.
UI 제공 모듈(183)은 조리 영상이 임계 조리 정도 미만으로 촬영된 조리 영상이면(S510-N), 외부 장치로부터 조리 영상을 획득할 수 있다(S530). 구체적으로, 저장된 조리 이력에 포함된 촬영된 조리 영상의 조리 정도가 기설정된 임계 조리 정도 미만이면 촬영된 조리 영상 이후 예측되는 조리 영상을 통신 인터페이스(170)을 통해 외부 장치로부터 수신할 수 있다. UI 제공 모듈(183)은 메모리(130)에 저장된 조리 영상을 순차적으로 결합한 영상을 이용하여 UI를 제공할 수 있다.
예를 들어, 저장된 조리 이력에 포함된 촬영된 조리 영상의 길이가 기설정된 임계값 미만이고, 소고기의 조리 정도가 미디엄인 경우, UI 제공 모듈(183)은 미디엄 이후의 조리 단계에 대해 예측되는 조리 영상을 통신 인터페이스(170)을 통해 외부 장치로부터 수신할 수 있다. 메모리(130)에 저장된 소고기 조리 영상과 외부 장치로부터 수신한 소고기 조리 영상을 병합한 소고기 조리 영상을 이용하여 UI가 사용자에게 제공될 수 있다(S540).
도6은 본 개시의 일 실시예에 따른 조리 영상의 조리 정도가 임계 조리 정도 미만인 경우 UI를 제공하는 방법을 설명하기 위한 도면이다.
UI 제공 모듈(183)은 조리 영상의 조리 정도가 기 설정된 임계 조리 정도 미만인 경우 조리 이력에 저장된 조리 영상과 외부 장치로부터 수신한 조리 영상을 결합하여 프로그레스 바와 함께 UI를 제공할 수 있다. 프로그레스 바 주위에는 썸네일이 디스플레이 될 수 있다. 썸네일은 조리 이력에 저장된 조리 영상을 이용하여 만들어진 썸네일 영역(610)과 외부 장치로부터 수신한 조리 영상을 이용하여 만들어진 썸네일 영역(620)을 포함할 수 있다.
예를 들어, UI 제공 모듈(183)은 조리 영상의 소고기의 조리 정도가 미디엄인 경우 소고기의 조리 정도가 미디엄부터 웰던까지인 조리 영상을 외부 장치로부터 수신할 수 있다.
도7은 본 개시의 일 실시예에 따른 조리 영상의 조리 정도가 임계 조리 정도 미만인 경우 UI를 제공하는 방법을 설명하기 위한 도면이다.
UI 제공 모듈(183)은 조리 영상의 정도가 기 설정된 임계 조리 정도 미만인 경우 조리 이력에 저장된 조리 영상과 외부 장치로부터 수신한 조리 영상을 결합하여 대표 이미지(711,712,721,722)를 순차적으로 제공할 수 있다.
예를 들어 상기 UI는 조리 이력에 저장된 조리 영상을 표시하는 영역(710)과 외부 장치로부터 수신한 조리 영상을 표시하는 영역(720)을 포함할 수 있다. 조리 이력에 저장된 조리 영상을 이용하여 생성된 대표 이미지는(711,712)는 조리 이력에 저장된 조리 영상을 표시하는 영역(710)에 포함될 수 있다. 외부 장치로부터 수신한 조리 영상을 이용하여 생성된 대표 이미지(721,722)는 외부 장치로부터 수신한 조리 영상을 표시하는 영역(720)에 포함될 수 있다.
외부 장치로부터 수신한 조리 영상은 조리 기기(100) 내에 위치한 음식물과 유사한 음식물의 조리 영상인 경우, 대표 이미지(711,712)는 조리 기기(100)내에 위치한 음식물과 유사한 음식물의 조리 영상을 이용하여 생성된 이미지일 수 있다. 또는, 외부 장치로부터 수신한 조리 영상이 조리 기기(100) 내에 위치한 음식물과 동일한 음식물의 조리 영상인 경우, 대표 이미지(711,712)는 조리 기기(100)내에 위치한 음식물과 동일한 음식물의 조리 영상을 이용하여 생성된 이미지일 수 있다.
도8은 본 개시의 일 실시예에 따른 조리 기기(100) 제어 방법을 설명하기 위한 흐름도이다.
촬영된 조리 영상 및 조리 영상이 촬영되는 동안 센서(120)를 통해 감지된 조리와 관련된 정보를 매칭하여 조리 이력에 대한 정보로 저장할 수 있다(S810). 여기서, 조리 이력에 대한 정보는 촬영된 조리 영상에 포함된 음식물의 유형에 대한 정보를 포함할 수 있다. 조리 이력에 포함된 조리 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상일 수 있다.
조리 이력에 저장된 조리 영상을 이용하여 조리 정도를 설정할 수 있는 UI를 제공할 수 있다(S820). 여기서, UI는 촬영된 조리 영상 및 조리 영상의 촬영 시점을 조절할 수 있는 프로그레스바 및 프로그레스바 주위에 추천 조리 이력에 대응되는 대표 썸네일을 포함할 수 있다. 또한, UI는 추천 조리 이력에 대응되는 복수의 이미지를 순차적으로 제공할 수 있고, 복수의 이미지 내에는 조리와 관련된 정보가 포함되어 있을 수 있다.
여기서, 조리 기기(100) 내에 위치하는 음식물의 유형이 인식되고, 인식된 음식물의 유형과 매칭되는 음식물이 식별되면, 식별된 음식물에 매칭된 조리 영상을 바탕으로 UI가 제공될 수 있다.
그리고, 조리 기기(100) 내에 위치하는 음식물의 유형이 인식되고, 인식된 음식물의 유형과 매칭되는 음식물이 식별되지 않으면, 인식된 음식물과 유사한 음식물의 조리 이력에 포함된 조리 영상 또는 외부 장치로부터 수신된 음식물에 대한 조리 영상을 바탕으로 UI가 제공될 수 있다.
또한, 촬영된 조리 영상이 임계 조리 정도 미만으로 촬영된 조리 영상인 경우, 촬영된 조리 영상 이후 예측되는 조리 영상을 외부 장치로부터 수신하는 단계 및 촬영된 조리 영상 및 예측되는 조리 영상을 바탕으로 UI가 제공될 수 있다.
제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보에 기초하여 조리 기기 제어 정보가 획득될 수 있다(S830). 여기서, 조리 기기(100) 내에 위치하는 음식물의 상태가 인식되고, 인식된 음식물의 상태가 촬영된 조리 영상에 포함된 음식물의 초기 상태와 상이하면, 인식된 음식물의 상태에 대한 정보 및 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보를 학습된 제2 신경망 모델에 입력하여 조리 기기(100) 제어 정보가 획득될 수 있다. 또한, 조리 기기(100) 내에 위치하는 음식물의 유형이 인식되고, 촬영된 조리 영상 내의 음식물과 조리 기기(100) 내에 위치하는 음식물이 다른 음식이면, 공통적인 조리 상태의 요소를 선택된 조리 정도에 맞추어 조리가 수행되도록 조리 기기 제어 정보가 획득될 수 있다.
획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 조리 기기(100)가 제어될 수 있다(S840).
도9는 본 개시의 일 실시예에 따른 사용자 단말 장치를 이용하여 조리 기기(100)를 제어하는 실시예를 설명하기 위한 도면이다.
조리 기기(100)는 촬영된 조리 영상 및 조리 영상이 촬영되는 동안 센서를 통해 감지된 조리와 관련된 정보를 매칭하여 조리 이력에 대한 정보를 획득할 수 있다(S910). 여기서, 조리 이력에 대한 정보는 촬영된 조리 영상에 포함된 음식물의 유형에 대한 정보를 포함할 수 있다. 조리 이력에 포함된 조리 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상일 수 있다.
조리 기기(100)는 조리 이력에 대한 정보를 사용자 단말 장치(200)로 전송할 수 있다(S920). 여기서, 조리 기기(100)는 통신 인터페이스를 통해 조리 이력에 대한 정보를 사용자 단말 장치로(200)으로 전송할 수 있다.
사용자 단말 장치(200)는 수신된 조리 이력 정보를 메모리에 저장할 수 있다(S930).
사용자 단말 장치(200)는 수신된 조리 이력 정보에 포함된 조리 영상을 이용하여 디스플레이를 통해 UI를 표시할 수 있다(S940). 여기서, UI는 촬영된 조리 영상 및 조리 영상의 촬영 시점을 조절할 수 있는 프로그레스바 및 프로그레스바 주위에 추천 조리 이력에 대응되는 대표 썸네일을 포함할 수 있다. 또한, UI는 추천 조리 이력에 대응되는 복수의 이미지를 순차적으로 제공할 수 있고, 복수의 이미지 내에는 조리와 관련된 정보가 포함되어 있을 수 있다.
여기서, 조리 기기(100) 내에 위치하는 음식물의 유형이 인식되고, 인식된 음식물의 유형과 매칭되는 음식물이 식별되면, 식별된 음식물에 매칭된 조리 영상을 바탕으로 UI가 제공될 수 있다.
그리고, 조리 기기(100) 내에 위치하는 음식물의 유형이 인식되고, 인식된 음식물의 유형과 매칭되는 음식물이 식별되지 않으면, 인식된 음식물과 유사한 음식물의 조리 이력에 포함된 조리 영상 또는 외부 장치로부터 수신된 음식물에 대한 조리 영상을 바탕으로 UI가 제공될 수 있다.
또한, 촬영된 조리 영상이 임계 조리 정도 미만으로 촬영된 조리 영상인 경우, 촬영된 조리 영상 이후 예측되는 조리 영상을 외부 장치로부터 수신하는 단계 및 촬영된 조리 영상 및 예측되는 조리 영상을 바탕으로 UI가 제공될 수 있다.
사용자 단말 장치(200)는 입력 인터페이스를 통해 사용자의 입력을 수신할 수 있다(S950). 사용자 단말 장치(200)의 입력 인터페이스는 터치 패널을 포함하는 터치 디스플레이나 버튼으로 구현될 수 있다.
사용자 단말 장치(200)는 조리 기기 제어 정보를 획득할 수 있다(S960). 구체적으로, 사용자 단말 장치(200)는 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보에 기초하여 조리 기기 제어 정보를 획득할 수 있다. 여기서, 조리 기기(100) 내에 위치하는 음식물의 상태가 인식되고, 인식된 음식물의 상태가 촬영된 조리 영상에 포함된 음식물의 초기 상태와 상이하면, 인식된 음식물의 상태에 대한 정보 및 제공된 UI상에 선택된 조리 영상에 매칭된 조리와 관련된 정보를 학습된 제2 신경망 모델에 입력하여 조리 기기(100) 제어 정보가 획득될 수 있다. 또한, 조리 기기(100) 내에 위치하는 음식물의 유형이 인식되고, 촬영된 조리 영상 내의 음식물과 조리 기기(100) 내에 위치하는 음식물이 다른 음식이면, 공통적인 조리 상태의 요소를 선택된 조리 정도에 맞추어 조리가 수행되도록 조리 기기 제어 정보가 획득될 수 있다.
사용자 단말 장치(200)는 획득한 조리 기기 제어 정보를 통신 인터페이스를 통해 조리 기기(100)로 전송할 수 있다(S970).
조리 기기(100)는 수신된 조리 기기 제어 정보를 바탕으로 조리를 수행할 수 있다(S980).
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 조리 기기(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 개시가 다양한 실시 예를 참조하여 도시되고 설명되었지만, 당업자는, 첨부된 청구항 및 균등물에 의해 정의된 본 개시의 범위 및 사상을 벗어나지 않으면서, 형태 및 세부 사항의 다양한 변경이 가능하다는 것을 인식할 수 있다.

Claims (15)

  1. 조리 기기에 있어서,
    음식물을 촬영하여 조리 영상을 촬영하는 카메라,
    상기 음식물이 촬영되는 동안 조리와 관련된 정보를 감지하는 센서,
    디스플레이,
    메모리, 및
    프로세서를 포함하고
    상기 프로세서는
    상기 카메라에 의해 획득된 상기 조리 영상 및 상기 센서를 통해 감지된 상기 조리와 관련된 정보를 매칭하여 상기 메모리에 조리 이력에 대한 정보로 저장하고,
    상기 저장된 조리 이력에 대한 정보를 바탕으로 조리 정도를 설정할 수 있는 UI를 제공하도록 상기 디스플레이를 제어하고,
    상기 제공된 UI 상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보에 기초하여 조리 기기 제어 정보를 획득하고,
    상기 획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 상기 조리 기기를 제어하는 조리 기기.
  2. 제1항에 있어서,
    상기 조리 이력에 대한 정보는 상기 촬영된 조리 영상에 포함된 상기 음식물의 유형에 대한 정보를 포함하고,
    상기 프로세서는
    상기 조리 기기에 투입된 음식물의 유형을 인식하고,
    상기 조리 이력에 대한 정보에 포함된 음식물의 유형에 대한 정보 중 상기 인식된 음식물의 유형과 매칭되는 음식물을 식별하고,
    상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되면, 상기 식별된 음식물에 매칭된 조리 영상을 바탕으로 상기 UI를 제공하도록 디스플레이를 제어하는 조리 기기.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되지 않으면, 상기 음식물과 유사한 음식물의 조리 이력에 대한 정보에 포함된 조리 영상 또는 외부 장치로부터 수신된 음식물에 대한 조리 영상을 바탕으로 상기 UI를 제공하도록 상기 디스플레이를 제어하는 조리 기기.
  4. 제1항에 있어서,
    상기 조리 이력에 포함된 상기 조리 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상인 조리 기기.
  5. 제1항에 있어서,
    상기 UI는, 상기 촬영된 조리 영상 및 상기 조리 영상의 촬영 시점을 조절할 수 있는 프로그레스바 및 상기 프로그레스바 주위에 추천 조리 이력에 대응되는 대표 썸네일을 포함하는 조리 기기.
  6. 제1항에 있어서,
    상기 UI는 추천 조리 이력에 대응되는 복수의 이미지를 순차적으로 제공하며, 상기 복수의 이미지 내에는 상기 조리와 관련된 정보가 포함되어 있는 조리 기기.
  7. 제1항에 있어서,
    상기 조리기기는 외부 장치와 통신하는 통신 인터페이스를 포함하고,
    상기 촬영된 조리 영상이 임계 조리 정도 미만으로 촬영된 조리 영상인 경우, 상기 통신 인터페이스는 상기 촬영된 조리 영상 이후 예측되는 조리 영상을 외부 장치로부터 수신하고, 프로세서는 상기 촬영된 조리 영상 및 상기 예측되는 조리 영상을 바탕으로 상기 UI를 제공하도록 상기 디스플레이를 제어하는 조리 기기.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 조리 기기에 투입된 음식물의 상태를 인식하고,
    상기 인식된 음식물의 상태가 상기 촬영된 조리 영상에 포함된 상기 음식물의 초기 상태와 상이하면, 상기 인식된 음식물의 상태에 대한 정보 및 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보를 학습된 신경망 모델에 입력하여 상기 조리 기기 제어 정보를 획득하는 조리 기기.
  9. 제8항에 있어서,
    상기 프로세서는
    상기 투입된 음식물이 조리되는 동안 감지된 조리와 관련된 정보와 상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보를 비교하여, 상기 획득된 조리 기기 제어 정보를 변경하는 조리 기기.
  10. 제1항에 있어서,
    상기 프로세서는
    상기 조리 기기에 투입된 음식물의 유형을 인식하고,
    상기 촬영된 조리 영상 내의 음식물과 상기 조리 기기에 투입된 음식물이 다른 음식이면, 공통적인 조리 상태의 요소를 선택된 조리 정도에 맞추어 조리를 수행하도록 상기 조리 기기 제어 정보를 획득하는 조리 기기.
  11. 조리 기기의 제어 방법에 있어서,
    촬영된 조리 영상 및 상기 조리 영상이 촬영되는 동안 센서를 통해 감지된 조리와 관련된 정보를 매칭하여 조리 이력에 대한 정보로 저장하는 단계;
    상기 조리 이력에 저장된 상기 조리 영상을 이용하여 조리 정도를 설정할 수 있는 UI를 제공하는 단계;
    상기 제공된 UI상에 선택된 조리 영상에 매칭된 상기 조리와 관련된 정보에 기초하여 조리 기기 제어 정보를 획득하는 단계; 및
    상기 획득된 조리 기기 제어 정보에 기초하여 조리를 수행하도록 상기 조리 기기를 제어하는 단계;
    를 포함하는 조리 기기 제어 방법.
  12. 제11항에 있어서,
    상기 조리 이력에 대한 정보는, 상기 촬영된 조리 영상에 포함된 상기 음식물의 유형에 대한 정보를 포함하고,
    상기 조리 기기를 제어하는 단계는,
    상기 조리 기기에 투입된 음식물의 유형을 인식하는 단계;
    상기 조리 이력에 대한 정보에 포함된 상기 음식물의 유형에 대한 정보 중 상기 인식된 음식물의 유형과 매칭되는 음식물을 식별하는 단계; 및
    상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되면, 상기 식별된 음식물에 매칭된 조리 영상을 바탕으로 상기 UI를 제공하는 단계;를
    포함하는 조리 기기 제어 방법.
  13. 제12항에 있어서,
    상기 인식된 음식물의 유형과 매칭되는 음식물이 식별되지 않으면, 상기 인식된 음식물과 유사한 음식물의 조리 이력에 대한 정보에 포함된 조리 영상 또는 외부 장치로부터 수신된 음식물에 대한 조리 영상을 바탕으로 상기 UI를 제공하는 단계;를
    포함하는 조리 기기 제어 방법.
  14. 제11항에 있어서,
    상기 조리 이력에 포함된 상기 조리 영상은 가장 최근에 촬영된 조리 영상이거나 촬영시간이 가장 길었던 조리 영상인
    조리 기기 제어 방법.
  15. 제11항에 있어서,
    상기 UI는, 상기 촬영된 조리 영상 및 상기 조리 영상의 촬영 시점을 조절할 수 있는 프로그레스바 및 상기 프로그레스바 주위에 추천 조리 이력에 대응되는 대표 썸네일을 포함하는 조리 기기 제어 방법.
PCT/KR2022/010025 2021-07-13 2022-07-11 조리 기기 및 그의 제어 방법 WO2023287131A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/994,212 US20230089725A1 (en) 2021-07-13 2022-11-25 Cooking apparatus and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0091882 2021-07-13
KR1020210091882A KR20230011181A (ko) 2021-07-13 2021-07-13 조리 기기 및 그의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/994,212 Continuation US20230089725A1 (en) 2021-07-13 2022-11-25 Cooking apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2023287131A1 true WO2023287131A1 (ko) 2023-01-19

Family

ID=84920120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010025 WO2023287131A1 (ko) 2021-07-13 2022-07-11 조리 기기 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US20230089725A1 (ko)
KR (1) KR20230011181A (ko)
WO (1) WO2023287131A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230075208A1 (en) * 2021-09-07 2023-03-09 Whirlpool Corporation Generative food doneness prediction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327279A1 (en) * 2015-05-05 2016-11-10 June Life, Inc. Connected food preparation system and method of use
KR20200030955A (ko) * 2018-09-13 2020-03-23 삼성전자주식회사 조리 기기 및 이의 제어 방법
WO2020077501A1 (en) * 2018-10-15 2020-04-23 Guangdong Midea Kitchen Appliances Manufacturing Co., Ltd. System and method for collecting and annotating cooking images for training smart cooking appliances, locating food items in smart cooking appliances, and determining cooking progress of food items in smart cooking appliances
KR20200092380A (ko) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327279A1 (en) * 2015-05-05 2016-11-10 June Life, Inc. Connected food preparation system and method of use
KR20200092380A (ko) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
KR20200030955A (ko) * 2018-09-13 2020-03-23 삼성전자주식회사 조리 기기 및 이의 제어 방법
WO2020077501A1 (en) * 2018-10-15 2020-04-23 Guangdong Midea Kitchen Appliances Manufacturing Co., Ltd. System and method for collecting and annotating cooking images for training smart cooking appliances, locating food items in smart cooking appliances, and determining cooking progress of food items in smart cooking appliances
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법

Also Published As

Publication number Publication date
US20230089725A1 (en) 2023-03-23
KR20230011181A (ko) 2023-01-20

Similar Documents

Publication Publication Date Title
WO2017204596A1 (ko) 얼굴 윤곽 보정 방법 및 장치
WO2018143550A1 (ko) 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
EP0942608B1 (en) Video signal processor and color video camera
EP3309459B1 (en) Heating cooker
WO2016129917A1 (ko) 사용자 단말 및 이의 제공 방법
WO2020055029A1 (ko) 조리 기기 및 이의 제어 방법
WO2023287131A1 (ko) 조리 기기 및 그의 제어 방법
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2016006946A1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
WO2017073852A1 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
CN101986691B (zh) 图像处理设备和图像处理方法
WO2015005722A1 (en) Mobile device, display apparatus and method for sharing contents thereof
WO2021040095A1 (ko) 카메라를 구비한 조리기기
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2019235903A1 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
JP2020005181A (ja) 情報処理システム、及びその制御方法、プログラム
WO2016200085A1 (en) Electronic apparatus and method of extracting still images
WO2017215354A1 (zh) 测量仪数据存储方法和装置
JP2004219277A (ja) 人体検知方法およびシステム、プログラム、記録媒体
WO2021251615A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2016072538A1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
WO2022149922A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2023136615A1 (ko) 전자 장치 및 그 제어 방법
WO2020159115A1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
WO2017022913A1 (en) Portable terminal apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22842393

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE