WO2024043493A1 - 조리 기기 및 조리 기기의 제어 방법 - Google Patents

조리 기기 및 조리 기기의 제어 방법 Download PDF

Info

Publication number
WO2024043493A1
WO2024043493A1 PCT/KR2023/009188 KR2023009188W WO2024043493A1 WO 2024043493 A1 WO2024043493 A1 WO 2024043493A1 KR 2023009188 W KR2023009188 W KR 2023009188W WO 2024043493 A1 WO2024043493 A1 WO 2024043493A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
numerical
control unit
cooking
size
Prior art date
Application number
PCT/KR2023/009188
Other languages
English (en)
French (fr)
Inventor
가기환
한성주
권순철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230029527A external-priority patent/KR20240028277A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024043493A1 publication Critical patent/WO2024043493A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Definitions

  • the disclosed invention relates to a cooking appliance and a method of controlling the cooking appliance.
  • a cooking device is a device for heating and cooking a cooking object, such as food, and refers to a device that can provide various functions related to cooking, such as heating, defrosting, drying, and sterilizing the cooking object.
  • a cooking device may mean an oven such as a gas oven or an electric oven, a microwave heating device (hereinafter referred to as a microwave oven), a gas range, an electric range, a gas grill, or an electric grill.
  • ovens cook food by transferring heat directly to food using a heater that generates heat or by heating the inside of the cooking chamber.
  • Microwave ovens use high-frequency waves as a heat source to cook food through frictional heat between molecules generated by disturbing the molecular arrangement of food.
  • the disclosed invention provides a cooking appliance and a control method of the cooking appliance that can identify food located in the chamber of the cooking appliance using an artificial intelligence model and provide the user with a numerical range and numerical unit corresponding to the characteristics of the cooking appliance. do.
  • the disclosed invention provides a cooking appliance and a method of controlling the cooking appliance that can automatically set a cooking cycle appropriate for the type, size, and number of foods.
  • the disclosed invention provides a cooking appliance and a control method of the cooking appliance that can detect characteristics of food in an image by obtaining various artificial intelligence models from a server as needed.
  • a cooking appliance 1 includes a display 41; A camera 60 provided to photograph the inside of the chamber 50; A memory 220 that stores an artificial intelligence model used to estimate a food product and a numerical conversion table containing numerical information corresponding to the food product; and a control unit 200 electrically connected to the display, the camera, and the memory.
  • the control unit may input the image acquired by the camera into the artificial intelligence model to estimate the type of food, the size of the food, and the number of food.
  • the control unit may refer to the numerical conversion table to determine a numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of the food.
  • the control unit may control the display to display the name of the food, the numerical range, and the numerical unit.
  • a method of controlling a cooking appliance 1 includes acquiring an image of the inside of a chamber containing food using a camera; The control unit inputs the image into an artificial intelligence model stored in a memory to estimate the type of food, the size of the food, and the number of food; determining, by the control unit, a numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of the food by referring to a numerical conversion table stored in the memory; and controlling the display to display the name of the food, the numerical range, and the numerical unit by the control unit.
  • the disclosed cooking appliance and method for controlling the cooking appliance can use an artificial intelligence model to identify food located in a chamber of the cooking appliance and provide the user with a numerical range and numerical unit corresponding to the characteristics of the food. Therefore, users can intuitively and easily identify the amount and number of food items.
  • the disclosed cooking appliance and cooking appliance control method can automatically set a cooking cycle appropriate for the type of food, the size of the food, and the number of food, thereby providing convenience to the user.
  • the disclosed cooking appliance and cooking appliance control method can detect characteristics of food in an image by obtaining various artificial intelligence models from a server as needed.
  • FIG. 1 shows a network system implemented by various electronic devices.
  • Figure 2 is a perspective view of a cooking appliance according to one embodiment.
  • Figure 3 is a cross-sectional view of a cooking appliance according to one embodiment.
  • Figure 4 shows an example in which the tray is mounted on the first support on the side wall of the chamber.
  • FIG. 5 shows control configurations of a cooking appliance according to one embodiment.
  • FIG. 6 illustrates the structure of the control unit described in FIG. 5.
  • Figure 7 shows an example of an artificial intelligence model.
  • Figure 8 is a table explaining attribute information used to create an artificial intelligence model.
  • Figure 9 is a flowchart explaining a method of controlling a cooking appliance according to an embodiment.
  • Figure 10 shows a numerical conversion table according to one embodiment.
  • FIGS. 11, 12, and 13 show various examples of numerical ranges and numerical units of food items displayed on the display of a cooking appliance.
  • FIG. 14 is a flowchart illustrating an example of the method for estimating cooked food described in FIG. 9 .
  • FIG. 15 is a flow chart illustrating another example of the method for estimating cooked food described in FIG. 9.
  • FIG. 16 is an image showing extraction of the partial image described in FIG. 15.
  • 17 is a flowchart illustrating an example of interaction between a cooking appliance, a server, and a user device.
  • Figure 18 is a flowchart explaining a method of updating an artificial intelligence model.
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A Each of phrases such as “at least one of , B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • one component can be connected to another component directly (e.g. wired), wirelessly, or through a third component.
  • FIG. 1 shows a network system implemented by various electronic devices.
  • the home appliance 10 includes a communication module capable of communicating with other home appliances, the user device 2 or the server 3, a user interface that receives user input or outputs information to the user, and a home appliance. It may include at least one processor for controlling the operation of the home appliance 10 and at least one memory storing a program for controlling the operation of the home appliance 10.
  • the home appliance 10 may be at least one of various types of home appliances.
  • the home appliance 10 includes a refrigerator 11, a dishwasher 12, an electric range 13, an electric oven 14, an air conditioner 15, a clothes care machine 16, It may include at least one of a washing machine 17, a dryer 18, and a microwave oven 19, but is not limited thereto, and may include, for example, various types of cleaning robots, vacuum cleaners, and televisions not shown in the drawing. May include home appliances.
  • the previously mentioned home appliances are only examples, and in addition to the previously mentioned home appliances, other home appliances, devices that are connected to the user device (2) or server (3) and can perform the operations described later are one implementation. It may be included in the home appliance 10 according to the example.
  • the server (3) has a communication module capable of communicating with other servers, home appliances (10) or user devices (2), and can process data received from other servers, home appliances (10) or user devices (2). It may include at least one processor and at least one memory capable of storing a program for processing data or processed data.
  • This server 3 may be implemented with various computing devices such as a workstation, cloud, data drive, and data station.
  • the server 3 may be implemented as one or more servers physically or logically divided based on functions, detailed configuration of functions, or data, and can transmit and receive data and process the transmitted and received data through communication between each server. .
  • the server 3 may perform functions such as managing the user account, registering the home appliance 10 by linking it to the user account, and managing or controlling the registered home appliance 10. For example, a user can access the server 3 through the user device 2 and create a user account. A user account can be identified by an ID and password set by the user.
  • the server 3 may register the home appliance 10 to the user account according to a set procedure. For example, the server 3 connects the identification information (e.g., serial number or MAC address, etc.) of the home appliance 10 to the user account to register, manage, and control the home appliance 10. You can.
  • identification information e.g., serial number or MAC address, etc.
  • the user device 2 includes a communication module capable of communicating with the home appliance 10 or the server 3, a user interface that receives user input or outputs information to the user, and at least one that controls the operation of the user device 2. It may include a processor and at least one memory storing a program for controlling the operation of the user device 2.
  • the user device 2 may be carried by the user or placed in the user's home or office.
  • the user device 2 may include a personal computer, terminal, portable telephone, smart phone, handheld device, wearable device, etc. , but is not limited to this.
  • a program for controlling the home appliance 10, that is, an application, may be stored in the memory of the user device 2.
  • the application may be sold installed on the user device 2, or may be downloaded and installed from an external server.
  • the user runs the application installed on the user device (2), connects to the server (3), creates a user account, and registers the home appliance (10) by communicating with the server (3) based on the logged in user account. You can.
  • the home appliance 10 is operated so that the home appliance 10 can be connected to the server 3 according to the procedure guided by the application installed on the user device 2, the corresponding user account is stored in the server 3.
  • the identification information e.g., serial number or MAC address
  • the home appliance 10 can be registered in the user account.
  • the user can control the home appliance 10 using an application installed on the user device 2. For example, when a user logs in to a user account with an application installed on the user device (2), the home appliance (10) registered in the user account appears, and when a control command for the home appliance (10) is entered, the server (3) A control command can be transmitted to the home appliance 10 through.
  • the network may include both wired and wireless networks.
  • a wired network includes a cable network or a telephone network, and a wireless network may include any network that transmits and receives signals through radio waves. Wired networks and wireless networks can be connected to each other.
  • the network is a wide area network (WAN) such as the Internet, a local area network (LAN) formed around an access point (AP), and/or a short-range wireless network that does not go through an access point (AP). It can be included.
  • Short-range wireless networks include, for example, Bluetooth (Bluetooth, IEEE 802.15.1), Zigbee (IEEE 802.15.4), Wi-Fi Direct, NFC (Near Field Communication), and Z-Wave. Z-Wave), etc., but is not limited to the examples.
  • the access repeater (AP) can connect the home appliance 10 or the user device 2 to a wide area network (WAN) to which the server 3 is connected.
  • the home appliance 10 or the user device 2 may be connected to the server 3 through a wide area network (WAN).
  • WAN wide area network
  • the access repeater (AP) connects the home appliance (10) or It is possible to communicate with the user device 2 and connect to a wide area network (WAN) using wired communication, but is not limited to this.
  • the home appliance 10 may be directly connected to the user device 2 or the server 3 without going through an access relay (AP).
  • AP access relay
  • the home appliance 10 may be connected to the user device 2 or the server 3 through a long-distance wireless network or a short-range wireless network.
  • the home appliance 10 may be connected to the user device 2 through a short-range wireless network (eg, Wi-Fi Direct).
  • a short-range wireless network eg, Wi-Fi Direct.
  • the home appliance 10 may be connected to the user device 2 or the server 3 through a wide area network (WAN) using a long-distance wireless network (eg, a cellular communication module).
  • WAN wide area network
  • a long-distance wireless network eg, a cellular communication module
  • the home appliance 10 may be connected to a wide area network (WAN) using wired communication and connected to the user device 2 or the server 3 through the wide area network (WAN).
  • WAN wide area network
  • the home appliance 10 can connect to a wide area network (WAN) using wired communication, it may operate as a connection repeater. Accordingly, the home appliance 10 can connect other home appliances to the wide area network (WAN) to which the server 3 is connected. Additionally, other home appliances may connect the home appliance 10 to a wide area network (WAN) to which the server 3 is connected.
  • WAN wide area network
  • the home appliance 10 may transmit information about its operation or status to another home appliance, the user device 2, or the server 3 through a network. For example, when a request is received from the home appliance 10, the home appliance 10 sends information about its operation or status to other home appliances, when a specific event occurs in the home appliance 10, or periodically or in real time. It can be transmitted to the user device (2) or the server (3).
  • the server 3 receives information about the operation or status from the home appliance 10, it updates the stored information about the operation or state of the home appliance 10 and sends the home appliance to the user device 2 through the network.
  • Updated information regarding the operation and status of the device may be transmitted.
  • updating information may include various operations that change existing information, such as adding new information to existing information or replacing existing information with new information.
  • the home appliance 10 may obtain various information from other home appliances, the user device 2, or the server 3, and provide the obtained information to the user.
  • the home appliance 10 receives information related to the function of the home appliance 10 (e.g., recipe, washing method, etc.), various environmental information (e.g., weather, temperature, humidity, etc.) from the server 3. ) information can be obtained, and the obtained information can be output through the user interface.
  • information related to the function of the home appliance 10 e.g., recipe, washing method, etc.
  • various environmental information e.g., weather, temperature, humidity, etc.
  • Home appliance 10 may operate according to control commands received from other home appliances, user devices 2, or servers 3. For example, if the home appliance 10 obtains prior approval from the user so that it can operate according to the control command of the server 3 even without user input, the home appliance 10 receives the control received from the server 3. It can operate according to commands.
  • the control command received from the server 3 may include, but is not limited to, a control command input by the user through the user device 2 or a control command based on preset conditions.
  • the user device 2 may transmit information about the user to the home appliance 10 or the server 3 through a communication module.
  • the user device 2 may transmit information about the user's location, the user's health status, the user's taste, the user's schedule, etc. to the server 3.
  • the user device 2 may transmit information about the user to the server 3 according to the user's prior approval.
  • the home appliance 10, user device 2, or server 3 may determine control commands using technology such as artificial intelligence.
  • the server 3 receives information about the operation or status of the home appliance 10 or receives information about the user of the user device 2, processes it using technology such as artificial intelligence, and provides the processing results. Based on this, a processing result or control command can be transmitted to the home appliance 10 or the user device 2.
  • the cooking appliance 1 described below corresponds to the home appliance 10 described above.
  • Figure 2 is a perspective view of a cooking appliance according to one embodiment.
  • Figure 3 is a cross-sectional view of a cooking appliance according to one embodiment.
  • Figure 4 shows an example in which the tray is mounted on the first support on the side wall of the chamber.
  • the cooking appliance 1 may include a housing 1h forming an exterior, and a door 20 provided to open and close an opening of the housing 1h.
  • the door 20 may include at least one transparent glass plate 21.
  • the door 20 may include a first transparent glass plate 21 that forms the outer surface of the door 20 and a second transparent glass plate 22 that forms the inner surface of the door 20.
  • a third transparent glass plate 23 may be disposed between the first transparent glass plate 21 and the second transparent glass plate 22.
  • the door 20 is illustrated as including a triple transparent glass plate, it is not limited thereto.
  • the door 20 may include a double transparent glass plate or a quadruple transparent glass plate.
  • At least one transparent glass plate 21, 22, and 23 included in the door 20 may function as a window. The user can observe the inside of the chamber 50 through the transparent glass plates 21, 22, and 23 when the door 20 is closed.
  • the transparent glass plates 21, 22, and 23 may be formed of heat-resistant glass.
  • the housing 1h of the cooking appliance 1 may be provided with a user interface 40 for displaying information related to the operation of the cooking appliance 1 and obtaining user input.
  • the user interface 40 may include a display 41 that displays information related to the operation of the cooking appliance 1 and an input unit 42 that obtains a user's input.
  • the display 41 and the input unit 42 may be provided at various positions in the housing 1h. For example, the display 41 and the input unit 42 may be located on the upper front of the housing 1h.
  • the display 41 may be provided as various types of display panels.
  • the display 41 may include a liquid crystal display panel (LCD Panel), a light emitting diode panel (LED Panel), an organic light emitting diode panel (OLED Panel), Alternatively, it may include a micro LED panel.
  • Display 41 may also be used as an input device, including a touch screen.
  • the display 41 can display information input by the user or information provided to the user on various screens.
  • the display 41 may display information related to the operation of the cooking appliance 1 as at least one of an image or text.
  • the display 41 may display a graphic user interface (GUI) that enables control of the cooking appliance 1. That is, the display 41 can display a UI element (User Interface Element) such as an icon.
  • GUI graphic user interface
  • the input unit 42 may transmit an electrical signal (voltage or current) corresponding to the user input to the control unit 200.
  • the input unit 42 may include various buttons and/or dials.
  • the input unit 42 includes a power button to turn on or off the power of the cooking device 1, a start/stop button to start or stop the cooking operation, a cooking course button to select a cooking course, and a cooking temperature. It may include at least one of a temperature button for setting a temperature button and a time button for setting a cooking time.
  • Various buttons may be provided as physical buttons or touch buttons.
  • the dial included in the input unit 42 may be rotatable.
  • One of a plurality of cooking courses can be selected by rotating the dial.
  • UI elements displayed on the display 41 may move sequentially.
  • the cooking appliance 1 can perform cooking according to the selected cooking course.
  • the cooking course may include cooking parameters such as cooking temperature, cooking time, output of the heater 80, and output of the fan 90. Different cooking courses may be selected depending on the location of the tray T within the chamber 50 and the type, quantity, and/or size of the food.
  • the cooking appliance 1 is provided inside the housing 1h and may include a chamber 50 in which food can be placed.
  • An opening may be provided in the front of the housing 1h. The user can place food in the chamber 50 through the opening of the housing 1h.
  • the chamber 50 may be provided in a rectangular parallelepiped shape.
  • a plurality of supports 51 and 52 for mounting the tray T may be provided on both side walls of the chamber 50.
  • the supports may also be referred to as 'rails'.
  • the plurality of supports 51 and 52 may be formed to protrude from the left inner wall and the right inner wall of the chamber 50.
  • the plurality of supports 51 and 52 may be provided as separate structures to be mounted on the left inner wall and the right inner wall of the chamber 50.
  • Each of the plurality of supports 51 and 52 has a predetermined length in the front-back direction.
  • a plurality of supports 51 and 52 may be provided at positions spaced apart from each other in the vertical direction.
  • the plurality of supports 51 and 52 may include a first support 51 and a second support 52 formed at a higher position than the first support 51 .
  • the first support 51 may be located at a first height h1 from the bottom 50a of the chamber 50.
  • the second support 52 may be located at a second height h2 higher than the first height h1 from the bottom 50a of the chamber 50.
  • the first support 51 may refer to a pair of supports located at the first height of each of the left inner wall and the right inner wall of the chamber 50.
  • the second support 52 may refer to a pair of supports located at the second height of each of the left inner wall and the right inner wall of the chamber 50.
  • the space within the chamber 50 may be divided into a plurality of layers by a plurality of supports 51 and 52.
  • the bottom 50a of the chamber 50 forms the first layer (L1)
  • the first support 51 forms the second layer (L2)
  • the second support 52 forms the third layer (L3). ) can be formed.
  • the tray T can be held at various heights within the chamber 50 by a plurality of supports 51 and 52.
  • the tray T may be mounted on the bottom 50a of the chamber 50, the first support 51, or the second support 52.
  • the upper surface of the tray T may face the ceiling of the chamber 50.
  • Cooked food may be placed on the upper surface of the tray (T).
  • the tray T may have various shapes.
  • the tray T may be provided in a rectangular or circular shape.
  • multiple cooking spaces may be formed.
  • the chamber 50 has a first floor space, a second floor space, and A three-story space can be formed.
  • the cooking appliance 1 may include a camera 60, a light 70, a fan 90, and various circuits.
  • the camera 60 may acquire images inside the chamber 50.
  • the camera 60 may transmit data of the acquired image to the control unit 200.
  • Camera 60 may include a lens and an image sensor.
  • a portion of the upper surface of the chamber 50 adjacent to the position of the camera 60 may be formed of a transparent material (eg, transparent heat-resistant glass).
  • Illumination 70 may emit light into the chamber 50.
  • the interior of the chamber 50 may be brightened by the light emitted from the lighting 70. Accordingly, the brightness, contrast, and/or sharpness of the image acquired by the camera 60 may increase, and the identification of objects included in the image may be improved.
  • a diffusion material may be provided on another part of the upper surface of the chamber 50 adjacent to the position of the lighting 70 to transmit and diffuse the light of the lighting 70 into the interior of the chamber 50.
  • a heater 80 may be located at the top of the chamber 50.
  • the heater 80 may supply heat into the chamber 50.
  • Food may be cooked by the heat generated by the heater 80.
  • One or more heaters 80 may be provided.
  • the heating level and heating time of the heater 80 may be adjusted by the control unit 200.
  • the output and heating time of the heater 80 may be adjusted differently depending on the location of the tray T within the chamber 50 and the type, quantity, and/or size of the food. That is, the operation of the heater 80 may be controlled differently depending on the cooking course.
  • the fan 90 may circulate the air inside the chamber 50.
  • the fan 90 may include a motor and blades.
  • One or more fans 90 may be provided. As the fan 90 operates, air heated by the heater 80 may circulate inside the chamber 50. Accordingly, the heat generated by the heater 80 can be evenly transmitted from the top to the bottom of the chamber 50.
  • the rotation speed and rotation time of the fan 90 may be adjusted by the control unit 200. The operation of the fan 90 may be controlled differently depending on the cooking course. The output and rotation time of the fan 90 may be adjusted differently depending on the location of the tray T in the chamber 50 and the type, quantity, and/or size of the food.
  • FIG. 5 shows control configurations of a cooking appliance according to one embodiment.
  • the cooking appliance 1 includes a user interface 40, a camera 60, a light 70, a heater 80, a fan 90, a communication circuit 100, a temperature sensor 110, and It may include a control unit 200. Additionally, the cooking appliance 1 may include a microphone 120 and a speaker 130.
  • the control unit 200 is electrically connected to the components of the cooking appliance 1 and can control the components of the cooking appliance 1.
  • the user interface 40 may include a display 41 and an input unit 42.
  • the display 41 may display information related to the operation of the cooking appliance 1.
  • the display 41 can display information input by the user or information provided to the user on various screens.
  • the input unit 42 can obtain user input.
  • User input may include various commands.
  • the input unit 42 may include a command to select an item, a command to select a cooking course, a command to adjust the heating level of the heater 80, a command to adjust the cooking time, a command to adjust the cooking temperature, and a command to adjust the cooking temperature.
  • At least one of a start command or a cooking stop command may be obtained.
  • User input may be obtained from the user device 2.
  • the control unit 200 may control the operation of the cooking appliance 1 by processing commands received through at least one of the input unit 42 or the user device 2.
  • the cooking appliance 1 may automatically perform cooking based on cooking course information obtained from the memory 220, the user device 2, or the server 3.
  • the camera 60 may acquire images inside the chamber 50.
  • Camera 60 may have a predetermined field of view (FOV).
  • the camera 60 is located at the top of the chamber 50 and may have a field of view (FOV) directed from the top of the chamber 50 toward the inside of the chamber 50.
  • the control unit 200 may control the camera 60 to acquire an image inside the chamber 50 when the door 20 is closed after the cooking appliance 1 is turned on.
  • the controller 200 may control the camera 60 to acquire images inside the chamber 50 at predetermined time intervals from the start of cooking until the cooking is completed.
  • Illumination 70 may emit light into the chamber 50.
  • the control unit 200 may control the lighting 70 to emit light when the cooking appliance 1 is turned on.
  • the controller 200 may control the lighting 70 to emit light until cooking is completed or the cooking appliance 1 is turned off.
  • the heater 80 may supply heat into the chamber 50.
  • the control unit 200 can adjust the output of the heater 80.
  • the control unit 200 can adjust the heating level and heating time of the heater 80.
  • the control unit 200 may adjust the heating level and heating time of the heater 80 according to the position of the tray T in the chamber 50, the nature of the food, and/or the cooking course.
  • the fan 90 may circulate the air inside the chamber 50.
  • the control unit 200 can control the output of the fan 90.
  • the control unit 200 can adjust the rotation speed and rotation time of the fan 90.
  • the control unit 200 may adjust the rotation speed and rotation time of the fan 90 according to the location of the tray T in the chamber 50 and the type, quantity, number, and/or size of the food.
  • the communication circuit 100 may connect to at least one of the user device 2 or the server 3 through a network.
  • the control unit 200 may obtain various information, various signals, and/or various data from the server 3 through the communication circuit 100.
  • communication circuit 100 may receive a remote control signal from user device 2.
  • the control unit 200 may obtain an artificial intelligence model used to analyze the image from the server 3 through the communication circuit 100.
  • Communication circuit 100 may include various communication modules. Communication circuit 100 may include a wireless communication module and/or a wired communication module. As wireless communication technology, wireless local area network (wireless local area network), home radio frequency (RF), infrared communication, ultra-wide band (UWB) communication, Wi-Fi, Bluetooth, Zigbee, etc. may be applied.
  • wireless local area network wireless local area network
  • RF home radio frequency
  • UWB ultra-wide band
  • the temperature sensor 110 can detect the temperature inside the chamber 50.
  • the temperature sensor 110 may be installed at various locations inside the chamber 50.
  • the temperature sensor 110 may transmit an electrical signal corresponding to the detected temperature to the control unit 200.
  • the control unit 200 may control at least one of the heater 80 and the fan 90 so that the temperature inside the chamber 50 is maintained at a cooking temperature determined according to the type, number, and/or cooking course of the food.
  • the cooking appliance 1 may include various sensors.
  • the cooking appliance 1 may include a current sensor and a voltage sensor.
  • the current sensor can measure the current applied to the electronic components of the cooking appliance 1.
  • the voltage sensor can measure the voltage applied to the electronic components of the cooking appliance 1.
  • the microphone 120 can acquire the user's voice input.
  • the control unit 200 can detect various commands included in the user's voice and control the operation of the cooking appliance 1 according to the detected commands.
  • Various commands obtained through the above-described input unit 42 may also be obtained from the user's voice input through the microphone 120.
  • the speaker 130 may output sound related to the operation of the cooking appliance 1.
  • the speaker 130 may output information input by the user or information provided to the user in various sounds.
  • the control unit 200 may control the speaker 130 to output a voice message including the name of the food, the numerical range, and the numerical unit.
  • the control unit 200 may include a processor 210 and a memory 220.
  • the processor 210 is hardware and may include a logic circuit and an operation circuit.
  • the processor 210 may control electrically connected components of the cooking appliance 1 using programs, instructions, and/or data stored in the memory 220 to operate the cooking appliance 1.
  • the control unit 200 may be implemented as a control circuit including circuit elements such as condensers, inductors, and resistance elements.
  • the processor 210 and memory 220 may be implemented as separate chips or as a single chip. Additionally, the control unit 200 may include a plurality of processors and a plurality of memories.
  • the memory 220 may store programs, applications, and/or data for operating the cooking appliance 1, and may store data generated by the processor 210.
  • the memory 220 may store an acoustic matching table containing acoustic information matching the properties of the food and changes in the state of the food.
  • the memory 220 may include non-volatile memory such as ROM (Read Only Memory) or flash memory for long-term storage of data.
  • the memory 220 may include volatile memory such as Static Random Access Memory (S-RAM) or Dynamic Random Access Memory (D-RAM) for temporarily storing data.
  • S-RAM Static Random Access Memory
  • D-RAM Dynamic Random Access Memory
  • the components of the cooking appliance 1 are not limited to those described above.
  • the cooking appliance 1 may further include various components in addition to the components described above, and it is possible for some of the components described above to be omitted.
  • the control unit 200 may identify the food included in the image acquired by the camera 60.
  • the control unit 200 can identify the food from the image and estimate the characteristics of the food using an artificial intelligence model obtained from the memory 220 or the server 3. Characteristics of the food may include the type, quantity, number, and/or size of the food.
  • the artificial intelligence model may output the type, size, and/or number of food items included in the image.
  • the control unit 200 can estimate the characteristics of each of the plurality of foods.
  • the control unit 200 can identify not only the food but also various objects included in the image.
  • the control unit 200 may determine the cooking temperature, cooking time, and output of the heater 80 based on the type of food, the size of the food, and the number of food.
  • control unit 200 may refer to the numerical conversion table to determine the numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of food.
  • the control unit 200 may determine the numerical range as a weight range, piece range, or serving size range, and match the numerical unit to the numerical range.
  • the control unit 200 can control the display 41 to display the name of the food, the numerical range, and the numerical unit.
  • the control unit 200 may control the speaker to output a voice message including the name of the food, the numerical range, and the numerical unit.
  • the control unit 200 may control the communication circuit 100 to transmit display information for displaying the name of the food, the numerical range, and the numerical unit on the user device 2 to the server 3.
  • the user device 2 that receives display information from the server 3 can display the name of the food, the numerical range, and the numerical unit.
  • FIG. 6 illustrates the structure of the control unit described in FIG. 5.
  • control unit 200 may include a sub-controller 200a and a main control unit 200b.
  • the sub-control unit 200a and the main control unit 200b are electrically connected to each other, and each may include a separate processor and memory.
  • the main control unit 200b is electrically connected to the heater 80 and the fan 90 and can control the operation of the heater 80 and the fan 90.
  • the sub-controller 200a can control the operation of the user interface 40, camera 60, lighting 70, communication circuit 100, temperature sensor 110, microphone 120, and speaker 130. .
  • the sub-controller 200a may process electrical signals corresponding to user input input through the user interface 40 and/or user voice input through the microphone 120.
  • the sub-controller 200a may control the user interface 40 to display information regarding the operation of the cooking appliance 1.
  • the sub-controller 200a may control the speaker 130 to output sound related to the operation of the cooking appliance 1.
  • the sub-controller 200a may obtain an artificial intelligence model and a reference image used for identification of food and estimation of characteristics of food from the server 3.
  • the artificial intelligence model and reference image may be stored in the memory 220.
  • the sub-controller 200a can preprocess the image acquired by the camera 60, identify the food using an artificial intelligence model, and estimate the characteristics of the food (type, number, and/or size of the food).
  • the artificial intelligence model can output the type, size, and/or number of food items included in the image.
  • Artificial intelligence models can be created through machine learning and/or deep learning.
  • the artificial intelligence model can be created by the server 3 and stored in the memory 220 of the cooking appliance 1.
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and are limited to examples. It doesn't work.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), and/or deep Q-networks, but are not limited to those illustrated.
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • RBM restricted boltzmann machine
  • BNN belief deep network
  • BNN bidirectional recurrent deep neural network
  • BTDNN bidirectional recurrent deep neural network
  • deep Q-networks but are not limited to those illustrated.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the sub-controller 200a may include a special processor capable of performing multiple input-multiple output operations (i.e., matrix operations) to process artificial intelligence algorithms.
  • a special processor included in the sub-controller 200a may be called a Neural Process Unit (NPU).
  • NPU Neural Process Unit
  • Figure 7 shows an example of an artificial intelligence model.
  • the artificial intelligence model 700 may include a plurality of levels composed of a plurality of functions (F11, F12, ..., F53).
  • One level may include multiple functions, and each function may produce an output value corresponding to an input value.
  • the output value of the function included in one level becomes the input value of the function included in the next level.
  • Each function can pass output values to some or all of the functions included in the next level.
  • the artificial intelligence model 700 may include five levels.
  • the first level may include three functions (F11, F12, F13).
  • the second level may include four functions (F21, F22, F23, F24).
  • the third level may include five functions (F31, F32, F33, F34, and F35).
  • the fourth level may include four functions (F41, F42, F43, F44).
  • the fifth level may include three functions (F51, F52, F53).
  • Each of the three functions (F11, F12, and F13) included in the first level can receive an initial input and transfer the output value corresponding to the initial input to the function included in the second level.
  • the initial input may represent an image acquired by camera 60.
  • the first function (F11) and the second function (F12) of the first level can transfer output values to all functions (F21, F22, F23, and F24) of the second level.
  • the third function (F13) of the first level may transfer the output value to some functions (F22, F23, and F24) of the second level.
  • the second level functions receive and process the output values of the first level functions (F11, F12, F13), and send the new output values to the next level, third level functions (F31, F32). , F33, F34, F35).
  • the third level functions receive and process the output values of the second level functions (F21, F22, F23, F24), and send the new output values to the next level, the fourth level function. It can be passed to (F41, F42, F43, F44).
  • the fourth level functions receive and process the output values of the third level functions (F31, F32, F33, F34, F35), and send the new output values to the next level, the fifth level functions. It can be passed to (F51, F52, F53).
  • the fifth level functions can receive the output values of the fourth level functions (F41, F42, F43, F44), process them, and produce a final result. While the input value passes through multiple levels, the output value can converge to a specific value. There may be more than one final result.
  • the second level functions (F21, F22, F23, and F24) may directly transfer output values to the fourth level functions (F41, F42, F43, and F44).
  • Weights can be applied to the input of each function. For example, first to third weights W11, W12, and W13 may be applied to each input value of the functions F11, F12, and F13 included in the first level. Weights (W21, ..., W2n) may also be applied to the input values of each of the functions (F21, F22, F23, F24) included in the second level. Weights (W31, ..., W3n) may also be applied to the input values of each function included in the third level. Likewise, weights may be applied to the input values of each of the functions (F41, F42, F43, and F44) included in the fourth level and the input values of each of the functions (F51, F52, and F53) included in the fifth level.
  • first to third weights W11, W12, and W13 may be applied to each input value of the functions F11, F12, and F13 included in the first level. Weights (W21, ..., W2n) may also be applied to the input values of
  • Weights can have various values.
  • the weight for each of the plurality of functions may be the same value or different values. By applying appropriate weights to the input values of each function, the accuracy of the final result output from the artificial intelligence model 700 can be increased.
  • Figure 8 is a table explaining attribute information used to create an artificial intelligence model.
  • the server 3 can create an artificial intelligence model 700 using a plurality of reference images.
  • the server 3 may generate an artificial intelligence model 700 based on a plurality of reference images including various attribute information shown in the table 800 of FIG. 8.
  • Different reference images may be prepared depending on the type of food, the height of the tray on which the food is located, the type of tray, the direction in which the food is placed, and the quantity of the food.
  • Each of the plurality of reference images may include different attribute information.
  • a reference image showing a chicken leg on a tray (T) mounted at the height of the first floor (L1) within the chamber 50, and a tray (T) mounted at the height of the second floor (L2) within the chamber 50 A reference image showing a chicken leg on a tray and a reference image showing a chicken leg on a tray (T) mounted at the level of the third floor (L3) in the chamber 50 provide different attribute information regarding the height of the tray. .
  • a reference image showing chicken legs on a porcelain tray, a reference image showing chicken legs on a stainless steel tray, and a reference image showing chicken legs on a rack provide different attribute information about the type of tray. .
  • the reference image provides different attribute information regarding the orientation of the food.
  • a reference image containing one chicken leg, a reference image containing two chicken legs, a reference image containing three chicken legs, and a reference image containing four chicken legs contain different attribute information regarding the quantity of the cooked product. to provide.
  • the server 3 can generate the artificial intelligence model 700 using a plurality of reference images with different attribute information.
  • a plurality of reference images may be divided into a training set, validation set, and test set.
  • the training set represents a reference image that is directly used for learning the artificial intelligence model 700.
  • the verification set represents a reference image used for intermediate verification during the learning process of the artificial intelligence model 700.
  • the test set represents a reference image used to confirm the final performance of the artificial intelligence model 700.
  • the artificial intelligence model 700 may include a plurality of reference images and data related thereto, and may be stored in the memory 220 of the cooking appliance 1. Each reference image may be compared with an image acquired by the camera 60 of the cooking appliance 1.
  • the reference image and attribute information are not limited to those described in FIG. 8.
  • the server 3 may generate the artificial intelligence model 700 using only a reference image that includes some of the properties described in FIG. 8. Additionally, the server 3 may generate the artificial intelligence model 700 by using a reference image that includes additional attributes other than the exemplified attributes.
  • Figure 9 is a flowchart explaining a method of controlling a cooking appliance according to an embodiment.
  • the control unit 200 of the cooking appliance 1 may control the camera 60 to acquire an image inside the chamber 50 (901).
  • the control unit 200 may control the camera 60 to acquire an image inside the chamber 50.
  • the control unit 200 can input the image acquired by the camera 60 into the artificial intelligence model 700 to identify the food included in the image and estimate the type of food, the size of the food, and the number of food. Can (902).
  • the artificial intelligence model 700 may output the type, size, and/or number of food items included in the image.
  • the control unit 200 may refer to the numerical conversion table to determine the numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of food products (903).
  • the control unit 200 may determine the numerical range as a weight range, piece range, or serving size range, and match the numerical unit to the numerical range.
  • the control unit 200 may control the display 41 to display the name, numerical range, and numerical unit of the food (904).
  • the control unit 200 may control the speaker to output a voice message including the name of the food, the numerical range, and the numerical unit.
  • the control unit 200 may control the communication circuit 100 to transmit display information for displaying the name of the food, the numerical range, and the numerical unit on the user device 2 to the server 3.
  • the user device 2 that receives display information from the server 3 can display the name of the food, the numerical range, and the numerical unit.
  • the control unit 200 may perform cooking according to user input (905).
  • the control unit 200 can automatically set cooking parameters or a cooking course appropriate for the type, size, and number of food items, and perform automatic cooking.
  • the control unit 200 may control the display 41 to display a screen requesting selection of cooking parameters or a cooking course.
  • FIGS. 11, 12, and 13 show various examples of numerical ranges and numerical units of food items displayed on the display of a cooking appliance.
  • the numerical conversion table 1000 may include numerical ranges and numerical units suitable for various dishes.
  • the numerical conversion table 1000 may be stored in the memory 220. In estimating the amount of food, various units of measurement can be used depending on the type of food.
  • the food may be whole chicken.
  • the control unit 200 of the cooking device 1 can identify the food included in the image acquired by the camera 60 as a whole chicken, estimate the size of the whole chicken, and estimate the number of food items as one. You can.
  • the amount of food that is cooked one by one in the form of a large lump, such as a whole chicken, is generally expressed by weight rather than quantity. Therefore, it is desirable to provide information on the amount of whole chicken in weight range and weight unit so that the user of the cooking device 1 can intuitively recognize the amount of whole chicken.
  • the control unit 200 of the cooking device 1 can estimate the weight (eg, 0.5 kg) corresponding to the size of the whole chicken.
  • the control unit 200 may refer to the numerical conversion table 1000 to determine the numerical range and numerical unit for representing the amount of one whole chicken as a weight range (e.g., 0.4 to 0.6) and weight unit (kg). When there are multiple whole chickens, the control unit 200 can determine the total weight range along with the number of whole chickens.
  • a screen 1100 is displayed on the display 41 of the cooking appliance 1, indicating that the cooking material is a whole chicken and that the estimated weight of the whole chicken is within the weight range of 1.2 kg to 1.6 kg. It can be.
  • the screen 1100 of FIG. 11 can also be displayed through the user device 2.
  • the food may be chicken legs.
  • the control unit 200 may identify the food included in the image acquired by the camera 60 as a chicken leg and estimate the number of chicken legs (eg, 6). Of course, the control unit 200 may also estimate the weight of the chicken leg (eg, 1 kg).
  • the amount of cooked food, such as chicken legs, which have a relatively small volume and can be cooked several times at once, is usually expressed in number or pieces. Therefore, it is desirable to provide information about the amount of chicken legs in a piece range and piece unit so that the user of the cooking appliance 1 can intuitively recognize the amount of chicken legs.
  • the control unit 200 may refer to the numerical conversion table 1000 to determine the numerical range and numerical unit for representing the amount of chicken leg as a piece range (eg, 6 to 7) and a piece unit.
  • a screen 1200 indicating that the food to be cooked is a chicken leg and that the estimated number of pieces of the chicken leg is 8 or 9 may be displayed on the display 41 of the cooking appliance 1.
  • Screen 1200 of FIG. 12 can also be displayed through the user device 2.
  • the dish may be lasagna.
  • the control unit 200 can identify the food included in the image acquired by the camera 60 as lasagna and estimate the weight of the lasagna (eg, 0.5 kg). Foods such as lasagna are usually prepared in different amounts depending on how many people will be eating them, and are divided according to serving size after cooking is completed. Therefore, it is desirable to provide information on the amount of lasagna in a serving size range and serving size unit so that the user of the cooking appliance 1 can intuitively recognize the amount of lasagna.
  • the control unit 200 may refer to the numerical conversion table 1000 to determine the numerical range and numerical unit for representing the amount of lasagna as a serving size range (eg, 2 to 4) and serving size unit. For example, the serving size range and serving size unit may appear as '2 to 3 servings.'
  • a screen 1300 is displayed on the display 41 of the cooking appliance 1, indicating that the food is lasagna and the estimated serving size of the lasagna is within the serving size range from 4 to 8. It can be. Screen 1300 of FIG. 13 can also be displayed through the user device 2.
  • the cooking appliance 1 provides the user with a numerical range and numerical unit corresponding to the characteristics of the food, allowing the user to intuitively and easily identify the quantity and number of the food. Additionally, by providing the amount of food as a range, it is possible to comfortably allow for an error in estimation.
  • FIG. 14 is a flowchart illustrating an example of the method for estimating cooked food described in FIG. 9 .
  • the control unit 200 of the cooking appliance 1 can obtain a reference image matching the image acquired by the camera 60 through the artificial intelligence model 700, and attribute information of the reference image. You can obtain (1401). Attribute information of the reference image may include the type of food, the height of the tray on which the food is located, the type of tray, the direction in which the food is placed, and/or the quantity of the food. Attribute information may be data tagged in a reference image, such as metadata. The control unit 200 may determine the type of food, the size of the food, and the number of food from the attribute information of the reference image that matches the image acquired by the camera 60 (1402).
  • the method of comparing the image itself acquired by the camera 60 described in FIG. 14 with the reference image requires relatively little computing power (i.e., processor performance and memory capacity) and relatively fast calculation speed.
  • FIG. 15 is a flow chart illustrating another example of the method for estimating cooked food described in FIG. 9.
  • FIG. 16 is an image showing extraction of the partial image described in FIG. 15.
  • the control unit 200 of the cooking appliance 1 can extract a partial image corresponding to the food from the image acquired by the camera 60 using the artificial intelligence model 700 (1501) ).
  • the control unit 200 may estimate the type and size of the food from the partial image (1502).
  • the control unit 200 can count the number of partial images and determine the number of foods (1503).
  • the control unit 200 may refer to the numerical conversion table 1000 to determine the numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of food. If there are multiple foods included in the image, the control unit 200 may extract multiple partial images.
  • the control unit 200 may estimate the type and size of the food included in each of the plurality of partial images.
  • the control unit 200 may determine the numerical range and numerical unit corresponding to the food based on the type of food having the largest number or the type of food having the largest size.
  • the numerical range and numerical unit provided to the user as a result of cooking food estimation may be determined by the type of food having the largest number or the type of food having the largest size.
  • the types of food included in each of the plurality of partial images may be different, and the number of food may be different for each type of food. In this case, the food with the largest number or the largest size can be identified as the main food, and a numerical range and numerical unit suitable for the main food can be determined.
  • the control unit 200 of the cooking appliance 1 can identify four foods (Ob1, Ob2, Ob3, Ob4) in the image (IM) acquired by the camera 60. You can.
  • the control unit 200 can extract four partial images (1601, 1602, 1603, and 1604) each including four food items (Ob1, Ob2, Ob3, and Ob4).
  • the control unit 200 may estimate the type of food (eg, chicken leg) and the size of the food for each of the four partial images 1601, 1602, 1603, and 1604. Since there are four extracted partial images, the control unit 200 can estimate the number of dishes as four. Additionally, since all four cooked foods are the same type of chicken leg, a numerical range and numerical unit appropriate for representing the four chicken legs can be selected.
  • the method of extracting partial images for each food item and estimating the characteristics of the food product from each partial image described in FIGS. 15 and 16 requires relatively large computing power, but can produce more accurate estimation results. .
  • 17 is a flowchart illustrating an example of interaction between a cooking appliance, a server, and a user device.
  • the cooking appliance 1 can obtain the artificial intelligence model 700 used to estimate the food from the server 3 (1701).
  • the cooking appliance 1 may obtain the numerical conversion table 1000 from the server 3.
  • the control unit 200 of the cooking appliance 1 may control the camera 60 to obtain an image inside the chamber 50 (1702).
  • the control unit 200 of the cooking appliance 1 can identify the food from the image acquired by the camera 60 using the artificial intelligence model 700 (1703), and determines the type, size, and cooking of the food.
  • the number of waters can be estimated (1704). Additionally, the control unit 200 may refer to the numerical conversion table 1000 to determine the numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of food items (1705).
  • the control unit 200 may control the communication circuit 100 to transmit display information for displaying the name of the food, the numerical range, and the numerical unit on the user device 2 to the server 3 (1706).
  • the server 3 may transmit the received display information to the user device 2 (1706).
  • the user device 2 may receive display information from the server 3 and display the name, numerical range, and numerical unit of the food (1708).
  • the user device 2 may obtain user input regarding cooking performance (1709). For example, the user device 2 may obtain user input including an automatic cooking command or a manual cooking command. The user device 2 may generate input information in response to the user input and transmit the input information to the server 3 (1710). The server 3 may transmit the input information received from the user device 2 to the cooking appliance 1 (1711).
  • the cooking appliance 1 may perform cooking based on input information received from the server 3 (1712). For example, if the input information includes an automatic cooking command, the control unit 200 of the cooking device 1 automatically sets the cooking parameters or cooking course appropriate for the type of food, the size of the food, and the number of food. , automatic cooking can be performed.
  • the user device 2 may display a screen requesting selection of cooking parameters or a cooking course. Users can manually select cooking parameters or cooking courses.
  • the cooking appliance 1 may perform cooking according to the cooking parameters or cooking course selected by the user through the user device 2. Such user input may also be obtained through the user interface 40 of the cooking appliance 1.
  • Figure 18 is a flowchart explaining a method of updating an artificial intelligence model.
  • the server 3 can create an artificial intelligence model using the reference image (1801).
  • the server 3 can create an artificial intelligence model by learning multiple reference images through machine learning and/or deep learning.
  • Each of the plurality of reference images may include different attribute information.
  • attribute information may include the type of food, the height of the tray on which the food is located, the type of tray, the direction in which the food is placed, and/or the quantity of the food.
  • the artificial intelligence model may be transmitted to the cooking device 1 (1802).
  • the cooking appliance 1 may use an artificial intelligence model to estimate the type of food, the size of the food, and/or the number of food items included in the image acquired by the camera 60 of the cooking device 1.
  • the server 3 may acquire a new reference image periodically or upon user request (1803).
  • the server 3 may acquire new reference images from various external devices that can communicate over a network, such as the cooking appliance 1 or the user device 2.
  • the cycle of acquiring a new reference image may vary depending on the design or may be adjusted by the user.
  • the cooking appliance 1 may transmit the image of the food obtained by the camera 60 to the server 3.
  • the user device 2 can acquire images of various foods according to the user's manipulation.
  • the user device 2 can transmit images of various food items to the server 3.
  • the server 3 may determine whether the image transmitted from the cooking appliance 1 or the user device 2 is different from the existing reference image. For example, attribute information included in an image transmitted from the cooking appliance 1 or the user device 2 may be different from attribute information included in an existing reference image. If the image transmitted from the cooking device (1) or the user device (2) is different from the existing reference image, the server (3) can save the image transmitted from the cooking device (1) or the user device (2) as a new reference image. there is.
  • the server 3 may update the artificial intelligence model based on the new reference image obtained (1804).
  • the server 3 may transmit the updated artificial intelligence model to the cooking device 1 (1805).
  • the server 3 can improve the performance of the artificial intelligence model by acquiring a new reference image and updating the artificial intelligence model.
  • the cooking appliance 1 can automatically obtain an updated artificial intelligence model from the server 3 at predetermined intervals.
  • the cooking appliance 1 may obtain an updated artificial intelligence model from the server 3 according to the user's request.
  • the old artificial intelligence model stored in the memory 220 of the cooking device 1 can be replaced with an updated artificial intelligence model.
  • the cooking appliance 1 can estimate the characteristics or properties of the food in the image acquired by the camera 60 using the updated artificial intelligence model. Therefore, the performance of the cooking appliance 1 regarding estimation of food can be continuously improved.
  • a cooking appliance 1 includes a display 41; A camera 60 provided to photograph the inside of the chamber 50; A memory 220 that stores an artificial intelligence model used to estimate a food product and a numerical conversion table containing numerical information corresponding to the food product; and a control unit 200 electrically connected to the display, the camera, and the memory.
  • the control unit may input the image acquired by the camera into the artificial intelligence model to estimate the type of food, the size of the food, and the number of food.
  • the control unit may refer to the numerical conversion table to determine a numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of the food.
  • the control unit may control the display to display the name of the food, the numerical range, and the numerical unit.
  • the control unit may determine the numerical range as a weight range, a piece range, or a serving size range, and match the numerical unit to the numerical range.
  • the control unit acquires attribute information of a reference image matching the image acquired by the camera through the artificial intelligence model, and determines the type of food, the size of the food, and the number of food from the attribute information of the reference image. You can decide.
  • the control unit may extract a partial image corresponding to the food from the image, estimate the type of the food and the size of the food from the partial image, and determine the number of the food by counting the number of partial images. there is.
  • control unit estimates the type of food and the size of the food included in each of the plurality of partial images, and determines the type of food with the largest number or the food with the largest size.
  • the numerical range and numerical unit can be determined based on the type of water.
  • the cooking appliance may further include a heater supplying heat into the chamber.
  • the control unit may determine the cooking temperature, cooking time, and output of the heater based on the type of food, the size of the food, and the number of food.
  • the cooking appliance may further include a speaker.
  • the controller may control the speaker to output a voice message including the name of the food, the numerical range, and the numerical unit.
  • the cooking appliance may further include a communication circuit that communicates with the server.
  • the control unit may control the communication circuit to transmit display information for displaying the name of the food, the numerical range, and the numerical unit on the user device to the server.
  • the control unit may obtain an updated artificial intelligence model from the server at predetermined intervals.
  • a method of controlling a cooking appliance 1 includes acquiring an image of the inside of a chamber containing food using a camera; The control unit inputs the image into an artificial intelligence model stored in a memory to estimate the type of food, the size of the food, and the number of food; determining, by the control unit, a numerical range and numerical unit corresponding to the type of food, the size of the food, and the number of the food by referring to a numerical conversion table stored in the memory; and controlling the display to display the name of the food, the numerical range, and the numerical unit by the control unit.
  • Determining the numerical range and numerical units may include determining the numerical range as a weight range, piece range, or serving size range; It may include matching the numerical unit to the numerical range.
  • the estimating includes obtaining attribute information of a reference image matching the image acquired by the camera through the artificial intelligence model; It may include determining the type of food, the size of the food, and the number of food from the attribute information of the reference image.
  • the estimating includes extracting a partial image corresponding to the food from the image; estimating the type of food and the size of the food from the partial image; It may include determining the number of dishes by counting the number of partial images.
  • the estimation may include, when a plurality of partial images are extracted from the image, estimating the type and size of the food included in each of the plurality of partial images; It may include determining the numerical range and the numerical unit based on the type of food having the largest number or the type of food having the largest size.
  • the control method may further include determining the cooking temperature, cooking time, and output of the heater based on the type of food, the size of the food, and the number of food.
  • the control method may further include controlling a speaker to output a voice message including the name of the food, the numerical range, and the numerical unit.
  • the control method may further include controlling a communication circuit to transmit display information for displaying the name of the food, the numerical range, and the numerical unit on the user device to a server.
  • the disclosed cooking appliance and method of controlling the cooking appliance identify food located in the chamber of the cooking appliance using an artificial intelligence model and provide the user with a numerical range and numerical unit corresponding to the characteristics of the food. You can. Therefore, users can intuitively and easily identify the amount and number of food items.
  • the disclosed cooking appliance and cooking appliance control method can automatically set a cooking cycle appropriate for the type of food, the size of the food, and the number of food, thereby providing convenience to the user.
  • the disclosed cooking appliance and cooking appliance control method can detect characteristics of food in an image by obtaining various artificial intelligence models from a server as needed.
  • the disclosed embodiments may be implemented in the form of a storage medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • at least a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

개시된 조리 기기는, 디스플레이, 카메라, 메모리 및 제어부를 포함한다. 상기 제어부는 카메라에 의해 획득된 이미지를 인공지능모델에 입력하여 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정한다. 상기 제어부는 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정한다. 상기 제어부는 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 상기 디스플레이를 제어한다.

Description

조리 기기 및 조리 기기의 제어 방법
개시된 발명은 조리 기기 및 조리 기기의 제어 방법에 관한 것이다.
조리 기기는, 음식물과 같은 조리 대상을 가열하여 조리하기 위한 기기로, 조리 대상의 가열, 해동, 건조 및 살균 등 조리와 관련된 여러 기능을 제공할 수 있는 장치를 의미한다. 예를 들면, 조리 기기는, 가스 오븐이나 전기 오븐과 같은 오븐(oven), 마이크로파 가열 장치(이하 전자 레인지, microwave), 가스 레인지, 전기 레인지, 가스 그릴 또는 전기 그릴을 의미할 수 있다.
일반적으로 오븐은 열을 발생시키는 히터를 이용하여 음식물에 직접 열을 전달하거나 조리실 내부를 가열하여 음식물을 조리한다. 전자 레인지는 고주파를 열원으로 하여 음식물의 분자 배열을 교란시킴에 따라 발생되는 분자간 마찰열에 의해 음식물을 조리한다.
최근에는 인공 지능 기술을 이용하여 조리 기기 내부에 배치된 식품을 인식하고, 인식된 식품에 따라 조리 기기의 동작을 제어하는 기술들이 개발되고 있다.
개시된 발명은, 인공지능모델을 이용하여 조리 기기의 챔버 내에 위치한 조리물을 식별하고, 조리물의 특징에 대응하는 수치 범위와 수치 단위를 사용자에게 제공할 수 있는 조리 기기 및 조리 기기의 제어 방법을 제공한다.
개시된 발명은, 조리물의 종류, 조리물의 크기 및 조리물의 개수에 적합한 조리 행정을 자동으로 설정할 수 있는 조리 기기 및 조리 기기의 제어 방법을 제공한다.
개시된 발명은, 필요에 따라 서버로부터 다양한 인공지능모델을 획득하여 이미지 내 조리물의 특징을 검출할 수 있는 조리 기기 및 조리 기기의 제어 방법을 제공한다.
일 실시예에 따른 조리 기기(1)는, 디스플레이(41); 챔버(50) 내부를 촬영하도록 마련되는 카메라(60); 조리물의 추정에 사용되는 인공지능모델 및 상기 조리물에 대응하는 수치 정보를 포함하는 수치 변환 테이블을 저장하는 메모리(220); 및 상기 디스플레이, 상기 카메라 및 상기 메모리와 전기적으로 연결되는 제어부(200);를 포함한다. 상기 제어부는 상기 카메라에 의해 획득된 이미지를 상기 인공지능모델에 입력하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정할 수 있다. 상기 제어부는 상기 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정할 수 있다. 상기 제어부는 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따른 조리 기기(1)의 제어 방법은, 카메라에 의해 조리물이 포함된 챔버 내부의 이미지를 획득하고; 제어부에 의해, 상기 이미지를 메모리에 저장된 인공지능모델에 입력하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정하고; 상기 제어부에 의해, 상기 메모리에 저장된 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정하고; 상기 제어부에 의해, 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 디스플레이를 제어하는 것;을 포함한다.
개시된 조리 기기 및 조리 기기의 제어 방법은, 인공지능모델을 이용하여 조리 기기의 챔버 내에 위치한 조리물을 식별하고, 조리물의 특징에 대응하는 수치 범위와 수치 단위를 사용자에게 제공할 수 있다. 따라서 사용자는 조리물의 양과 개수를 직관적이고 용이하게 식별할 수 있다.
개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 종류, 조리물의 크기 및 조리물의 개수에 적합한 조리 행정을 자동으로 설정할 수 있으므로, 사용자에게 편의성을 제공할 수 있다.
또한, 개시된 조리 기기 및 조리 기기의 제어 방법은, 필요에 따라 서버로부터 다양한 인공지능모델을 획득하여 이미지 내 조리물의 특성을 검출할 수 있다.
본 문서에서 달성하고자 하는 기술적 과제 및 효과는 전술된 것으로 제한되지 않으며, 언급된 것들 이외의 다른 기술적 과제 및 효과도 아래의 설명으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 전자 장치들에 의해 구현되는 네트워크 시스템을 도시한다.
도 2는 일 실시예에 따른 조리 기기의 사시도이다.
도 3은 일 실시예에 따른 조리 기기의 단면도이다.
도 4는 트레이가 챔버 측벽의 제1 지지대에 거치된 예를 도시한다.
도 5는 일 실시예에 따른 조리 기기의 제어 구성들을 도시한다.
도 6은 도 5에서 설명된 제어부의 구조를 예시한다.
도 7은 인공지능모델의 일 예를 도시한다.
도 8은 인공지능모델을 생성하는데 사용되는 속성 정보를 설명하기 위한 표이다.
도 9는 일 실시예에 따른 조리 기기의 제어 방법을 설명하는 순서도이다.
도 10은 일 실시예에 따른 수치 변환 테이블을 도시한다.
도 11, 도 12 및 도 13은 조리 기기의 디스플레이에 표시되는 조리물의 수치 범위와 수치 단위에 관한 다양한 예를 도시한다.
도 14는 도 9에서 설명된 조리물을 추정하는 방법의 일 예를 설명하는 순서도이다.
도 15는 도 9에서 설명된 조리물을 추정하는 방법의 다른 예를 설명하는 순서도이다.
도 16은 도 15에서 설명된 부분 이미지의 추출을 나타내는 이미지이다.
도 17은 조리 기기, 서버 및 사용자 기기 간 상호 작용의 일 예를 설명하는 순서도이다.
도 18은 인공지능모델을 업데이트 하는 방법을 설명하는 순서도이다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
"제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
“포함하다” 또는 "가지다"등의 용어는 본 문서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
어떤 구성요소가 다른 구성요소와 "연결", "결합", "지지" 또는 "접촉"되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다.
어떤 구성요소가 다른 구성요소 "상에" 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우뿐 아니라 두 구성요소 사이에 또 다른 구성요소가 존재하는 경우도 포함한다.
“및/또는"이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예에 대해 설명한다.
도 1은 다양한 전자 장치들에 의해 구현되는 네트워크 시스템을 도시한다.
도 1을 참조하면, 가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 가전 기기(10)의 동작을 제어하는 적어도 하나의 프로세서 및 가전 기기(10)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.
가전 기기(10)는 다양한 종류의 가전 제품들 중 적어도 하나일 수 있다. 예를 들어, 가전 기기(10)는 도시된 바와 같이 냉장고(11), 식기세척기(12), 전기레인지(13), 전기오븐(14), 공기조화기(15), 의류 관리기(16), 세탁기(17), 건조기(18), 마이크로파 오븐(19) 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니며, 예를 들어, 도면에 도시되지 않은 청소 로봇, 진공 청소기, 텔레비전 등의 다양한 타입의 가전 제품을 포함할 수 있다. 또한, 앞서 언급된 가전 제품들은 예시에 불과하며, 앞서 언급된 가전 제품들 외에도, 다른 가전 기기, 사용자 기기(2) 또는 서버(3)와 연결되어 후술하는 동작을 수행할 수 있는 기기는 일 실시예에 따른 가전 기기(10)에 포함될 수 있다.
서버(3)는 다른 서버, 가전 기기(10) 또는 사용자 기기(2)와 통신할 수 있는 통신 모듈, 다른 서버, 가전 기기(10) 또는 사용자 기기(2)로부터 수신된 데이터를 처리할 수 있는 적어도 하나의 프로세서 및 데이터를 처리하기 위한 프로그램 또는 처리된 데이터를 저장할 수 있는 적어도 하나의 메모리를 포함할 수 있다. 이러한 서버(3)는 워크스테이션(workstation), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양한 컴퓨팅 디바이스로 구현될 수 있다. 서버(3)는 기능, 기능의 세부 구성 또는 데이터 등을 기준으로 물리적 또는 논리적으로 구분된 하나 이상의 서버로 구현될 수 있으며, 각 서버 간의 통신을 통해 데이터를 송수신하고 송수신된 데이터를 처리할 수 있다.
서버(3)는 사용자 계정을 관리하고, 사용자 계정에 결부시켜 가전 기기(10)를 등록하고, 등록된 가전 기기(10)를 관리하거나 제어하는 등의 기능을 수행할 수 있다. 예를 들어, 사용자는 사용자 기기(2)를 통해 서버(3)에 접속하여, 사용자 계정을 생성할 수 있다. 사용자 계정은 사용자에 의해 설정된 아이디와 비밀번호에 의해 식별될 수 있다. 서버(3)는 정해진 절차에 따라 가전 기기(10)를 사용자 계정에 등록할 수 있다. 예를 들어, 서버(3)는 가전 기기(10)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address) 등)를 사용자 계정에 연결하여, 가전 기기(10)를 등록, 관리, 제어할 수 있다. 사용자 기기(2)는 가전 기기(10) 또는 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 사용자 기기(2)의 동작을 제어하는 적어도 하나의 프로세서 및 사용자 기기(2)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.
사용자 기기(2)는 사용자가 휴대하거나, 사용자의 가정 또는 사무실 등에 배치될 수 있다. 사용자 기기(2)는 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 기기(2)의 메모리에는 가전 기기(10)를 제어하기 위한 프로그램, 즉 어플리케이션이 저장될 수 있다. 어플리케이션은 사용자 기기(2)에 설치된 상태로 판매되거나, 외부 서버로부터 다운로드 받아 설치될 수 있다.
사용자가 사용자 기기(2)에 설치된 어플리케이션을 실행함으로써 서버(3)에 접속하여 사용자 계정을 생성하고, 로그인 된 사용자 계정을 기반으로 서버(3)와 통신을 수행하여 가전 기기(10)를 등록할 수 있다.
예를 들어, 사용자 기기(2)에 설치된 어플리케이션에서 안내하는 절차에 따라 가전 기기(10)가 서버(3)에 접속될 수 있도록 가전 기기(10)를 조작하면, 서버(3)에서 해당 사용자 계정에 가전 기기(10)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address) 등)를 등재함으로써, 사용자 계정에 가전 기기(10)를 등록할 수 있다.
사용자는 사용자 기기(2)에 설치된 어플리케이션을 이용하여 가전 기기(10)를 제어할 수 있다. 예를 들어, 사용자가 사용자 기기(2)에 설치된 어플리케이션으로 사용자 계정에 로그인 하면, 사용자 계정에 등록된 가전 기기(10)가 나타나고, 가전 기기(10)에 대한 제어 명령을 입력하면 서버(3)를 통해 가전 기기(10)에 제어 명령을 전달할 수 있다.
네트워크는 유선 네트워크와 무선 네트워크를 모두 포함할 수 있다. 유선 네트워크는 케이블 네트워크 또는 전화 네트워크 등을 포함하며, 무선 네트워크는 전파를 통하여 신호를 송수신하는 모든 네트워크를 포함할 수 있다. 유선 네트워크와 무선 네트워크는 서로 연결될 수 있다.
네트워크는 인터넷 같은 광역 네트워크(wide area network, WAN), 접속 중계기(Access Point, AP)를 중심으로 형성된 지역 네트워크(local area network, LAN) 및/또는 접속 중계기(AP)를 통하지 않는 근거리 무선 네트워크를 포함할 수 있다. 근거리 무선 네트워크는, 예를 들면, 블루투스(Bluetooth쪠, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4), 와이파이 다이렉트(Wi-Fi Direct), NFC(Near Field Communication), 지-웨이브(Z-Wave) 등을 포함할 수 있으나, 예시된 것들로 한정되지 않는다.
접속 중계기(AP)는 가전 기기(10) 또는 사용자 기기(2)를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 가전 기기(10) 또는 사용자 기기(2)는 광역 네트워크(WAN)를 통해 서버(3)에 연결될 수 있다.
접속 중계기(AP)는 와이파이(Wi-Fi쪠, IEEE 802.11), 블루투스(Bluetooth쪠, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4) 등의 무선 통신을 이용하여 가전 기기(10) 또는 사용자 기기(2)와 통신하고 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있으나, 이에 한정되는 것은 아니다.
다양한 실시예에 따라, 가전 기기(10)는 접속 중계기(AP)를 통하지 않고 사용자 기기(2) 또는 서버(3)와 직접 연결될 수도 있다.
가전 기기(10)는 원거리 무선 네트워크 또는 근거리 무선 네트워크를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.
예를 들어, 가전 기기(10)는 근거리 무선 네트워크(예: 와이파이 다이렉트)를 통해 사용자 기기(2)와 연결될 수 있다.
또 다른 예로, 가전 기기(10)는 원거리 무선 네트워크(예: 셀룰러 통신 모듈)를 이용하여 광역 네트워크(WAN)를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.
또 다른 예로, 가전 기기(10)는 유선 통신을 이용하여 광역 네트워크(WAN)에 접속하고, 광역 네트워크(WAN)를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.
가전 기기(10)가 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있는 경우, 접속 중계기로서 동작할 수도 있다. 이에 따라, 가전 기기(10)는 다른 가전 기기를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 또한, 다른 가전 기기는 가전 기기(10)를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다.
가전 기기(10)는 네트워크를 통하여 동작 또는 상태에 관한 정보를 다른 가전 기기, 사용자 기기(2) 또는 서버(3)에 전송할 수 있다. 예를 들어, 가전 기기(10)는 서버(3)로부터 요청이 수신되는 경우, 가전 기기(10)에서 특정 이벤트가 발생한 경우, 또는 주기적으로 또는 실시간으로 동작 또는 상태에 관한 정보를 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로 전송할 수 있다. 서버(3)는 가전 기기(10)로부터 동작 또는 상태에 관한 정보가 수신되면 저장되어 있던 가전 기기(10)의 동작 또는 상태에 관한 정보를 업데이트하고, 네트워크를 통하여 사용자 기기(2)에 가전 기기(10)의 동작 및 상태에 관한 업데이트된 정보를 전송할 수 있다. 여기서, 정보의 업데이트란 기존 정보에 새로운 정보를 추가하는 동작, 기존 정보를 새로운 정보로 대체하는 동작 등 기존 정보가 변경되는 다양한 동작을 포함할 수 있다.
가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로부터 다양한 정보를 획득하고, 획득된 정보를 사용자에게 제공할 수 있다. 예를 들어, 가전 기기(10)는 서버(3)로부터 가전 기기(10)의 기능과 관련된 정보(예를 들어, 조리법, 세탁법 등), 다양한 환경 정보(예를 들어, 날씨, 온도, 습도 등)의 정보를 획득하고, 사용자 인터페이스를 통해 획득된 정보를 출력할 수 있다.
가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 예를 들어, 가전 기기(10)는 사용자 입력이 없더라도 서버(3)의 제어 명령에 따라 동작할 수 있도록 사용자의 사전 승인을 획득한 경우, 가전 기기(10)는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 여기서, 서버(3)로부터 수신되는 제어 명령은 사용자가 사용자 기기(2)를 통해 입력한 제어 명령 또는 기 설정된 조건에 기초한 제어 명령 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 기기(2)는 통신 모듈을 통해 사용자에 관한 정보를 가전 기기(10) 또는 서버(3)에 전송할 수 있다. 예를 들어, 사용자 기기(2)는 사용자의 위치, 사용자의 건강 상태, 사용자의 취향, 사용자의 일정 등에 관한 정보를 서버(3)에 전송할 수 있다. 사용자 기기(2)는 사용자의 사전 승인에 따라 사용자에 관한 정보를 서버(3)에 전송할 수 있다.
가전 기기(10), 사용자 기기(2) 또는 서버(3)는 인공 지능 등의 기술을 이용하여 제어 명령을 결정할 수 있다. 예를 들어, 서버(3)는 가전 기기(10)의 동작 또는 상태에 관한 정보를 수신하거나 사용자 기기(2)의 사용자에 관한 정보를 수신하여 인공 지능 등의 기술을 이용하여 처리하고, 처리 결과에 기초하여 가전 기기(10) 또는 사용자 기기(2)에 처리 결과 또는 제어 명령을 전송할 수 있다.
이하에서 설명되는 조리 기기(1)는 전술된 가전 기기(10)에 해당한다.
도 2는 일 실시예에 따른 조리 기기의 사시도이다. 도 3은 일 실시예에 따른 조리 기기의 단면도이다. 도 4는 트레이가 챔버 측벽의 제1 지지대에 거치된 예를 도시한다.
도 2, 도 3 및 도 4를 참조하면, 조리 기기(1)는, 외관을 형성하는 하우징(1h)과, 하우징(1h)의 개구를 개폐하도록 마련되는 도어(20)를 포함할 수 있다. 도어(20)는 적어도 하나의 투명 유리판(21)을 포함할 수 있다. 예를 들면, 도어(20)는 도어(20)의 외면을 형성하는 제1 투명 유리판(21)과 도어(20)의 내면을 형성하는 제2 투명 유리판(22)을 포함할 수 있다. 또한, 제1 투명 유리판(21)과 제2 투명 유리판(22) 사이에 제3 투명 유리판(23)이 배치될 수도 있다. 도어(20)가 3중 투명 유리판을 포함하는 것으로 예시되었으나, 이에 제한되지 않는다. 도어(20)는 2중 투명 유리판 또는 4중 투명 유리판을 포함할 수도 있다.
도어(20)에 포함되는 적어도 하나의 투명 유리판(21, 22, 23)은 윈도우 역할을 할 수 있다. 사용자는 도어(20)가 닫혀 있을 때 투명 유리판(21, 22, 23)을 통해 챔버(50) 내부를 관찰할 수 있다. 투명 유리판(21, 22, 23)은 내열 유리로 형성될 수 있다.
조리 기기(1)의 하우징(1h)에는 조리 기기(1)의 동작과 관련된 정보를 표시하고 사용자 입력을 획득하기 위한 사용자 인터페이스(40)가 마련될 수 있다. 사용자 인터페이스(40)는 조리 기기(1)의 동작과 관련된 정보를 표시하는 디스플레이(41)와 사용자의 입력을 획득하는 입력부(42)를 포함할 수 있다. 디스플레이(41)와 입력부(42)는 하우징(1h)의 다양한 위치에 마련될 수 있다. 예를 들면, 디스플레이(41)와 입력부(42)는 하우징(1h)의 상측 전면에 위치할 수 있다.
디스플레이(41)는 다양한 종류의 디스플레이 패널로 제공될 수 있다. 예를 들어, 디스플레이(41)는 액정 디스플레이 패널(Liquid Crystal Display Panel, LCD Panel), 발광 다이오드 패널(Light Emitting Diode Panel, LED Panel), 유기 발광 다이오드 패널(Organic Light Emitting Diode Panel, OLED Panel), 또는 마이크로 LED 패널을 포함할 수 있다. 디스플레이(41)는 터치 스크린을 포함하여 입력 장치로도 사용될 수 있다.
디스플레이(41)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다. 디스플레이(41)는 조리 기기(1)의 동작과 관련된 정보를 이미지 또는 텍스트 중 적어도 하나로 표시할 수 있다. 또한, 디스플레이(41)는 조리 기기(1)의 제어를 가능하게 하는 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 표시할 수 있다. 즉, 디스플레이(41)는 아이콘(Icon)과 같은 UI 엘리먼트(User Interface Element)를 표시할 수 있다.
입력부(42)는 사용자 입력에 대응하는 전기적 신호(전압 또는 전류)를 제어부(200)로 전송할 수 있다. 입력부(42)는 다양한 버튼들 및/또는 다이얼을 포함할 수 있다. 예를 들면, 입력부(42)는 조리 기기(1)의 전원을 온 또는 오프 하기 위한 전원 버튼, 조리 동작을 시작 또는 정지하기 위한 시작/정지 버튼, 조리 코스를 선택하기 위한 조리 코스 버튼, 조리 온도를 설정하기 위한 온도 버튼 및 조리 시간을 설정하기 위한 시간 버튼 중 적어도 하나를 포함할 수 있다. 다양한 버튼들은 물리 버튼 또는 터치 버튼으로 마련될 수 있다.
입력부(42)에 포함되는 다이얼은 회전 가능하게 마련될 수 있다. 다이얼의 회전에 의해 복수의 조리 코스 중 하나가 선택될 수 있다. 다이얼의 회전에 따라 디스플레이(41)에 표시되는 UI 엘리먼트들이 순차적으로 이동할 수 있다. 조리 기기(1)는 선택된 조리 코스에 따라 조리를 수행할 수 있다. 조리 코스는 조리 온도, 조리 시간, 히터(80)의 출력 및 팬(90)의 출력과 같은 조리 파라미터를 포함할 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 다른 조리 코스가 선택될 수 있다.
조리 기기(1)는 하우징(1h) 내부에 마련되고 조리물이 위치할 수 있는 챔버(50)를 포함할 수 있다. 하우징(1h)의 전방에는 개구가 마련될 수 있다. 사용자는 하우징(1h)의 개구를 통해 조리물을 챔버(50) 내에 위치시킬 수 있다. 챔버(50)는 직육면체 형상으로 마련될 수 있다.
챔버(50)의 양 측벽에는 트레이(T)의 거치를 위한 복수의 지지대(51, 52)가 마련될 수 있다. 지지대는 '레일'로 호칭될 수도 있다. 일 예로, 복수의 지지대(51, 52)는 챔버(50)의 좌측 내벽과 우측 내벽으로부터 돌출되도록 형성될 수 있다. 다른 예로, 복수의 지지대(51, 52)는 별도의 구조물로서 챔버(50)의 좌측 내벽과 우측 내벽에 장착 가능하도록 마련될 수 있다.
복수의 지지대(51, 52) 각각은 전후 방향으로 미리 정해진 길이를 갖는다. 복수의 지지대(51, 52)는 상하 방향으로 서로 떨어진 위치에 마련될 수 있다. 예를 들면, 복수의 지지대(51, 52)는 제1 지지대(51)와, 제1 지지대(51)의 위치보다 높은 위치에 형성되는 제2 지지대(52)를 포함할 수 있다. 제1 지지대(51)는 챔버(50)의 바닥(50a)으로부터 제1 높이(h1)에 위치할 수 있다. 제2 지지대(52)는 챔버(50)의 바닥(50a)으로부터 제1 높이(h1)보다 높은 제2 높이(h2)에 위치할 수 있다.
제1 지지대(51)는 챔버(50)의 좌측 내벽과 우측 내벽 각각의 제1 높이에 위치하는 한 쌍의 지지대를 의미할 수 있다. 제2 지지대(52)는 챔버(50)의 좌측 내벽과 우측 내벽 각각의 제2 높이에 위치하는 한 쌍의 지지대를 의미할 수 있다. 챔버(50) 내 공간은 복수의 지지대(51, 52)에 의해 복수의 층으로 구분될 수 있다. 예를 들면, 챔버(50)의 바닥(50a)은 1층(L1)을 형성하고, 제1 지지대(51)는 2층(L2)을 형성하며, 제2 지지대(52)는 3층(L3)을 형성할 수 있다.
복수의 지지대(51, 52)에 의해 트레이(T)가 챔버(50) 내에서 다양한 높이에 거치될 수 있다. 예를 들면, 트레이(T)는 챔버(50)의 바닥(50a), 제1 지지대(51) 또는 제2 지지대(52)에 거치될 수 있다. 트레이(T)가 챔버(50) 내에 투입되면, 트레이(T)의 상면은 챔버(50)의 천장과 마주할 수 있다. 트레이(T)의 상면에는 조리물이 위치할 수 있다. 트레이(T)는 다양한 형상을 가질 수 있다. 예를 들면, 트레이(T)는 직사각형 또는 원형으로 마련될 수 있다.
복수의 트레이가 동시에 거치되는 경우, 복수의 조리 공간이 형성될 수 있다. 예를 들면, 복수의 트레이가 챔버(50)의 바닥(50a), 제1 지지대(51) 및 제2 지지대(52) 모두에 거치되면, 챔버(50) 내에는 1층 공간, 2층 공간 및 3층 공간이 형성될 수 있다.
챔버(50)의 양 측벽에서 서로 다른 높이에 2개의 지지대(51, 52)가 마련되는 것으로 예시되었으나, 이에 제한되지 않는다. 설계에 따라 다양한 개수의 레일이 마련될 수 있다. 챔버(50)가 클수록 많은 수의 레일이 마련될 수 있다.
챔버(50)와 하우징(1h) 사이에는 조리 기기(1)의 동작에 필요한 다양한 부품들이 배치될 수 있다. 예를 들면, 조리 기기(1)는 카메라(60), 조명(70), 팬(90) 및 다양한 회로를 포함할 수 있다.
카메라(60)는 챔버(50) 내부의 이미지를 획득할 수 있다. 카메라(60)는 획득한 이미지의 데이터를 제어부(200)로 전송할 수 있다. 카메라(60)는 렌즈와 이미지 센서를 포함할 수 있다. 카메라(60)의 시야(FOV)를 확보하기 위해, 카메라(60)의 위치와 인접한 챔버(50)의 상면의 일부는 투명 소재(예를 들면, 투명 내열 유리)로 형성될 수 있다.
조명(70)은 챔버(50) 내부로 광을 방출할 수 있다. 조명(70)에서 방출되는 광에 의해 챔버(50) 내부가 밝아질 수 있다. 그에 따라 카메라(60)에 의해 획득된 이미지의 밝기, 대비 및/또는 선명도가 증가할 수 있고, 이미지에 포함된 오브젝트의 식별력이 향상될 수 있다. 조명(70)의 위치와 인접한 챔버(50)의 상면의 다른 일부에는 조명(70)의 광을 챔버(50) 내부로 투과시키고 확산시키기 위한 확산 소재가 마련될 수 있다.
챔버(50)의 상단에는 히터(80)가 위치할 수 있다. 히터(80)는 챔버(50) 내부로 열을 공급할 수 있다. 히터(80)가 생성하는 열에 의해 조리물이 조리될 수 있다. 히터(80)는 하나 이상으로 마련될 수 있다. 제어부(200)에 의해 히터(80)의 가열 레벨과 가열 시간이 조절될 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 히터(80)의 출력과 가열 시간이 다르게 조절될 수 있다. 즉, 조리 코스에 따라 히터(80)의 동작이 다르게 제어될 수 있다.
팬(90)은 챔버(50) 내부의 공기를 순환시킬 수 있다. 팬(90)은 모터와 블레이드를 포함할 수 있다. 팬(90)은 하나 이상으로 마련될 수 있다. 팬(90)이 동작함에 따라 히터(80)에 의해 가열된 공기가 챔버(50) 내부를 순환할 수 있다. 따라서 히터(80)에 의해 생성된 열이 챔버(50)의 상부로부터 하부까지 골고루 전달될 수 있다. 제어부(200)에 의해 팬(90)의 회전 속도와 회전 시간이 조절될 수 있다. 조리 코스에 따라 팬(90)의 동작이 다르게 제어될 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 팬(90)의 출력과 회전 시간이 다르게 조절될 수 있다.
도 5는 일 실시예에 따른 조리 기기의 제어 구성들을 도시한다.
도 5를 참조하면, 조리 기기(1)는 사용자 인터페이스(40), 카메라(60), 조명(70), 히터(80), 팬(90), 통신 회로(100), 온도 센서(110) 및 제어부(200)를 포함할 수 있다. 또한, 조리 기기(1)는 마이크(120)와 스피커(130)를 포함할 수 있다. 제어부(200)는 조리 기기(1)의 구성요소들과 전기적으로 연결되고, 조리 기기(1)의 구성요소들을 제어할 수 있다.
사용자 인터페이스(40)는 디스플레이(41)와 입력부(42)를 포함할 수 있다. 디스플레이(41)는 조리 기기(1)의 동작과 관련된 정보를 표시할 수 있다. 디스플레이(41)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다.
입력부(42)는 사용자 입력을 획득할 수 있다. 사용자 입력은 다양한 명령을 포함할 수 있다. 예를 들면, 입력부(42)는, 아이템을 선택하는 명령, 조리 코스를 선택하는 명령, 히터(80)의 가열 레벨을 조절하는 명령, 조리 시간을 조절하는 명령, 조리 온도를 조절하는 명령, 조리 시작 명령 또는 조리 중지 명령 중 적어도 하나를 획득할 수 있다. 사용자 입력은 사용자 기기(2)로부터 획득될 수도 있다.
제어부(200)는 입력부(42) 또는 사용자 기기(2) 중 적어도 하나를 통해 수신되는 명령을 처리하여 조리 기기(1)의 작동을 제어할 수 있다. 조리 기기(1)는 메모리(220), 사용자 기기(2) 또는 서버(3)로부터 획득한 조리 코스 정보에 기초하여 조리를 자동으로 수행할 수 있다.
카메라(60)는 챔버(50) 내부의 이미지를 획득할 수 있다. 카메라(60)는 미리 정해진 시야(FOV)를 가질 수 있다. 카메라(60)는 챔버(50)의 상부에 위치하고, 챔버(50)의 상면에서 챔버(50) 내부를 향하는 시야(FOV)를 가질 수 있다. 제어부(200)는 조리 기기(1)의 전원이 켜진 후 도어(20)가 닫히면 챔버(50) 내부의 이미지를 획득하도록 카메라(60)를 제어할 수 있다. 제어부(200)는 조리가 시작된 후 조리가 완료될 때까지 미리 정해진 시간 간격마다 챔버(50) 내부의 이미지를 획득하도록 카메라(60)를 제어할 수도 있다.
조명(70)은 챔버(50) 내부로 광을 방출할 수 있다. 제어부(200)는 조리 기기(1)의 전원이 켜지면 광을 방출하도록 조명(70)을 제어할 수 있다. 제어부(200)는 조리가 완료될 때까지 또는 조리 기기(1)의 전원이 꺼질 때까지 광을 방출하도록 조명(70)을 제어할 수 있다.
히터(80)는 챔버(50) 내부로 열을 공급할 수 있다. 제어부(200)는 히터(80)의 출력을 조절할 수 있다. 예를 들면, 제어부(200)는 히터(80)의 가열 레벨과 가열 시간을 조절할 수 있다. 제어부(200)는 챔버(50) 내 트레이(T)의 위치, 조리물의 성질 및/또는 조리 코스에 따라 히터(80)의 가열 레벨과 가열 시간을 조절할 수 있다.
팬(90)은 챔버(50) 내부의 공기를 순환시킬 수 있다. 제어부(200)는 팬(90)의 출력을 조절할 수 있다. 예를 들면, 제어부(200)는 팬(90)의 회전 속도와 회전 시간을 조절할 수 있다. 제어부(200)는 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량, 개수 및/또는 크기에 따라 팬(90)의 회전 속도와 회전 시간을 조절할 수 있다.
통신 회로(100)는 네트워크를 통해 사용자 기기(2) 또는 서버(3) 중 적어도 하나와 연결을 수행할 수 있다. 제어부(200)는 통신 회로(100)를 통해 서버(3)로부터 다양한 정보, 다양한 신호 및/또는 다양한 데이터를 획득할 수 있다. 예를 들면, 통신 회로(100)는 사용자 기기(2)로부터 원격 제어 신호를 수신할 수 있다. 제어부(200)는 통신 회로(100)를 통해 서버(3)로부터 이미지를 분석하는데 사용되는 인공지능모델을 획득할 수 있다.
통신 회로(100)는 다양한 통신 모듈을 포함할 수 있다. 통신 회로(100)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 무선 통신 기술로서, 무선 랜(wireless local area network), 홈 RF(Home Radio Frequency), 적외선 통신, UWB(Ultra-wide band) 통신, 와이파이, 블루투스, 지그비(Zigbee) 등이 적용될 수 있다.
온도 센서(110)는 챔버(50) 내부의 온도를 검출할 수 있다. 온도 센서(110)는 챔버(50) 내부의 다양한 위치에 설치될 수 있다. 온도 센서(110)는 검출된 온도에 대응하는 전기적 신호를 제어부(200)에 전송할 수 있다. 제어부(200)는 챔버(50) 내부의 온도가 조리물의 종류, 개수 및/또는 조리 코스에 따라 정해지는 조리 온도로 유지되도록 히터(80)와 팬(90) 중 적어도 하나를 제어할 수 있다.
이외에도, 조리 기기(1)는 다양한 센서를 포함할 수 있다. 예를 들면, 조리 기기(1)는 전류 센서와 전압 센서를 포함할 수 있다. 전류 센서는 조리 기기(1)의 전자 부품들에 인가되는 전류를 측정할 수 있다. 전압 센서는 조리 기기(1)의 전자 부품들에 인가되는 전압을 측정할 수 있다.
마이크(120)는 사용자의 음성 입력을 획득할 수 있다. 제어부(200)는 사용자의 음성에 포함된 다양한 명령을 검출할 수 있고, 검출한 명령에 따라 조리 기기(1)의 동작을 제어할 수 있다. 전술된 입력부(42)를 통해 획득되는 다양한 명령은 마이크(120)를 통한 사용자의 음성 입력으로부터 획득될 수도 있다.
스피커(130)는 조리 기기(1)의 동작과 관련된 음향을 출력할 수 있다. 스피커(130)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 음향으로 출력할 수 있다. 예를 들면, 제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 포함하는 음성 메시지를 출력하도록 스피커(130)를 제어할 수 있다.
제어부(200)는 프로세서(210)와 메모리(220)를 포함할 수 있다. 프로세서(210)는 하드웨어로서, 논리 회로와 연산 회로를 포함할 수 있다. 프로세서(210)는 조리 기기(1)의 동작을 위해 메모리(220)에 저장된 프로그램, 인스트럭션 및/또는 데이터를 이용하여 전기적으로 연결된 조리 기기(1)의 구성요소들을 제어할 수 있다. 제어부(200)는 콘덴서, 인덕터 및 저항 소자와 같은 회로 소자를 포함하는 제어 회로로 구현될 수 있다. 프로세서(210)와 메모리(220)는 별도의 칩으로 구현되거나, 단일의 칩으로 구현될 수 있다. 또한, 제어부(200)는 복수의 프로세서와 복수의 메모리를 포함할 수 있다.
메모리(220)는 조리 기기(1)의 동작을 위한 프로그램, 어플리케이션 및/또는 데이터를 저장할 수 있고, 프로세서(210)에 의해 생성되는 데이터를 저장할 수 있다. 예를 들면, 메모리(220)는 조리물의 성질과 조리물의 상태 변화에 매칭되는 음향 정보를 포함하는 음향 매칭 테이블을 저장할 수 있다.
메모리(220)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(220)는 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
조리 기기(1)의 구성요소는 전술된 것으로 제한되지 않는다. 조리 기기(1)는 전술된 구성요소들 외에도 다양한 구성요소들을 더 포함할 수 있으며, 전술된 구성요소들 중 일부가 생략되는 것도 가능하다.
제어부(200)는 카메라(60)에 의해 획득된 이미지에 포함된 조리물을 식별할 수 있다. 제어부(200)는 메모리(220) 또는 서버(3)로부터 획득되는 인공지능모델을 이용하여 이미지로부터 조리물을 식별할 수 있고, 조리물의 특징을 추정할 수 있다. 조리물의 특징은 조리물의 종류, 수량, 개수 및/또는 크기를 포함할 수 있다. 카메라(60)에 의해 획득된 이미지가 인공지능모델에 입력되면, 인공지능모델은 이미지에 포함된 조리물의 종류, 조리물의 크기 및/또는 조리물의 개수를 출력할 수 있다. 조리물이 복수인 경우, 제어부(200)는 복수의 조리물 각각의 특징을 추정할 수 있다. 제어부(200)는 조리물 뿐만 아니라 이미지에 포함된 다양한 오브젝트를 식별할 수 있다. 제어부(200)는 조리물의 종류, 조리물의 크기 및 조리물의 개수에 기초하여 조리 온도, 조리 시간 및 히터(80)의 출력을 결정할 수 있다.
또한, 제어부(200)는 수치 변환 테이블을 참조하여 조리물의 종류, 조리물의 크기 및 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정할 수 있다. 제어부(200)는 수치 범위를 무게 범위, 조각 범위 또는 서빙 사이즈 범위로 결정하고, 수치 단위를 수치 범위에 매칭시킬 수 있다. 제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 표시하도록 디스플레이(41)를 제어할 수 있다. 제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 포함하는 음성 메시지를 출력하도록 상기 스피커를 제어할 수도 있다. 제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 사용자 기기(2)에 표시하기 위한 표시 정보를 서버(3)에 전송하도록 통신 회로(100)를 제어할 수도 있다. 서버(3)로부터 표시 정보를 수신한 사용자 기기(2)는 조리물의 명칭, 수치 범위 및 수치 단위를 표시할 수 있다.
도 6은 도 5에서 설명된 제어부의 구조를 예시한다.
도 6을 참조하면, 제어부(200)는 서브 제어부(200a)와 메인 제어부(200b)를 포함할 수 있다. 서브 제어부(200a)와 메인 제어부(200b)는 서로 전기적으로 연결되고, 각각 별도의 프로세서와 메모리를 포함할 수 있다. 메인 제어부(200b)는 히터(80) 및 팬(90)과 전기적으로 연결되고 히터(80)의 동작과 팬(90)의 동작을 제어할 수 있다.
서브 제어부(200a)는 사용자 인터페이스(40), 카메라(60), 조명(70), 통신 회로(100), 온도 센서(110), 마이크(120) 및 스피커(130)의 동작을 제어할 수 있다. 서브 제어부(200a)는 사용자 인터페이스(40)를 통해 입력되는 사용자 입력 및/또는 마이크(120)를 통해 입력되는 사용자 음성에 대응하는 전기적 신호를 처리할 수 있다. 서브 제어부(200a)는 조리 기기(1)의 동작에 관한 정보를 표시하도록 사용자 인터페이스(40)를 제어할 수 있다. 서브 제어부(200a)는 조리 기기(1)의 동작에 관한 음향을 출력하도록 스피커(130)를 제어할 수 있다.
서브 제어부(200a)는 서버(3)로부터 조리물의 식별 및 조리물의 특징 추정에 사용되는 인공지능모델 및 레퍼런스 이미지를 획득할 수 있다. 인공지능모델과 레퍼런스 이미지는 메모리(220)에 저장될 수 있다. 서브 제어부(200a)는 카메라(60)에 의해 획득된 이미지를 전처리 하고, 인공지능모델을 이용하여 조리물을 식별하며, 조리물의 특징(조리물의 종류, 개수 및/또는 크기)를 추정할 수 있다. 인공지능모델은 이미지에 포함된 조리물의 종류, 크기 및/또는 개수를 출력할 수 있다.
인공지능모델은 머신 러닝 및/또는 딥 러닝을 통해 생성될 수 있다. 인공지능모델은 서버(3)에 의해 생성될 수 있으며, 조리 기기(1)의 메모리(220)에 저장될 수 있다. 학습 알고리즘은, 예를 들면, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으며, 예시된 것으로 한정되지 않는다.
인공지능모델은 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 및/또는 심층 Q-네트워크(deep Q-networks)를 포함할 수 있으며, 예시된 것으로 제한되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
서브 제어부(200a)는 인공 지능 알고리즘을 처리하기 위해, 다중 입력- 다중 출력 연산(즉, 매트릭스(Matrix) 연산)을 수행할 수 있는 특수한 프로세서를 포함할 수 있다. 서브 제어부(200a)에 포함되는 특수한 프로세서는 NPU(Neural Process Unit)로 호칭될 수 있다.
도 7은 인공지능모델의 일 예를 도시한다.
도 7을 참조하면, 인공지능모델(700)은 복수의 함수(F11, F12, ... , F53)로 구성되는 복수의 레벨을 포함할 수 있다. 하나의 레벨에는 복수의 함수가 포함될 수 있으며, 각 함수는 입력값에 대응하는 출력값을 낼 수 있다. 한 레벨에 포함된 함수의 출력값은 다음 레벨에 포함된 함수의 입력값이 된다. 각 함수는 다음 레벨에 포함된 함수의 일부 또는 전부에 출력값을 전달할 수 있다.
예를 들면, 인공지능모델(700)은 5개의 레벨을 포함할 수 있다. 제1 레벨에는 3개의 함수(F11, F12, F13)가 포함될 수 있다. 제2 레벨에는 4개의 함수(F21, F22, F23, F24)가 포함될 수 있다. 제3 레벨에는 5개의 함수(F31, F32, F33, F34, F35)가 포함될 수 있다. 제4 레벨에는 4개의 함수(F41, F42, F43, F44)가 포함될 수 있다. 제5 레벨에는 3개의 함수(F51, F52, F53)가 포함될 수 있다.
제1 레벨에 포함된 3개의 함수(F11, F12, F13) 각각은 최초 입력을 수신하고 최초 입력에 대응하는 출력값을 제2 레벨에 포함된 함수로 전달할 수 있다. 최초 입력은 카메라(60)에 의해 획득된 이미지를 나타낼 수 있다. 제1 레벨의 제1 함수(F11)와 제2 함수(F12)는 출력값을 제2 레벨의 모든 함수(F21, F22, F23, F24)로 전달할 수 있다. 제1 레벨의 제3 함수(F13)는 출력값을 제2 레벨의 일부 함수(F22, F23, F24)로 전달할 수 있다.
제2 레벨의 함수(F21, F22, F23, F24)는 제1 레벨의 함수(F11, F12, F13)의 출력값을 입력 받아 처리하고, 새로운 출력값을 다음 레벨인 제3 레벨의 함수(F31, F32, F33, F34, F35)에 전달할 수 있다. 제3 레벨의 함수(F31, F32, F33, F34, F35)는 제2 레벨의 함수(F21, F22, F23, F24)의 출력값을 입력 받아 처리하고, 새로운 출력값을 다음 레벨인 제4 레벨의 함수(F41, F42, F43, F44)에 전달할 수 있다. 제4 레벨의 함수(F41, F42, F43, F44)는 제3 레벨의 함수(F31, F32, F33, F34, F35)의 출력값을 입력 받아 처리하고, 새로운 출력값을 다음 레벨인 제5 레벨의 함수(F51, F52, F53)에 전달할 수 있다. 제5 레벨의 함수(F51, F52, F53)는 제4 레벨의 함수(F41, F42, F43, F44)의 출력값을 입력 받아 처리하고, 최종 결과값을 낼 수 있다. 입력값이 복수의 레벨을 거치는 동안 출력값은 특정값으로 수렴할 수 있다. 최종 결과값은 하나 이상으로 나올 수 있다.
설계에 따라 일부 레벨만 사용될 수도 있다. 예를 들면, 점선 화살표로 도시된 바와 같이, 제2 레벨의 함수(F21, F22, F23, F24)는 출력값을 바로 제4 레벨의 함수(F41, F42, F43, F44)에 전달할 수도 있다.
각 함수의 입력에는 가중치가 적용될 수 있다. 예를 들면, 제1 레벨에 포함된 함수(F11, F12, F13) 각각의 입력값에 제1 가중치 내지 제3 가중치(W11, W12, W13)가 적용될 수 있다. 제2 레벨에 포함된 함수(F21, F22, F23, F24) 각각의 입력값에도 가중치(W21, ... , W2n)가 적용될 수 있다. 제3 레벨에 포함된 함수 각각의 입력값에도 가중치(W31, ... , W3n)가 적용될 수 있다. 마찬가지로, 제4 레벨에 포함된 함수(F41, F42, F43, F44) 각각의 입력값과 제5 레벨에 포함된 함수(F51, F52, F53) 각각의 입력값에도 가중치가 적용될 수 있다.
가중치는 다양한 값을 가질 수 있다. 복수의 함수 각각에 관한 가중치는 동일한 값이거나 다른 값일 수 있다. 각 함수의 입력값에 적절한 가중치를 적용함으로써 인공지능모델(700)로부터 출력되는 최종 결과값의 정확도가 증가할 수 있다.
도 8은 인공지능모델을 생성하는데 사용되는 속성 정보를 설명하기 위한 표이다.
도 8을 참조하면, 서버(3)는 복수의 레퍼런스 이미지를 이용하여 인공지능모델(700)을 생성할 수 있다. 서버(3)는 도 8의 표(800)에 나타난 다양한 속성 정보를 포함하는 복수의 레퍼런스 이미지에 기초하여 인공지능모델(700)을 생성할 수 있다.
조리물의 종류, 조리물이 위치한 트레이의 높이, 트레이의 종류, 조리물이 배치된 방향, 조리물의 수량에 따라 다른 레퍼런스 이미지가 마련될 수 있다. 복수의 레퍼런스 이미지 각각은 서로 다른 속성 정보를 포함할 수 있다.
예를 들면, 챔버(50) 내 1층(L1) 높이에 거치된 트레이(T) 상에 있는 닭다리를 나타내는 레퍼런스 이미지와, 챔버(50) 내 2층(L2) 높이에 거치된 트레이(T) 상에 있는 닭다리를 나타내는 레퍼런스 이미지와, 챔버(50) 내 3층(L3) 높이에 거치된 트레이(T) 상에 있는 닭다리를 나타내는 레퍼런스 이미지는, 트레이의 높이에 관해 서로 다른 속성 정보를 제공한다.
도자기 재질의 트레이 상에 있는 닭다리를 나타내는 레퍼런스 이미지와, 스테인리스 재질의 트레이 상이 있는 닭다리를 나타내는 레퍼런스 이미지와, 랙 상에 있는 닭다리를 나타내는 레퍼런스 이미지는, 트레이의 종류에 관해 서로 다른 속성 정보를 제공한다.
챔버(50) 내에서 전후 방향으로 배치된 닭다리를 나타내는 레퍼런스 이미지와, 챔버(50) 내에서 좌우 방향으로 배치된 닭다리를 나타내는 레퍼런스 이미지와, 챔버(50) 내에서 대각선 방향으로 배치된 닭다리를 나타내는 레퍼런스 이미지는, 조리물의 방향에 관해 서로 다른 속성 정보를 제공한다.
1개의 닭다리를 포함하는 레퍼런스 이미지와, 2개의 닭다리를 포함하는 레퍼런스 이미지와, 3개의 닭다리를 포함하는 레퍼런스 이미지와, 4개의 닭다리를 포함하는 레퍼런스 이미지는, 조리물의 수량에 관해 서로 다른 속성 정보를 제공한다.
이와 같이, 서버(3)는 서로 다른 속성 정보를 갖는 복수의 레퍼런스 이미지를 이용하여 인공지능모델(700)을 생성할 수 있다. 복수의 레퍼런스 이미지는 트레이닝 세트(training set), 검증 세트(validation set) 및 테스트 세트(test set)로 구분될 수 있다. 트레이닝 세트는 인공지능모델(700)의 학습에 직접적으로 사용되는 레퍼런스 이미지를 나타낸다. 검증 세트는 인공지능모델(700)의 학습 과정에서 중간 검증을 위해 사용되는 레퍼런스 이미지를 나타낸다. 테스트 세트는 인공지능모델(700)의 최종 성능을 확인하기 위해 사용되는 레퍼런스 이미지를 나타낸다.
인공지능모델(700)은 복수의 레퍼런스 이미지와 그에 관한 데이터를 포함할 수 있고, 조리 기기(1)의 메모리(220)에 저장될 수 있다. 각 레퍼런스 이미지는 조리 기기(1)의 카메라(60)에 의해 획득된 이미지와 비교될 수 있다.
레퍼런스 이미지와 속성 정보는 도 8에서 설명된 것으로 한정되지 않는다. 서버(3)는 도 8에서 설명된 속성 중 일부를 포함하는 레퍼런스 이미지만 사용하여 인공지능모델(700)을 생성할 수도 있다. 또한, 서버(3)는 예시된 속성 이외의 다른 속성을 더 포함하는 레퍼런스 이미지까지 사용하여 인공지능모델(700)을 생성할 수도 있다.
도 9는 일 실시예에 따른 조리 기기의 제어 방법을 설명하는 순서도이다.
도 9를 참조하면, 조리 기기(1)의 제어부(200)는 카메라(60)를 제어하여 챔버(50) 내부의 이미지를 획득할 수 있다(901). 조리 기기(1)의 전원이 켜진 후 도어(20)가 닫히면, 제어부(200)는 챔버(50) 내부의 이미지를 획득하도록 카메라(60)를 제어할 수 있다.
제어부(200)는 카메라(60)에 의해 획득된 이미지를 인공지능모델(700)에 입력하여 이미지에 포함된 조리물을 식별할 수 있고, 조리물의 종류, 조리물의 크기 및 조리물의 개수를 추정할 수 있다(902). 카메라(60)에 의해 획득된 이미지가 인공지능모델(700)에 입력되면, 인공지능모델(700)은 이미지에 포함된 조리물의 종류, 조리물의 크기 및/또는 조리물의 개수를 출력할 수 있다.
제어부(200)는 수치 변환 테이블을 참조하여 조리물의 종류, 조리물의 크기 및 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정할 수 있다(903). 제어부(200)는 수치 범위를 무게 범위, 조각 범위 또는 서빙 사이즈 범위로 결정하고, 수치 단위를 수치 범위에 매칭시킬 수 있다.
제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 표시하도록 디스플레이(41)를 제어할 수 있다(904). 제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 포함하는 음성 메시지를 출력하도록 상기 스피커를 제어할 수도 있다. 제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 사용자 기기(2)에 표시하기 위한 표시 정보를 서버(3)에 전송하도록 통신 회로(100)를 제어할 수도 있다. 서버(3)로부터 표시 정보를 수신한 사용자 기기(2)는 조리물의 명칭, 수치 범위 및 수치 단위를 표시할 수 있다.
제어부(200)는 사용자 입력에 따라 조리를 수행할 수 있다(905). 사용자 입력에 의해 자동 조리 명령이 입력되면, 제어부(200)는 조리물의 종류, 조리물의 크기 및 조리물의 개수에 적합한 조리 파라미터 또는 조리 코스를 자동으로 설정하고, 자동 조리를 수행할 수 있다. 반대로, 사용자 입력에 의해 수동 조리 명령이 입력되면, 제어부(200)는 조리 파라미터 또는 조리 코스의 선택을 요구하는 화면을 표시하도록 디스플레이(41)를 제어할 수 있다.
도 10은 일 실시예에 따른 수치 변환 테이블을 도시한다. 도 11, 도 12 및 도 13은 조리 기기의 디스플레이에 표시되는 조리물의 수치 범위와 수치 단위에 관한 다양한 예를 도시한다.
도 10을 참조하면, 수치 변환 테이블(1000)은 다양한 조리물에 적합한 수치 범위와 수치 단위를 포함할 수 있다. 수치 변환 테이블(1000)은 메모리(220)에 저장될 수 있다. 조리물의 양을 가늠하는데 있어서 조리물의 종류에 따라 다양한 측정 단위가 사용될 수 있다.
예를 들어, 조리물이 통닭일 수 있다. 조리 기기(1)의 제어부(200)는 카메라(60)에 의해 획득된 이미지에 포함된 조리물을 통닭으로 식별할 수 있고, 통닭의 크기를 추정할 수 있으며, 조리물의 개수를 1개로 추정할 수 있다. 통닭과 같이 부피가 큰 덩어리 형태를 갖고 1개씩 조리되는 조리물의 양은 수량보다 무게로 나타내는 것이 일반적이다. 따라서 조리 기기(1)의 사용자가 통닭의 양을 직관적으로 인식할 수 있도록 통닭의 양에 관한 정보를 무게 범위와 무게 단위로 제공하는 것이 바람직하다.
조리 기기(1)의 제어부(200)는 통닭의 크기에 대응하는 무게(예: 0.5kg)를 추정할 수 있다. 제어부(200)는 수치 변환 테이블(1000)을 참조하여 1개 통닭의 양을 나타내기 위한 수치 범위와 수치 단위를 무게 범위(예: 0.4~0.6)와 무게 단위(kg)로 결정할 수 있다. 통닭이 복수 개인 경우, 제어부(200)는 통닭의 개수와 함께 전체 무게 범위를 결정할 수 있다.
도 11에 도시된 바와 같이, 조리물이 통닭이고, 추정되는 통닭의 무게가 1.2kg부터 1.6kg까지의 무게 범위 내에 있음을 나타내는 화면(1100)이 조리 기기(1)의 디스플레이(41)에 표시될 수 있다. 도 11의 화면(1100)은 사용자 기기(2)를 통해서도 표시될 수 있다.
다른 예를 들면, 조리물이 닭다리일 수 있다. 제어부(200)는 카메라(60)에 의해 획득된 이미지에 포함된 조리물을 닭다리로 식별할 수 있고, 닭다리의 개수(예: 6개)를 추정할 수 있다. 물론, 제어부(200)는 닭다리의 무게(예: 1kg)를 추정할 수도 있다. 상대적으로 작은 부피를 갖고 여러 개가 한 번에 조리될 수 있는 닭다리와 같은 조리물의 양은 개수 또는 조각으로 나타내는 것이 일반적이다. 따라서 조리 기기(1)의 사용자가 닭다리의 양을 직관적으로 인식할 수 있도록 닭다리의 양에 관한 정보를 조각 범위와 조각 단위로 제공하는 것이 바람직하다. 제어부(200)는 수치 변환 테이블(1000)을 참조하여 닭다리의 양을 나타내기 위한 수치 범위와 수치 단위를 조각 범위(예: 6~7)와 조각 단위(piece)로 결정할 수 있다.
도 12에 도시된 바와 같이, 조리물이 닭다리이고, 추정되는 닭다리의 조각수가 8개 또는 9개인 것을 나타내는 화면(1200)이 조리 기기(1)의 디스플레이(41)에 표시될 수 있다. 도 12의 화면(1200)은 사용자 기기(2)를 통해서도 표시될 수 있다.
또 다른 예를 들면, 조리물이 라자냐일 수 있다. 제어부(200)는 카메라(60)에 의해 획득된 이미지에 포함된 조리물을 라자냐로 식별할 수 있고, 라자냐의 무게(예: 0.5kg)를 추정할 수 있다. 라자냐와 같은 음식은 취식할 사람이 몇 명인지에 따라 다른 양으로 준비되고, 조리 완료 후 서빙 사이즈에 따라 분할되는 것이 일반적이다. 따라서 조리 기기(1)의 사용자가 라자냐의 양을 직관적으로 인식할 수 있도록 라자냐의 양에 관한 정보를 서빙 사이즈 범위와 서빙 사이즈 단위로 제공하는 것이 바람직하다. 제어부(200)는 수치 변환 테이블(1000)을 참조하여 라자냐의 양을 나타내기 위한 수치 범위와 수치 단위를 서빙 사이즈 범위(예: 2~4)와 서빙 사이즈 단위로 결정할 수 있다. 예를 들면, 서빙 사이즈 범위와 서빙 사이즈 단위는 '2인분 내지 3인분'과 같이 나타날 수 있다.
도 13에 도시된 바와 같이, 조리물이 라자냐이고, 추정되는 라자냐의 서빙 사이즈가 4부터 8까지의 서빙 사이즈 범위 내에 있음을 나타내는 화면(1300)이 조리 기기(1)의 디스플레이(41)에 표시될 수 있다. 도 13의 화면(1300)은 사용자 기기(2)를 통해서도 표시될 수 있다.
이와 같이, 조리 기기(1)는 조리물의 특징에 대응하는 수치 범위와 수치 단위를 사용자에게 제공함으로써, 사용자가 조리물의 양과 개수를 직관적이고 용이하게 식별할 수 있게 한다. 또한, 조리물의 양을 범위로 제공함으로써 추정의 오차에 대한 허용 범위를 여유롭게 가져갈 수 있다.
도 14는 도 9에서 설명된 조리물을 추정하는 방법의 일 예를 설명하는 순서도이다.
도 14를 참조하면, 조리 기기(1)의 제어부(200)는 인공지능모델(700)을 통해 카메라(60)에 의해 획득된 이미지에 매칭되는 레퍼런스 이미지를 획득할 수 있고, 레퍼런스 이미지의 속성 정보를 획득할 수 있다(1401). 레퍼런스 이미지의 속성 정보는 조리물의 종류, 조리물이 위치한 트레이의 높이, 트레이의 종류, 조리물이 배치된 방향 및/또는 조리물의 수량을 포함할 수 있다. 속성 정보는 메타 데이터와 같이 레퍼런스 이미지에 태그 되는 데이터일 수 있다. 제어부(200)는 카메라(60)에 의해 획득된 이미지에 매칭되는 레퍼런스 이미지의 속성 정보로부터 조리물의 종류, 조리물의 크기 및 조리물의 개수를 결정할 수 있다(1402).
도 14에서 설명된 카메라(60)에 의해 획득된 이미지 자체를 레퍼런스 이미지와 비교하는 방법은, 상대적으로 적은 컴퓨팅 파워(즉, 프로세서의 성능 및 메모리의 용량)를 요구하고, 상대적으로 빠른 연산 속도를 갖는다.
도 15는 도 9에서 설명된 조리물을 추정하는 방법의 다른 예를 설명하는 순서도이다. 도 16은 도 15에서 설명된 부분 이미지의 추출을 나타내는 이미지이다.
도 15를 참조하면, 조리 기기(1)의 제어부(200)는 인공지능모델(700)을 이용하여 카메라(60)에 의해 획득된 이미지에서 조리물에 대응하는 부분 이미지를 추출할 수 있다(1501). 제어부(200)는 부분 이미지로부터 조리물의 종류와 조리물의 크기를 추정할 수 있다(1502). 제어부(200)는 부분 이미지의 개수를 카운트 하여 상기 조리물의 개수를 결정할 수 있다(1503). 제어부(200)는 수치 변환 테이블(1000)을 참조하여 조리물의 종류, 조리물의 크기 및 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정할 수 있다. 이미지에 포함된 조리물이 복수인 경우, 제어부(200)는 복수의 부분 이미지를 추출할 수 있다. 제어부(200)는 복수의 부분 이미지 각각에 포함된 조리물의 종류와 조리물의 크기를 추정할 수 있다.
복수의 부분 이미지가 추출되는 경우, 제어부(200)는 가장 많은 개수를 갖는 조리물의 종류 또는 가장 큰 크기를 갖는 조리물의 종류에 기초하여 조리물에 대응하는 수치 범위와 수치 단위를 결정할 수 있다. 다시 말해, 조리물의 추정 결과로서 사용자에게 제공되는 수치 범위와 수치 단위는 가장 많은 개수를 갖는 조리물의 종류 또는 가장 큰 크기를 갖는 조리물의 종류에 의해 결정될 수 있다. 복수의 부분 이미지 각각에 포함된 조리물의 종류가 상이할 수 있고, 조리물의 종류마다 개수가 상이할 수 있다. 이 경우, 가장 많은 개수를 갖는 조리물 또는 가장 큰 크기를 갖는 조리물이 메인 조리물로 식별될 수 있고, 메인 조리물에 적합한 수치 범위와 수치 단위가 결정될 수 있다.
예를 들어, 도 16을 참조하면, 조리 기기(1)의 제어부(200)는 카메라(60)에 의해 획득된 이미지(IM)에서 4개의 조리물(Ob1, Ob2, Ob3, Ob4)을 식별할 수 있다. 제어부(200)는 4개의 조리물(Ob1, Ob2, Ob3, Ob4)을 하나씩 포함하는 4개의 부분 이미지(1601, 1602, 1603, 1604)를 추출할 수 있다. 제어부(200)는 4개의 부분 이미지(1601, 1602, 1603, 1604) 각각에 대해 조리물의 종류(예: 닭다리)와 조리물의 크기를 추정할 수 있다. 추출된 부분 이미지가 4개이므로, 제어부(200)는 조리물의 개수를 4개로 추정할 수 있다. 또한, 4개의 조리물이 모두 닭다리로 동일한 종류이므로, 4개의 닭다리를 나타내는데 적합한 수치 범위와 수치 단위가 선택될 수 있다.
도 15과 도 16에서 설명된 조리물 각각에 대한 부분 이미지를 추출하고, 부분 이미지 각각에서 조리물의 특징을 추정하는 방법은, 상대적으로 많은 컴퓨팅 파워를 요구하지만, 더 정확한 추정 결과를 도출할 수 있다.
도 17은 조리 기기, 서버 및 사용자 기기 간 상호 작용의 일 예를 설명하는 순서도이다.
도 17을 참조하면, 조리 기기(1)는 서버(3)로부터 조리물의 추정에 사용되는 인공지능모델(700)을 획득할 수 있다(1701). 조리 기기(1)는 서버(3)로부터 수치 변환 테이블(1000)을 획득할 수도 있다. 조리 기기(1)의 제어부(200)는 챔버(50) 내부의 이미지를 획득하도록 카메라(60)를 제어할 수 있다(1702). 조리 기기(1)의 제어부(200)는 인공지능모델(700)을 이용하여 카메라(60)에 의해 획득된 이미지에서 조리물을 식별할 수 있고(1703), 조리물의 종류, 조리물의 크기 및 조리물의 개수를 추정할 수 있다(1704). 또한, 제어부(200)는 수치 변환 테이블(1000)을 참조하여 조리물의 종류, 조리물의 크기 및 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정할 수 있다(1705).
제어부(200)는 조리물의 명칭, 수치 범위 및 수치 단위를 사용자 기기(2)에 표시하기 위한 표시 정보를 서버(3)에 전송하도록 통신 회로(100)를 제어할 수 있다(1706). 서버(3)는 수신한 표시 정보를 사용자 기기(2)에 전달할 수 있다(1706). 사용자 기기(2)는 서버(3)로부터 표시 정보를 수신하고, 조리물의 명칭, 수치 범위 및 수치 단위를 표시할 수 있다(1708).
사용자 기기(2)는 조리 수행에 관한 사용자 입력을 획득할 수 있다(1709). 예를 들면, 사용자 기기(2)는 자동 조리 명령 또는 수동 조리 명령을 포함하는 사용자 입력을 획득할 수 있다. 사용자 기기(2)는 사용자 입력에 응답하여 입력 정보를 생성하고, 입력 정보를 서버(3)로 전송할 수 있다(1710). 서버(3)는 사용자 기기(2)로부터 수신한 입력 정보를 조리 기기(1)에 전달할 수 있다(1711).
조리 기기(1)는 서버(3)로부터 수신된 입력 정보에 기초하여 조리를 수행할 수 있다(1712). 예를 들면, 입력 정보에 자동 조리 명령이 포함되어 있는 경우, 조리 기기(1)의 제어부(200)는 조리물의 종류, 조리물의 크기 및 조리물의 개수에 적합한 조리 파라미터 또는 조리 코스를 자동으로 설정하고, 자동 조리를 수행할 수 있다.
사용자 기기(2)에 수동 조리 명령이 입력되는 경우, 사용자 기기(2)는 조리 파라미터 또는 조리 코스의 선택을 요구하는 화면을 표시할 수 있다. 사용자는 조리 파라미터 또는 조리 코스를 수동으로 선택할 수 있다. 조리 기기(1)는 사용자 기기(2)를 통해 사용자에 의해 선택된 조리 파라미터 또는 조리 코스에 따라 조리를 수행할 수 있다. 이러한 사용자 입력은 조리 기기(1)의 사용자 인터페이스(40)를 통해서도 획득될 수 있다.
도 18은 인공지능모델을 업데이트 하는 방법을 설명하는 순서도이다.
도 18을 참조하면, 전술된 바와 같이, 서버(3)는 레퍼런스 이미지를 이용하여 인공지능모델을 생성할 수 있다(1801). 서버(3)는 머신 러닝 및/또는 딥 러닝을 통해 복수의 레퍼런스 이미지를 학습함으로써 인공지능모델을 생성할 수 있다. 복수의 레퍼런스 이미지 각각은 서로 다른 속성 정보를 포함할 수 있다. 예를 들면, 속성 정보는 조리물의 종류, 조리물이 위치한 트레이의 높이, 트레이의 종류, 조리물이 배치된 방향 및/또는 조리물의 수량을 포함할 수 있다.
인공지능모델은 조리 기기(1)로 전송될 수 있다(1802). 조리 기기(1)는 인공지능모델을 이용하여 조리 기기(1)의 카메라(60)에 의해 획득된 이미지에 포함된 조리물의 종류, 조리물의 크기 및/또는 조리물의 개수를 추정할 수 있다.
서버(3)는 주기적으로 또는 사용자 요청에 따라 신규 레퍼런스 이미지를 획득할 수 있다(1803). 예를 들면, 서버(3)는 조리 기기(1) 또는 사용자 기기(2)와 같이 네트워크를 통해 통신 가능한 다양한 외부 기기로부터 신규 레퍼런스 이미지를 획득할 수 있다. 신규 레퍼런스 이미지를 획득하는 주기는 설계에 따라 달라지거나 사용자에 의해 조절될 수 있다.
조리 기기(1)는 카메라(60)에 의해 획득된 조리물의 이미지를 서버(3)로 전송할 수 있다. 사용자 기기(2)는 사용자의 조작에 따라 다양한 조리물에 관한 이미지를 획득할 수 있다. 사용자 기기(2)는 다양한 조리물에 관한 이미지를 서버(3)로 전송할 수 있다.
서버(3)는 조리 기기(1) 또는 사용자 기기(2)로부터 전송된 이미지가 기존 레퍼런스 이미지와 다른 것인지 판단할 수 있다. 예를 들면, 조리 기기(1) 또는 사용자 기기(2)로부터 전송된 이미지에 포함된 속성 정보와 기존 레퍼런스 이미지에 포함된 속성 정보가 다를 수 있다. 조리 기기(1) 또는 사용자 기기(2)로부터 전송된 이미지가 기존 레퍼런스 이미지와 다른 경우, 서버(3)는 조리 기기(1) 또는 사용자 기기(2)로부터 전송된 이미지를 신규 레퍼런스 이미지로 저장할 수 있다.
서버(3)는 획득된 신규 레퍼런스 이미지에 기초하여 인공지능모델을 업데이트 할 수 있다(1804). 서버(3)는 업데이트 된 인공지능모델을 조리 기기(1)에 전송할 수 있다(1805). 서버(3)는 신규 레퍼런스 이미지를 획득하고 인공지능모델을 업데이트 함으로써 인공지능모델의 성능을 향상시킬 수 있다.
조리 기기(1)는 미리 정해진 주기마다 자동으로 서버(3)로부터 업데이트 된 인공지능모델을 획득할 수 있다. 조리 기기(1)는 사용자 요청에 따라 서버(3)로부터 업데이트 된 인공지능모델을 획득할 수도 있다. 조리 기기(1)의 메모리(220)에 저장되어 있던 이전의(old) 인공지능모델은 업데이트 된 인공지능모델로 대체될 수 있다. 조리 기기(1)는 업데이트 된 인공지능모델을 이용하여 카메라(60)에 의해 획득된 이미지 내 조리물의 특성 또는 성질을 추정할 수 있다. 따라서 조리물의 추정에 관한 조리 기기(1)의 성능이 지속적으로 향상될 수 있다.
일 실시예에 따른 조리 기기(1)는, 디스플레이(41); 챔버(50) 내부를 촬영하도록 마련되는 카메라(60); 조리물의 추정에 사용되는 인공지능모델 및 상기 조리물에 대응하는 수치 정보를 포함하는 수치 변환 테이블을 저장하는 메모리(220); 및 상기 디스플레이, 상기 카메라 및 상기 메모리와 전기적으로 연결되는 제어부(200);를 포함한다. 상기 제어부는 상기 카메라에 의해 획득된 이미지를 상기 인공지능모델에 입력하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정할 수 있다. 상기 제어부는 상기 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정할 수 있다. 상기 제어부는 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는 상기 수치 범위를 무게 범위, 조각 범위 또는 서빙 사이즈 범위로 결정하고, 상기 수치 단위를 상기 수치 범위에 매칭시킬 수 있다.
상기 제어부는 상기 인공지능모델을 통해 상기 카메라에 의해 획득된 이미지에 매칭되는 레퍼런스 이미지의 속성 정보를 획득하고, 상기 레퍼런스 이미지의 속성 정보로부터 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 결정할 수 있다.
상기 제어부는 상기 이미지에서 상기 조리물에 대응하는 부분 이미지를 추출하고, 상기 부분 이미지로부터 상기 조리물의 종류와 상기 조리물의 크기를 추정하고, 상기 부분 이미지의 개수를 카운트 하여 상기 조리물의 개수를 결정할 수 있다.
상기 제어부는 상기 이미지에서 복수의 부분 이미지가 추출되는 경우, 상기 복수의 부분 이미지 각각에 포함된 조리물의 종류와 조리물의 크기를 추정하고, 가장 많은 개수를 갖는 조리물의 종류 또는 가장 큰 크기를 갖는 조리물의 종류에 기초하여 상기 수치 범위와 상기 수치 단위를 결정할 수 있다.
상기 조리 기기는 상기 챔버 내부로 열을 공급하는 히터;를 더 포함할 수 있다. 상기 제어부는 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 기초하여 조리 온도, 조리 시간 및 상기 히터의 출력을 결정할 수 있다.
상기 조리 기기는 스피커;를 더 포함할 수 있다. 상기 제어부는 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 포함하는 음성 메시지를 출력하도록 상기 스피커를 제어할 수 있다.
상기 조리 기기는 서버와 통신을 수행하는 통신 회로;를 더 포함할 수 있다. 상기 제어부는 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 사용자 기기에 표시하기 위한 표시 정보를 상기 서버에 전송하도록 상기 통신 회로를 제어할 수 있다.
상기 제어부는 미리 정해진 주기마다 상기 서버로부터 업데이트 된 인공지능모델을 획득할 수 있다.
일 실시예에 따른 조리 기기(1)의 제어 방법은, 카메라에 의해 조리물이 포함된 챔버 내부의 이미지를 획득하고; 제어부에 의해, 상기 이미지를 메모리에 저장된 인공지능모델에 입력하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정하고; 상기 제어부에 의해, 상기 메모리에 저장된 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정하고; 상기 제어부에 의해, 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 디스플레이를 제어하는 것;을 포함한다.
상기 수치 범위와 수치 단위를 결정하는 것은, 상기 수치 범위를 무게 범위, 조각 범위 또는 서빙 사이즈 범위로 결정하고; 상기 수치 단위를 상기 수치 범위에 매칭시키는 것;을 포함할 수 있다.
상기 추정하는 것은, 상기 인공지능모델을 통해 상기 카메라에 의해 획득된 이미지에 매칭되는 레퍼런스 이미지의 속성 정보를 획득하고; 상기 레퍼런스 이미지의 속성 정보로부터 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 결정하는 것;을 포함할 수 있다.
상기 추정하는 것은, 상기 이미지에서 상기 조리물에 대응하는 부분 이미지를 추출하고; 상기 부분 이미지로부터 상기 조리물의 종류와 상기 조리물의 크기를 추정하고; 상기 부분 이미지의 개수를 카운트 하여 상기 조리물의 개수를 결정하는 것;을 포함할 수 있다.
상기 추정하는 것은, 상기 이미지에서 복수의 부분 이미지가 추출되는 경우, 상기 복수의 부분 이미지 각각에 포함된 조리물의 종류와 조리물의 크기를 추정하고; 가장 많은 개수를 갖는 조리물의 종류 또는 가장 큰 크기를 갖는 조리물의 종류에 기초하여 상기 수치 범위와 상기 수치 단위를 결정하는 것;을 포함할 수 있다.
상기 제어 방법은, 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 기초하여 조리 온도, 조리 시간 및 히터의 출력을 결정하는 것;을 더 포함할 수 있다.
상기 제어 방법은, 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 포함하는 음성 메시지를 출력하도록 스피커를 제어하는 것;을 더 포함할 수 있다.
상기 제어 방법은, 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 사용자 기기에 표시하기 위한 표시 정보를 서버에 전송하도록 통신 회로를 제어하는 것;을 더 포함할 수 있다.
전술된 바와 같이, 개시된 조리 기기 및 조리 기기의 제어 방법은, 인공지능모델을 이용하여 조리 기기의 챔버 내에 위치한 조리물을 식별하고, 조리물의 특징에 대응하는 수치 범위와 수치 단위를 사용자에게 제공할 수 있다. 따라서 사용자는 조리물의 양과 개수를 직관적이고 용이하게 식별할 수 있다.
개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 종류, 조리물의 크기 및 조리물의 개수에 적합한 조리 행정을 자동으로 설정할 수 있으므로, 사용자에게 편의성을 제공할 수 있다.
또한, 개시된 조리 기기 및 조리 기기의 제어 방법은, 필요에 따라 서버로부터 다양한 인공지능모델을 획득하여 이미지 내 조리물의 특성을 검출할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 저장매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 디스플레이;
    챔버 내부를 촬영하도록 마련되는 카메라;
    조리물의 추정에 사용되는 인공지능모델 및 상기 조리물에 대응하는 수치 정보를 포함하는 수치 변환 테이블을 저장하는 메모리; 및
    상기 디스플레이, 상기 카메라 및 상기 메모리와 전기적으로 연결되는 제어부;를 포함하고,
    상기 제어부는
    상기 카메라에 의해 획득된 이미지를 상기 인공지능모델에 입력하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정하고,
    상기 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정하고,
    상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 상기 디스플레이를 제어하는 조리 기기.
  2. 제1항에 있어서,
    상기 제어부는
    상기 수치 범위를 무게 범위, 조각 범위 또는 서빙 사이즈 범위로 결정하고, 상기 수치 단위를 상기 수치 범위에 매칭시키는 조리 기기.
  3. 제1항에 있어서,
    상기 제어부는
    상기 인공지능모델을 통해 상기 카메라에 의해 획득된 이미지에 매칭되는 레퍼런스 이미지의 속성 정보를 획득하고,
    상기 레퍼런스 이미지의 속성 정보로부터 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 결정하는 조리 기기.
  4. 제1항에 있어서,
    상기 제어부는
    상기 이미지에서 상기 조리물에 대응하는 부분 이미지를 추출하고,
    상기 부분 이미지로부터 상기 조리물의 종류와 상기 조리물의 크기를 추정하고,
    상기 부분 이미지의 개수를 카운트 하여 상기 조리물의 개수를 결정하는 조리 기기.
  5. 제4항에 있어서,
    상기 제어부는
    상기 이미지에서 복수의 부분 이미지가 추출되는 경우, 상기 복수의 부분 이미지 각각에 포함된 조리물의 종류와 조리물의 크기를 추정하고,
    가장 많은 개수를 갖는 조리물의 종류 또는 가장 큰 크기를 갖는 조리물의 종류에 기초하여 상기 수치 범위와 상기 수치 단위를 결정하는 조리 기기.
  6. 제1항에 있어서,
    상기 챔버 내부로 열을 공급하는 히터;를 더 포함하고,
    상기 제어부는
    상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 기초하여 조리 온도, 조리 시간 및 상기 히터의 출력을 결정하는 조리 기기.
  7. 제1항에 있어서,
    스피커;를 더 포함하고,
    상기 제어부는
    상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 포함하는 음성 메시지를 출력하도록 상기 스피커를 제어하는 조리 기기.
  8. 제1항에 있어서,
    서버와 통신을 수행하는 통신 회로;를 더 포함하고,
    상기 제어부는
    상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 사용자 기기에 표시하기 위한 표시 정보를 상기 서버에 전송하도록 상기 통신 회로를 제어하는 조리 기기.
  9. 제1항에 있어서,
    서버와 통신을 수행하는 통신 회로;를 더 포함하고,
    상기 제어부는
    미리 정해진 주기마다 상기 서버로부터 업데이트 된 인공지능모델을 획득하는 조리 기기.
  10. 카메라에 의해 조리물이 포함된 챔버 내부의 이미지를 획득하고;
    제어부에 의해, 상기 이미지를 메모리에 저장된 인공지능모델에 입력하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 추정하고;
    상기 제어부에 의해, 상기 메모리에 저장된 수치 변환 테이블을 참조하여 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 대응하는 수치 범위와 수치 단위를 결정하고;
    상기 제어부에 의해, 상기 조리물의 명칭, 상기 수치 범위 및 상기 수치 단위를 표시하도록 디스플레이를 제어하는 것;을 포함하는 조리 기기의 제어 방법.
  11. 제10항에 있어서,
    상기 수치 범위와 수치 단위를 결정하는 것은,
    상기 수치 범위를 무게 범위, 조각 범위 또는 서빙 사이즈 범위로 결정하고;
    상기 수치 단위를 상기 수치 범위에 매칭시키는 것;을 포함하는 조리 기기의 제어 방법.
  12. 제10항에 있어서,
    상기 추정하는 것은,
    상기 인공지능모델을 통해 상기 카메라에 의해 획득된 이미지에 매칭되는 레퍼런스 이미지의 속성 정보를 획득하고;
    상기 레퍼런스 이미지의 속성 정보로부터 상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수를 결정하는 것;을 포함하는 조리 기기의 제어 방법.
  13. 제10항에 있어서,
    상기 추정하는 것은,
    상기 이미지에서 상기 조리물에 대응하는 부분 이미지를 추출하고;
    상기 부분 이미지로부터 상기 조리물의 종류와 상기 조리물의 크기를 추정하고;
    상기 부분 이미지의 개수를 카운트 하여 상기 조리물의 개수를 결정하는 것;을 포함하는 조리 기기의 제어 방법.
  14. 제13항에 있어서,
    상기 추정하는 것은,
    상기 이미지에서 복수의 부분 이미지가 추출되는 경우, 상기 복수의 부분 이미지 각각에 포함된 조리물의 종류와 조리물의 크기를 추정하고;
    가장 많은 개수를 갖는 조리물의 종류 또는 가장 큰 크기를 갖는 조리물의 종류에 기초하여 상기 수치 범위와 상기 수치 단위를 결정하는 것;을 포함하는 조리 기기의 제어 방법.
  15. 제10항에 있어서,
    상기 조리물의 종류, 상기 조리물의 크기 및 상기 조리물의 개수에 기초하여 조리 온도, 조리 시간 및 히터의 출력을 결정하는 것;을 더 포함하는 조리 기기의 제어 방법.
PCT/KR2023/009188 2022-08-24 2023-06-30 조리 기기 및 조리 기기의 제어 방법 WO2024043493A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20220106448 2022-08-24
KR10-2022-0106448 2022-08-24
KR20220113827 2022-09-07
KR10-2022-0113827 2022-09-07
KR10-2023-0029527 2023-03-06
KR1020230029527A KR20240028277A (ko) 2022-08-24 2023-03-06 조리 기기 및 조리 기기의 제어 방법

Publications (1)

Publication Number Publication Date
WO2024043493A1 true WO2024043493A1 (ko) 2024-02-29

Family

ID=90013602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009188 WO2024043493A1 (ko) 2022-08-24 2023-06-30 조리 기기 및 조리 기기의 제어 방법

Country Status (1)

Country Link
WO (1) WO2024043493A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190038184A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 자동 조리 장치 및 방법
US20190200797A1 (en) * 2017-12-30 2019-07-04 Midea Group Co., Ltd Food preparation method and system based on ingredient recognition
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법
JP2021173458A (ja) * 2020-04-23 2021-11-01 三星電子株式会社Samsung Electronics Co., Ltd. 加熱調理器及び加熱調理方法
KR20220049437A (ko) * 2019-08-30 2022-04-21 엘지전자 주식회사 카메라를 구비한 조리기기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190038184A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 자동 조리 장치 및 방법
US20190200797A1 (en) * 2017-12-30 2019-07-04 Midea Group Co., Ltd Food preparation method and system based on ingredient recognition
KR20220049437A (ko) * 2019-08-30 2022-04-21 엘지전자 주식회사 카메라를 구비한 조리기기
KR20210074648A (ko) * 2019-12-12 2021-06-22 엘지전자 주식회사 조리장치 및 조리장치 제어방법
JP2021173458A (ja) * 2020-04-23 2021-11-01 三星電子株式会社Samsung Electronics Co., Ltd. 加熱調理器及び加熱調理方法

Similar Documents

Publication Publication Date Title
WO2021230577A1 (ko) 조리 기기, 조리 기기의 제어 방법 및 조리 시스템
WO2019198865A1 (ko) 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
EP3308505A1 (en) Method and apparatus for controlling indoor device
WO2020013413A1 (en) Method of controlling electronic apparatus and computer-readable recording medium
WO2020130582A1 (en) Electronic device and method for controlling electronic device
WO2016122188A1 (en) Cooking appliance and method for controlling the same
WO2024043493A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2019066561A1 (ko) 인터넷 가전기기 시스템의 제어방법
WO2024043444A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2021149932A1 (en) Cooking apparatus and method for controlling thereof
WO2024043503A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2024043436A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2022149922A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2020180130A1 (ko) 레시피 제공 시스템 및 방법
WO2024090715A1 (ko) 조리 기기 및 그 제어 방법
WO2022059900A1 (ko) 영상 표시 장치 및 그 제어 방법
KR20240028277A (ko) 조리 기기 및 조리 기기의 제어 방법
WO2020180131A1 (ko) 레시피 제공 시스템 및 방법
WO2024090744A1 (ko) 가전 기기를 제어하기 위한 서버, 전자 장치 및 그 제어 방법들
WO2023113184A1 (ko) 오븐에서 대류열을 이용해서 일정한 온도로 조리하는 장치 및 방법
WO2023132562A1 (ko) 레시피 가이드 장치 및 방법
WO2019135619A1 (ko) 조리 과정에 대한 타임라인을 결정할 수 있는 전자 장치
WO2024128520A1 (ko) 홈에 위치한 기기들에 대한 맵을 표시하는 디스플레이 장치 및 그의 맵 표시 방법
WO2024122971A1 (ko) 온도 검출을 위해 프로브를 이용하는 조리 기기 및 그 제어 방법
WO2023090534A1 (en) Method and apparatus for operating devices in iot environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857531

Country of ref document: EP

Kind code of ref document: A1