WO2022149707A1 - 냉장고 및 그 제어 방법 - Google Patents

냉장고 및 그 제어 방법 Download PDF

Info

Publication number
WO2022149707A1
WO2022149707A1 PCT/KR2021/016779 KR2021016779W WO2022149707A1 WO 2022149707 A1 WO2022149707 A1 WO 2022149707A1 KR 2021016779 W KR2021016779 W KR 2021016779W WO 2022149707 A1 WO2022149707 A1 WO 2022149707A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
refrigerator
server device
information
food
Prior art date
Application number
PCT/KR2021/016779
Other languages
English (en)
French (fr)
Inventor
박유나
강다님
신영선
안지윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP21917869.6A priority Critical patent/EP4257903A4/en
Publication of WO2022149707A1 publication Critical patent/WO2022149707A1/ko
Priority to US18/340,425 priority patent/US20230332825A1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G06Q50/163—Real estate management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Definitions

  • the disclosed invention relates to a refrigerator and a method for controlling the same, and to a refrigerator capable of communicating with a server device and home appliances and a method for controlling the same.
  • Recent refrigerators also include a display for displaying the temperature of the storage compartment and the operation mode of the refrigerator.
  • a display provides a graphical user interface to the user, allows the user to easily obtain information related to the refrigerator and/or information related to food using the graphical user interface and the touch panel, and also allows the user to intuitively control commands to be able to enter
  • the refrigerator may display information on food stored in the storage room through the display in response to a user input input through the display, and manage the information of each food.
  • the refrigerator may display information for purchasing an item and a recipe for cooking food through the display.
  • One aspect of the disclosed invention is a refrigerator that provides a meal plan and/or a recipe thereof to a user based on food stored in a storage room and/or a user's purchase history and/or a user's eating history, and a control thereof
  • a meal plan and/or a recipe thereof to a user based on food stored in a storage room and/or a user's purchase history and/or a user's eating history, and a control thereof
  • An aspect of the disclosed invention is to provide a refrigerator and a method for controlling the same for providing food and/or product information through different electronic devices in response to different user positions.
  • a refrigerator includes a storage compartment; a camera having a field of view facing the storage compartment; display; and a control unit.
  • the control unit obtains the image data of the storage chamber from the camera, identifies the food stored in the storage chamber based on the image data, and selects a diet based on the identified food information, a recipe for the menu, and the diet It is possible to obtain a purchase recommendation of a product for the meal, and simultaneously display the meal, a recipe for the meal, and a purchase recommendation for a product for the meal on a single screen on the display.
  • a refrigerator for recommending a purchase of a product to a user based on the food stored in a storage room and/or the user's purchase history and/or the user's eating history, and a method for controlling the same.
  • a refrigerator and a method for controlling the same for providing food and/or product information through UI frames of different sizes on a display in response to different user positions.
  • FIG. 1 shows a food management system according to an embodiment.
  • FIG. 2 illustrates an exterior of a refrigerator according to an embodiment.
  • FIG. 3 illustrates a front side of a refrigerator according to an embodiment.
  • FIG. 5 illustrates a touch screen display included in a refrigerator according to an embodiment.
  • FIG. 6 illustrates an example of a screen displaying an image captured by the refrigerator and identification of food according to an exemplary embodiment.
  • FIG. 7 illustrates an example of a page displayed on a touch screen display included in a refrigerator according to an embodiment.
  • FIG. 8 illustrates another example of a page displayed on a touch screen display included in a refrigerator according to an embodiment.
  • FIG 10 illustrates an example in which the refrigerator according to an embodiment acquires a diet and/or a recipe.
  • FIG 13 illustrates an example in which the refrigerator according to an embodiment recommends purchase of a product.
  • FIG 14 illustrates an example in which the refrigerator according to an embodiment acquires a diet and/or a recipe.
  • FIG. 16 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user.
  • FIG. 18 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user through a second window frame.
  • FIG 19 illustrates an example in which the refrigerator according to an embodiment displays a diet and/or a recipe.
  • FIG. 20 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user.
  • FIG. 22 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user through a display device.
  • FIG 23 illustrates an example in which the refrigerator according to an embodiment controls the cooking apparatus.
  • the food management system 1 includes a refrigerator 100 for storing food, a first server device 10 for managing user information of a user of the refrigerator 100, and a menu ( meal plan) and a recipe thereof, a second server device 20 providing a purchase interface for product purchase, a third server device 30 providing a purchase interface, and a user device 50 that can be carried by the user and a display device 60 that provides image information to a user, and a cooking device 70 that cooks food.
  • the devices 10 , 20 , 30 , 50 , 60 , 70 , and 100 included in the food management system 1 may be connected through a communication network NET.
  • the communication network NET may include both a wired communication network and a wireless communication network.
  • the wired communication network may include a communication network such as a cable network or a telephone network
  • the wireless communication network may include a communication network that transmits and receives signals through radio waves.
  • the wired communication network and the wireless communication network may be connected to each other.
  • the wired communication network may include a wide area network (WAN) such as the Internet
  • the wireless communication network may include an access point (AP) connected to a wide area network (WAN).
  • WAN wide area network
  • AP access point
  • the refrigerator 100 may provide the user with information related to the food stored in the storage room (eg, a food list and/or a fresh storage period of the food, etc.) in response to the user's request. For example, the refrigerator 100 may photograph a storage room in which food is stored, and acquire an image inside the storage room. The refrigerator 100 may acquire information related to food stored in the storage compartment based on the captured image inside the storage compartment. Also, the refrigerator 100 may display food-related information or transmit it to the display device 60 and/or the user device 50 .
  • information related to the food stored in the storage room eg, a food list and/or a fresh storage period of the food, etc.
  • the refrigerator 100 may photograph a storage room in which food is stored, and acquire an image inside the storage room.
  • the refrigerator 100 may acquire information related to food stored in the storage compartment based on the captured image inside the storage compartment.
  • the refrigerator 100 may display food-related information or transmit it to the display device 60 and/or the user device 50 .
  • the server devices 10 , 20 , and 30 may process data from another device through a communication network NET, store the processed data, or transmit it to another device.
  • the server devices 10 , 20 , 30 may include a communication unit capable of communicating with other devices, a processing unit capable of processing data, and a storage medium capable of storing the processed data.
  • These server devices (10, 20, 30) are server (server), client (client), workstation (workstation), personal computer (personal computer), cloud (cloud), data drive (data drive), data station ( data station), etc. may be called variously.
  • the second server device 20 may provide the selected diet and/or its recipe to the third server device 30 in response to the user's request and/or consent for providing information.
  • the third server device 30 may provide a purchase interface for purchasing a product to the user.
  • the user device 50 may process data from another device through the communication network NET and display the processed data to the user.
  • the user device 50 may be carried by the user or may be disposed in the user's home or office, and the user may easily access the user device 50 .
  • the user device 50 includes a workstation, a personal computer, a terminal, a portable telephone, a smart phone, a handheld device, and a wearable device. ) can be called variously.
  • the display device 60 may process an image signal received from the outside and visually display the processed image.
  • the display device 60 may include, for example, a television (TV), a monitor, a portable multimedia device, a portable communication device, a large format display (LFD), and the like.
  • the display device 60 may receive information related to the food stored in the refrigerator 100 from the refrigerator 100 and display information related to the food stored in the refrigerator 100 .
  • the display device 60 may receive the menu and/or its recipe from the second server device 20 , and may display the menu and/or its recipe. Also, the display device 60 may receive a purchase interface for purchasing a product from the third server device 30 and display the purchase interface.
  • the cooking apparatus 70 may be connected to the same access point (AP) as the refrigerator 100 , and may exchange messages and data with the refrigerator 100 through the access point AP or a server device.
  • the cooking apparatus 70 may include, for example, all electrically controllable cooking apparatuses such as a gas oven, an electric oven, a microwave oven, a toaster, and a rice cooker.
  • the food management system 1 provides the user with a diet and/or its recipe based on the user's user information and/or the connection information of the refrigerator 100 and/or the user's food preference information. can Also, the food management system 1 may recommend a purchase of the product based on the user's purchase history and/or diet and/or recipe thereof.
  • FIG. 2 illustrates an exterior of a refrigerator according to an embodiment.
  • 3 illustrates a front side of a refrigerator according to an embodiment.
  • 4 shows a configuration of a refrigerator according to an embodiment.
  • 5 illustrates a touch screen display included in a refrigerator according to an embodiment.
  • the refrigerator 100 includes a main body 101 having an open front, and a main body 101 formed inside the main body 101, and food is stored refrigerated and/or frozen.
  • the storage chamber 110 and the door 120 for opening and closing the open front of the main body 101 may be included.
  • the storage chamber 110 may be divided into a plurality by the horizontal partition wall 110a and the vertical partition wall 110b.
  • the storage chamber 110 may be divided into an upper storage chamber 111 , a lower first storage chamber 112 , and a lower second storage chamber 113 .
  • a shelf 110c on which food can be placed may be provided in the storage compartment 110 .
  • the storage space inside the storage chamber 110 may be partitioned by a shelf 110c.
  • the upper storage chamber 111 may be divided into a first storage space 111a, a second storage space 111b, and a third storage space 111c.
  • the storage chamber 110 may be opened and closed by the door 120 .
  • the upper storage chamber 111 may be opened and closed by an upper first door 121a and an upper second door 121b
  • the lower first storage chamber 112 is a lower first door 121a.
  • the door 122 may open and close, and the lower second storage compartment 113 may be opened and closed by the lower second door 123 .
  • a handle 120a may be provided on the door 120 to easily open and close the door 120 .
  • the handle 121 may be elongated in the vertical direction between the upper first door 121a and the upper second door 121b and between the lower first door 122 and the lower second door 123 . .
  • the refrigerator 100 includes a main body 101 , a storage compartment 110 and a door 120 , a touch screen display 130 , a temperature sensor 140 , a camera 150 , and a distance. It may include a range sensor 160 , a cooling unit 170 , a communication unit 180 , and a control unit 190 .
  • the touch screen display 130 may include a display panel 131 for displaying an image and a touch panel 132 for receiving a touch input.
  • the display panel 131 may convert the image data received from the controller 190 into an optical signal that can be viewed by a user.
  • the display panel 131 is a liquid crystal display (LCD) panel, a light emitting diode (LED) panel, an organic light emitting diode (OLED) panel, a micro light emitting diode (micro Light Emitting Diode, uLED) panel, plasma display panel (PDP), etc. may be employed.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • uLED micro light emitting diode
  • uLED micro Light Emitting Diode
  • PDP plasma display panel
  • the touch panel 132 may receive a user's touch input and output an electrical signal corresponding to the received touch input to the controller 190 .
  • the touch panel 132 may employ a resistive touch panel or a capacitive touch panel.
  • the touch panel 132 is not limited thereto, and the touch panel 132 detects a user's touch or approach, and can output various electrical signals corresponding to the detected coordinates of the touch point or the coordinates of the approach point.
  • a touch panel can be employed.
  • the touch screen display 130 may receive a touch input from the user and transmit it to the controller 190 , and may display an image of the controller 190 in response to the user's touch input.
  • the touch screen display 130 can interact with the user.
  • the touch screen display 130 may be installed on the door 120 for user convenience.
  • the touch screen display 130 may be installed on the upper second door 121b.
  • the touch screen display 130 installed on the upper second door 121b will be described, but the installation position of the touch screen display 130 is not limited to the upper second door 121b.
  • the touch screen display 130 may include an upper first door 121a, a lower first door 122, a lower second door 123, and a trauma 103 of the main body 10 that the user can see. It can be installed in any location.
  • the temperature sensor 140 may be provided in the storage chamber 110 and include a plurality of temperature sensors for sensing a temperature inside the storage chamber 110 .
  • a plurality of temperature sensors are installed in each of the plurality of storage chambers (111, 112, 112) to detect the temperature of each of the number storage chambers (111, 112, 113), and control an electrical signal corresponding to the sensed temperature (190) can be output as
  • Each of the plurality of temperature sensors may include a thermistor whose electrical resistance changes according to temperature.
  • the camera 150 may be installed inside the storage chamber 110 to acquire an image inside the storage chamber 110 .
  • the camera 150 may be installed inside the door 120 , and may take pictures from the inside of the door 120 toward the inside of the storage chamber 110 . Accordingly, the camera 150 may photograph the inside of the storage chamber 110 in substantially the same direction as the user's gaze direction.
  • the camera 150 may include image sensors 151 , 152 , and 153 that capture an image and convert it into an electrical signal.
  • the image sensor 151 may include a plurality of photodiodes that convert an optical signal into an electrical signal, and the plurality of photodiodes may be disposed in two dimensions.
  • the image sensor 151 may include, for example, a charge-coupled device (CCD) image sensor or a complementary metal-oxide-semiconductor (CMOS) image sensor.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide-semiconductor
  • the camera 150 may include a plurality of image sensors 151a, 151b, and 151c to photograph the inside of the storage room 110 partitioned by the shelf 110c.
  • the camera 150 includes a first image sensor 151a that captures the first storage space 111a of the upper storage 111 and a second image sensor 151b that captures the second storage space 111b. ) and a third image sensor 151c that captures the third storage space 111c.
  • the image of the storage chamber 110 captured by the camera 150 may include an image of the food stored in the storage chamber 110 .
  • the camera 150 may transmit the captured image to the controller 190 . Specifically, the camera 150 may transmit an image of the storage room 110 including an image of food to the controller 190 .
  • the distance sensor 160 may measure a distance to an object located in the vicinity of the refrigerator 100 , in particular, to a user.
  • the distance sensor 160 may be provided near the touch screen display 130 .
  • the distance sensor 160 may include, for example, an infrared transceiver.
  • the infrared light emitting diode may emit infrared rays toward the front of the refrigerator 100 , and the photo diode may receive infrared rays reflected by an object and/or a user positioned in front of the refrigerator 100 .
  • the distance sensor 160 identifies an approximate distance to the object and/or user based on the intensity of the received infrared light, or to the object and/or user based on the difference between the infrared transmission time and the infrared reception time. It is possible to identify the approximate distance of
  • the distance sensor 160 may include, for example, an ultrasonic transceiver.
  • the ultrasonic transmitter may emit ultrasonic waves toward the front of the refrigerator 100
  • the ultrasonic receiver may receive ultrasonic waves reflected by an object and/or a user positioned in front of the refrigerator 100 .
  • the distance sensor 160 may identify an approximate distance to the object and/or the user based on a difference between the phase of the transmitted ultrasound and the phase of the received ultrasound.
  • the distance sensor 160 may include, for example, a transmission/reception antenna.
  • the transmitting antenna may emit a frequency-modulated radio wave toward the front of the refrigerator 100
  • the receiving antenna may receive radio waves reflected by an object and/or a user positioned in front of the refrigerator 100 .
  • the distance sensor 160 may identify an approximate distance to an object and/or a user based on a difference between the frequency of the transmitted radio wave and the frequency of the received radio wave.
  • the distance sensor 160 may provide information related to the distance to the user to the controller 190 .
  • the cooling unit 170 may supply cooled air to the storage chamber 110 . Specifically, the cooling unit 170 may maintain the temperature of the storage chamber 110 within a range specified by the user by using the circulation of the refrigerant in the refrigerant circuit.
  • the cooling unit 170 includes a compressor 171 that compresses a gaseous refrigerant, a condenser 172 that converts the compressed gaseous refrigerant into a liquid state, and an expander 173 that depressurizes the liquid refrigerant and , it may include an evaporator 174 for converting the depressurized liquid refrigerant into a gaseous state.
  • the cooling unit 170 may cool the air in the storage chamber 110 by using a phenomenon in which the liquid refrigerant absorbs thermal energy of the surrounding air while converting the liquid state into a gaseous state.
  • the cooling unit 170 is not limited to including a refrigerant circuit.
  • the cooling unit 170 may include a Peltier element using a Peltier effect or a magnetic cooling material using a magneto-caloric effect.
  • the communication unit 180 may include the server devices 10 , 20 , 30 and/or external devices 10 , 20 , 30 such as the user device 50 and/or the display device 60 and/or the cooking device 70 . , 50, 60, 70) and data can be exchanged.
  • the communication unit 180 includes a wired communication module 182 that exchanges data with the external devices 10, 20, 30, 50, 60, and 70 by wire, and the external devices 10, 20, 30, 50, 60, 70) and may include a wireless communication module 181 for wirelessly exchanging data.
  • the wired communication module 182 may connect to a wired communication network and communicate with the external devices 10 , 20 , 30 , 50 , 60 , and 70 through the wired communication network.
  • the wired communication module 182 connects to a wired communication network through Ethernet (Ethernet, IEEE 802.3 technology standard), and receives data from external devices 10, 20, 30, 50, 60, 70 through the wired communication network.
  • Ethernet Ethernet, IEEE 802.3 technology standard
  • the wireless communication module 181 may wirelessly communicate with a base station or an access point (AP), and may access a wired communication network through the base station or access point.
  • the wireless communication module 181 may also communicate with external devices 10 , 20 , 30 , 50 , 60 , and 70 connected to a wired communication network via a base station or an access point.
  • the wireless communication module 181 wirelessly communicates with an access point (AP) using Wi-Fi (WiFiTM, IEEE 802.11 technology standard), CDMA, WCDMA, GSM, LET (Long Term Evolution), WiBro, etc. can be used to communicate with the base station.
  • the wireless communication module 181 may also receive data from the external devices 10 , 20 , 30 , 50 , 60 , and 70 via a base station or an access point.
  • the wireless communication module 181 may directly communicate with the external devices 10 , 20 , 30 , 50 , 60 , and 70 .
  • the wireless communication module 181 uses Wi-Fi, Bluetooth (BluetoothTM, IEEE 802.15.1 technology standard), ZigBeeTM (IEEE 802.15.4 technology standard), etc. 30, 50, 60, 70) can receive data wirelessly.
  • the communication unit 180 may send and receive data to and from the external devices 10 , 20 , 30 , 50 , 60 , and 70 , and receive data received from the external devices 10 , 20 , 30 , 50 , 60 , and 70 .
  • Data may be output to the controller 190 .
  • the controller 190 may process user input and/or sensed data and/or communication data, and control components included in the refrigerator 100 based on data processing.
  • the control unit 190 includes a memory 192 that stores/stores programs and/or data, and processes user input and/or sensed data and/or communication data according to the program and/or data stored in the memory 192.
  • a processor 191 is included.
  • the controller 190 may further include not only hardware such as the memory 192 and the processor 191 , but also software such as programs and/or data stored in the memory 192 and processed by the processor 191 .
  • the memory 192 may store/store programs and/or data.
  • the program includes a plurality of instructions combined to perform a specific function, and data may be processed and/or processed by the plurality of instructions included in the program.
  • the program and/or data may include a system program and/or system data directly related to the operation of the refrigerator 100 and an application program and/or application data that provide convenience and fun to the user.
  • the memory 192 includes a non-volatile memory that stores a program and/or data for controlling the components included in the refrigerator 100 and a volatile memory that stores temporary data generated while controlling the components included in the refrigerator 100 . may include.
  • Non-volatile memory may, for example, store programs and/or data electrically or magnetically or optically.
  • the non-volatile memory may include, for example, a read only memory and a flash memory for storing data for a long period of time.
  • the nonvolatile memory may include a solid stat driver (SSD), a hard disk drive (HDD), or an optical disc drive (ODD).
  • SSD solid stat driver
  • HDD hard disk drive
  • ODD optical disc drive
  • Volatile memory can load programs and/or data from, for example, non-volatile memory, and electrically store programs and/or data.
  • the volatile memory may include, for example, a static random access memory (S-RAM) or a dynamic random access memory (D-RAM) for temporarily storing data.
  • S-RAM static random access memory
  • D-RAM dynamic random access memory
  • the memory 192 may store/store programs and data such as an operating system (OS), middleware, and applications, and provides programs and data to the processor 191 in response to a request from the processor 191 . can do.
  • OS operating system
  • middleware middleware
  • applications programs and data
  • the processor 191 may include a user input of the touch screen display 130 and/or sensing data of the distance sensor 160 and/or communication data of the communication unit 180 according to the program and/or data stored/stored in the memory 192 . can be processed. Also, the processor 191 may generate a control signal for controlling the operations of the camera 150 , the touch screen display 130 , and/or the communication unit 180 based on data processing.
  • the processor 191 receives the temperature information of the storage chamber 110 from the temperature sensor 140 , and a cooling control signal for controlling the operation of the cooling unit 170 based on the temperature information of the storage chamber 110 .
  • the processor 191 receives a user's touch input from the touch screen display 130, and transmits a display control signal and image data for displaying an image on the touch screen display 130 in response to the user's touch input to the touch screen display ( 130) can be forwarded.
  • the processor 191 generates a shooting control signal so that the camera 150 takes a picture of the inside of the storage room 110 , and receives an image inside the storage room 110 from the camera 150 . can do.
  • the processor 191 may process an image inside the storage chamber 110 from the camera 150 and identify foods included in the captured image based on the image processing.
  • the processor 191 may generate a display control signal for displaying food-related information on the touch screen display 130 based on the identification of the foods.
  • the processor 191 may include a core that performs logical operations and arithmetic operations, and a register that stores the calculated data.
  • the controller 190 may process data collected from the sensors and control components included in the refrigerator 100 based on the data processing. In particular, the controller 190 may provide various information to the user through the touch screen display 130 .
  • the refrigerator 100 provides information through the touch screen display 130 .
  • FIG. 6 illustrates an example of a screen displaying an image captured by the refrigerator and identification of food according to an exemplary embodiment.
  • the controller 190 may display the page 200 including the image obtained from the camera 150 on the touch screen display 130 as shown in FIG. 6 .
  • the controller 190 may control an internal image 210 of the first storage space 111a, an internal image 220 of the second storage space 111b, and an internal image 210 of the third storage space 111c. 230 may be displayed on the touch screen display 130, respectively.
  • the controller 190 may identify the food photographed by the camera 150 (ie, food included in the image photographed by the camera) based on processing the image data obtained from the camera 150 . .
  • the controller 190 may include a neural network for machine learning.
  • the neural network may include an input layer to which image data is input, an output layer to output information about the identified object, and a hidden layer between the input layer and the output layer.
  • the input layer may include a plurality of input nodes to which a luminance value of a pixel of an image is input, respectively.
  • the hidden layer may include a plurality of hidden nodes to which values obtained by applying first weights to values of the plurality of input nodes are input, respectively.
  • the output layer may include a plurality of output nodes to which values obtained by applying second weights to values of the plurality of hidden nodes are input, respectively. Food included in the image may be identified based on the values of the plurality of output nodes.
  • the controller 190 may display identification information (eg, name) of the food identified from the image data as shown in FIG. 6 together with the image obtained from the camera 150 .
  • identification information eg, name
  • the control unit 190 controls the identification information 221 of pineapple, identification information 222 of canned food, and identification information 223 of grapes on the internal images 210 , 220 , 230 of the storage room 110 . And, it is possible to display the identification information 224 of the apple.
  • the controller 190 identifies the food photographed by the camera 150 based on processing the image data obtained from the camera 150 , but is not limited thereto.
  • the controller 190 controls the communication unit 180 to transmit image data obtained from the camera 150 to the server device, and the image data captured by the camera 150 from the server device through the communication unit 180 is It is possible to obtain identification information of the food.
  • the controller 190 may control the communication unit 180 to transmit identification information of the food photographed by the camera 150 to the second server device 20 and/or the third server device 30 .
  • the second server device 20 may provide a diet and/or a recipe thereof to the refrigerator 100 based on the received identification information of the food.
  • the third server device 30 may provide a food purchase recommendation to the refrigerator 100 based on the received identification information of the food.
  • control unit 190 may receive a meal and/or a recipe thereof from the second server device 20 through the communication unit 180 , and recommend food purchase from the third server device 30 through the communication unit 180 . can receive
  • FIG. 7 illustrates an example of a page displayed on a touch screen display included in a refrigerator according to an embodiment.
  • 8 illustrates another example of a page displayed on a touch screen display included in a refrigerator according to an embodiment.
  • the control unit 190 displays the menu and/or recipe received from the second server device 20 and the purchase recommendation received from the third server device 30 on a single page (or screen) 200 through a touch screen. It may be displayed on the display 130 .
  • the control unit 190 may process a series of commands included in the application, and in response to launching the application, for example, the page 300 as shown in FIG. 7 may be displayed on the touch screen display 130 . .
  • the page 300 by the application for diet management includes a menu area 310 displaying a meal received from the second server device 20 and a recipe area displaying a recipe received from the second server device 20 ( 320 , and a purchase list area 330 for displaying a list for purchase through the third server device 30 .
  • a meal plan received from the second server device 20 may be displayed.
  • the controller 190 may display, in the diet area 310 , a meal for the corresponding day (today) among the meal plans received from the second server device 20 .
  • the control unit 190, in the diet area 310, the second server device 20 is a meal (any one of breakfast, lunch, and dinner) of the corresponding time of the day (today) of the received diet. can be displayed.
  • a first cooking button 311 for starting cooking of a meal may be provided in the diet area 310 .
  • the controller 190 may control the communication unit 180 to transmit a message for preheating the cooking chamber to the cooking apparatus 70 .
  • a recipe received from the second server device 20 may be displayed.
  • the controller 190 may display a recipe corresponding to a meal of the corresponding day (today) in the recipe area 320 .
  • the controller 190 may display a recipe selected by the user in the recipe area 320 .
  • a second cooking button 321 for starting cooking according to the recipe displayed in the recipe area 320 may be provided.
  • the controller 190 may control the communication unit 180 to transmit a message for preheating the cooking chamber to the cooking apparatus 70 .
  • a menu add button 322 for adding a meal according to the recipe displayed in the recipe area 320 to the diet may be provided.
  • the controller 190 adds the meal displayed in the recipe area 320 to the menu area 310 , and the meal is added to the menu area 310 . can be displayed.
  • a purchase add button 323 for purchasing food ingredients for preparing a meal displayed in the recipe area 320 may be provided.
  • the controller 190 may add food ingredients for preparing a meal to the purchase list area 330 .
  • a list of products to be purchased through the third server device 30 may be displayed.
  • the control unit 190, in the purchase list area 330, the items of the purchase recommendation list received from the third server device 30 and / or the preparation of the meal received from the second server device (20) Foods can be labeled for
  • a purchase button 331 for purchasing products displayed in the purchase list area 330 may be provided.
  • the controller 190 may transmit a request for purchasing the products displayed in the purchase list area 330 to the third server device 30 , and a page for purchasing the product may be displayed on the touch screen display 130 .
  • the refrigerator 100 may display a menu item, a recipe, and a purchase list on a single page (or a single screen) of the touch screen display 130 .
  • the user can check the menu, check the recipe, and check the menu on a single page, without the inconvenience of moving to the page for checking the diet, the page for checking the recipe for preparing the meal, and the page for purchasing the ingredients by the recipe All food ingredient purchases can be executed.
  • a single page for providing menu check, recipe check, and food ingredient purchase is not limited to that shown in FIG. 7 .
  • the controller 190 may display the page 301 shown in FIG. 8 on the touch screen display 130 in response to the launching of the application for managing the diet.
  • the page 301 by the application for diet management includes a recipe area 320 for displaying a recipe received from the second server device 20 and a menu area for displaying a meal received from the second server device 20 ( 310 , and a purchase list area 330 for displaying a list for purchase through the third server device 30 .
  • the page 301 may further include a preference area 340 for displaying a recipe selected by the user.
  • a recipe may be displayed.
  • a second cooking button 321 for starting cooking according to the recipe displayed in the recipe area 320 and a meal for adding a meal according to the recipe displayed in the recipe area 320 to the diet are provided in the recipe area 320 .
  • An additional button 322 may be provided.
  • a diet for each date may be displayed. For example, a meal of the corresponding day (today) may be displayed. Also, in the menu area 310 , a recipe button 312 for checking a recipe for a meal of the day (today) may be provided.
  • a list of products to be purchased through the third server device 30 may be displayed. Also, in the purchase list area 330 , a purchase add button 332 for adding a product to the purchase list and a purchase button 331 for purchasing the products displayed in the purchase list area 330 may be provided.
  • the refrigerator 100 may provide the user with a page for all of the diet, recipe, and food purchase, whereby the user performs all of the menu, recipe, and food purchase on one page without moving the page. can do.
  • a method 1000 for a refrigerator to obtain a diet and/or a recipe thereof is described.
  • the refrigerator 100 launches an application in response to a user input ( 1010 ).
  • the controller 190 may obtain a user input for launching an application through the touch screen display 130 .
  • the controller 190 may launch an application in response to a user input.
  • the refrigerator 100 requests a meal and a recipe from the second server device 20 ( S1015 ).
  • the second server device 20 selects the menu and recipe in response to the message for requesting the food and recipe received from the refrigerator 100 ( S1020 ).
  • the second server device 20 may include a database consisting of various foods and recipes of the foods.
  • the database of the second server device 20 may include foods mainly consumed in each country and recipes for the foods.
  • the database of the second server device 20 may also include foods mainly consumed according to seasons and recipes for the foods.
  • the database of the second server device 20 may also include foods mainly consumed according to the weather and recipes for the foods.
  • the second server device 20 may provide a community of various topics related to food and ingredients, and provides an interface through which a user can download recipes or upload recipes from the community.
  • the second server device 20 only receives a message requesting a menu and a recipe for the refrigerator 100 . Accordingly, the second server device 20 may create a menu and select a recipe for food included in the diet based on the environment information when receiving the message from the refrigerator 100 . For example, the second server device 20 may be configured to receive the request message and/or the time zone at which the request message is received and/or the date (or season) at which the request message is received and/or the weather on the day when the request message is received and/or when the request message is received. Based on the food trends at the time, you can create a diet and choose recipes for the foods included in the diet.
  • the controller 190 may control the touch screen display 130 to display a menu item and its recipe from the second server device 20 according to commands constituting the launched application. For example, the controller 190 may control the touch screen display 130 to display the page 300 including the menu area 310 and the recipe area 320 as shown in FIG. 7 . A menu received from the second server device 20 may be displayed in the menu area 310 , and a recipe received from the second server device 20 may be displayed in the recipe area 320 . In addition, the controller 190 may control the touch screen display 130 to display a page 301 including a menu area 310 and a recipe area 320 as shown in FIG. 8 .
  • the refrigerator 100 may display a diet and a recipe thereof based on food (or ingredients) stored in the storage room 110 , season, weather, time zone, and the like, without obtaining information about the user from the user.
  • FIG 10 illustrates an example in which the refrigerator according to an embodiment acquires a diet and/or a recipe.
  • a method 1100 for the refrigerator to obtain a diet and/or a recipe thereof is described.
  • the refrigerator 100 photographs the inside of the storage room 110 ( 1110 ).
  • the controller 190 may control the camera 150 to photograph the inside of the storage chamber 110 .
  • the camera 150 may photograph the storage room 110 and provide the captured image data to the controller 190 .
  • the controller 190 may acquire image data of the storage room 110 from the camera 150 .
  • the controller 190 may control the camera 150 to photograph the interior of the storage chamber 110 in response to a user input through the touch screen display 130 , and Image data can be acquired.
  • the refrigerator 100 identifies food (or food ingredients) photographed by the camera 150 ( 1120 ).
  • the controller 190 may include a neural network for machine learning.
  • the controller 190 inputs the captured image to the neural network, and based on the output of the neural network, the food photographed by the camera 150 (ie, food included in the image photographed by the camera) (or food) can be identified.
  • the controller 190 may control the communication unit 180 to transmit image data of the storage room 110 to an external server device.
  • the external server device may include a neural network for machine learning, and may identify food (or food ingredients) included in image data using the neural network.
  • the controller 190 may receive information on food (or food ingredients) from an external server device through the communication unit 180 .
  • the controller 190 may obtain a user input for launching an application through the touch screen display 130 .
  • the controller 190 may launch an application in response to a user input.
  • the controller 190 may control the communication unit 180 to transmit a message requesting a diet and recipe along with a list of food (or ingredients) to the second server device 20 according to commands constituting the launched application.
  • the second server device 20 may store various foods and recipes for the foods.
  • the second server device 20 only receives a list of foods (or ingredients).
  • the second server device 20 may make a menu based on the received food (or food ingredient) list and environment information and select a recipe for food included in the diet.
  • the second server device 20 may create a diet based on the history of the food list.
  • the second server device 20 may create a diet including foods that are frequently added or excluded from foods included in or included in the food list.
  • the food, which is frequently added and excluded from the food may be determined as the food frequently consumed by the user.
  • the second server device 20 may create a diet using the received food material.
  • the second server device 20 may create a diet using ingredients that are frequently added and excluded from ingredients.
  • food ingredients that are frequently added to and excluded from among the ingredients may be determined as foods frequently consumed by the user.
  • the controller 190 may control the touch screen display 130 to display a menu item and its recipe from the second server device 20 according to commands constituting the launched application.
  • the refrigerator 100 may identify food (or food ingredients) stored in the storage compartment 110 , and provide a diet and a recipe thereof based on the identified food (or ingredients) to the user.
  • FIG 11 illustrates an example in which the refrigerator according to an embodiment acquires a diet and/or a recipe.
  • the refrigerator 100 acquires user information ( 1210 ).
  • the refrigerator 100 may recommend that the user create an account in the first server device 10 in order to provide more various services to the user.
  • the first server device 10 creates an account of a user subscribed to the service, and includes user identification information (eg, name, nationality, address, contact information, etc.) and user authentication information (eg, ID, password, biometric information (fingerprint or iris, etc.) can be stored/managed.
  • the controller 190 may control the touch screen display 130 to display a page for collecting user identification information and authentication information. For example, the controller 190 may collect the user's name, nationality, address, and contact information through the touch screen display 130 , and may collect the user's ID, password, biometric information (fingerprint or iris), etc. have.
  • the refrigerator 100 may collect information about the user's food preference.
  • the controller 190 may control the user's preferred dietary regimen and food type, the food the user avoids, the number of family members of the user, the user's preferred food material, the user's avoidable food material, the user's preferred recipe, and the user's cooking experience, etc. can be collected.
  • the control unit 190 with respect to the type of food preferred by the user, is healthy, high-protein, low-sugar, low-sodium, low-fat. , low-energy (low-energy), low-fiber (low-fiber), and the like can be displayed on the touch screen display 130 an interface for selecting one or more.
  • the controller 190 displays an interface that allows the user to select one or more of alcohol, caffeine, eggs, fish, gluten, nuts, mustard, soy sauce, wheat, etc. on the touch screen display 130 with respect to the food to be avoided by the user. can be displayed
  • the controller 190 may display an interface for inputting the number of family members of the user on the touch screen display 130 .
  • the controller 190 provides an interface that allows the user to select one or more of beef, pork, chicken, fish, tomato, potato, carrot, onion, green onion, garlic, cheese, egg, etc. It may be displayed on the touch screen display 130 .
  • the controller 190 may display on the touch screen display 130 an interface through which a user can input a food ingredient to be avoided.
  • the controller 190 displays an interface through which one or more of American, Chinese, Japanese, French, Indian, Korean, Thai, Spanish, Mexican, and the like can be selected with respect to the user's preferred recipe on the touch screen. (130) can be indicated.
  • the controller 190 may display, on the touch screen display 130 , an interface for selecting one of beginner, intermediate, and advanced with respect to the user's cooking experience.
  • the user information collected by the refrigerator 100 may include identification information, authentication information, and food preference information.
  • the refrigerator 100 transmits the collected user information to the first server device 10 ( 1215 ).
  • the first server device 10 may create a user account based on the received identification information and authentication information.
  • the first server device 10 may store the user's identification information, authentication information, and food preference information in relation to the created user account.
  • the refrigerator 100 updates the food list stored in the storage room 110 ( S1230 ).
  • Operation 1230 may be the same as operation 1110 , operation 1120 , and operation 1130 illustrated in FIG. 10 .
  • the controller 190 may control the camera 150 to photograph the inside of the storage chamber 110 , and may identify food (or food ingredients) based on image data obtained from the camera 150 . Specifically, the controller 190 may identify food (or food ingredients) using machine learning. The controller 190 may update the food (or food ingredient) list based on the identified food (or food ingredient).
  • the refrigerator 100 launches an application in response to a user input ( 1240 ).
  • the description of operation 1240 may be replaced with the description of operation 1140 illustrated in FIG. 10 .
  • the refrigerator 100 requests a meal and a recipe from the second server device 20 ( 1242 ).
  • the refrigerator 100 transmits a message requesting the provision of user information to the first server device 10 or a message agreeing to the request for providing user information of the first server device 10 ( 1244 ).
  • the first server device 10 transmits user information to the second server device 20 in response to the message from the refrigerator 100 ( 1246 ).
  • the second server device 20 may request user information from the first server device 10 or the refrigerator 100 in order to provide a diet and recipe suitable for the user's taste.
  • the refrigerator 100 in response to the information request from the second server device 20, displays a page for consenting to the provision of user information, and responds to a user input agreeing to the provision of user information to provide user information.
  • a consent message may be transmitted to the first server device 10 .
  • the first server device 10 may transmit limited identification information such as the user's nationality and address and the user's food preference information to the second server device 20 .
  • the first server device 10 may request the refrigerator 100 for consent to provide user information.
  • the refrigerator 100 may transmit a message agreeing to the provision of user information to the first server device 10 in response to a user input agreeing to the provision of user information.
  • the first server device 10 may transmit limited identification information such as the user's nationality and address and the user's food preference information to the second server device 20 .
  • the second server device 20 selects the menu and recipe in response to the message requesting the menu and recipe received from the refrigerator 100 ( 1250 ).
  • the second server device 20 may receive a list of food (or ingredients) from the refrigerator 100 and obtain user information from the first server device 10 .
  • the user information may include limited identification information such as the user's nationality and address, and food preference information of the user.
  • the second server device 20 may create a diet including food based on the nationality and address included in the user information.
  • the second server device 20 may select a recipe for food based on the user's preferred recipe and the user's cooking experience.
  • the second server device 20 transmits information about the diet and its recipe to the refrigerator 100 ( 1255 ).
  • the refrigerator 100 displays the menu and the recipe in response to receiving the information on the menu and the recipe from the second server device 20 ( 1260 ).
  • operations 1255 and 1260 may be replaced with the descriptions of operations 1155 and 1160 illustrated in FIG. 10 .
  • the refrigerator 100 may obtain the user's identification information and food preference information from the user, and may provide the user with a menu and a recipe based on the obtained identification information and food preference information.
  • FIG. 12 illustrates an example in which the refrigerator according to an embodiment acquires a diet and/or a recipe.
  • a method 1300 for the refrigerator to obtain a diet and/or a recipe thereof is described.
  • the refrigerator 100 identifies the connected cooking device 70 ( 1310 ).
  • the controller 190 may identify the cooking apparatus 70 that can be linked to the refrigerator 100 .
  • the controller 190 may search for the cooking device 70 connected to the same access point (AP) as the refrigerator 100 .
  • the cooking device 70 includes, for example, all cooking devices that are electrically controllable, such as a gas oven, an electric oven, a microwave oven, a toaster, and a rice cooker, and that can communicate wirelessly or by wire through an access point (AP). can
  • the controller 190 may request a list of devices connected to the access point (AP).
  • the controller 190 may identify the cooking apparatus 70 connected to the same access point AP as the refrigerator 100 based on the list received from the access point AP.
  • the controller 190 may request device information from other devices through the access point (AP).
  • the controller 190 may identify the cooking device 70 connected to the same access point AP as the refrigerator 100 based on device information received from other devices through the access point AP.
  • the controller 190 may generate connection information including a list of the identified cooking apparatuses 70 .
  • the connection information may include identification information of the cooking device 70 and a heating method (eg, broil, grill, convection, microwave, etc.) of the cooking device 70 .
  • the refrigerator 100 transmits connection information of the refrigerator 100 to the first server device 10 ( 1315 ).
  • the controller 190 may control the communication unit 180 to transmit the identification information of the cooking device 70 and the heating method of the cooking device 70 to the first server device 10 .
  • the first server device 10 stores connection information of the refrigerator 100 ( 1320 ).
  • the first server device 10 may store connection information of the refrigerator 100 together with the created user account.
  • the refrigerator 100 updates the food list stored in the storage room 110 ( 1330 ).
  • the description of operation 1330 may be replaced with the description of operations 1110 , 1120 , and 1130 illustrated in FIG. 10 .
  • the refrigerator 100 launches an application in response to a user input ( 1340 ).
  • the refrigerator 100 requests a meal and a recipe from the second server device 20 (1342).
  • the description of operation 1342 may be replaced with the description of operation 1145 illustrated in FIG. 10 .
  • the refrigerator 100 transmits a message requesting the provision of connection information to the first server device 10 or a message agreeing to the request for providing connection information received from the first server device 10 ( 1344 ).
  • the first server device 10 transmits connection information to the second server device 20 in response to the message from the refrigerator 100 ( 1346 ).
  • the second server device 20 selects the menu and recipe in response to the message for requesting the menu and recipe received from the refrigerator 100 ( 1350 ).
  • the second server device 20 may receive a list of foods (or ingredients) from the refrigerator 100 , and obtain connection information of the refrigerator 100 from the first server device 10 .
  • the connection information of the refrigerator 100 may include identification information of the cooking device 70 connected to the same access point AP as the refrigerator 100 and a heating method.
  • the connection information of the refrigerator 100 may include identification information of the cooking apparatus 70 that can be controlled by the refrigerator 100 and a heating method.
  • the second server device 20 may create a menu based on the list of foods (or ingredients) and environment information, and select a recipe for food based on connection information of the refrigerator 100 .
  • the second server device 20 may select a recipe for food included in the diet based on the heating method of the cooking device 70 connected to the refrigerator 100 .
  • the second server device 20 selects a recipe for food capable of cooking food using the oven.
  • the second server device 20 may select a recipe for food including heating by the broil.
  • the second server device 20 transmits information about the diet and its recipe to the refrigerator 100 ( 1355 ).
  • the refrigerator 100 displays the menu and the recipe in response to receiving the information on the menu and the recipe from the second server device 20 ( 1360 ).
  • the refrigerator 100 may obtain information on the cooking device 70 connected to the refrigerator 100 , and provide a user with a menu and a recipe based on the information on the cooking device 70 .
  • FIG 13 illustrates an example in which the refrigerator according to an embodiment recommends purchase of a product.
  • a method 1400 of the refrigerator recommending purchase of a product is described.
  • the purchase of the product by the user is performed ( 1410 ).
  • the user directly purchases a product from a mart connected to the third server device 30 , purchases a product from the third server device 30 through the refrigerator 100 , or offers a product through the user device 50 .
  • the product may be purchased from the third server device 30 or from the third server device 30 through the display device 60 .
  • the third server device 30 transmits the purchased food list to the refrigerator 100 ( 1415 ).
  • the third server device 30 may transmit the purchased food list to the refrigerator 100 based on product delivery information. For example, the third server device 30 may transmit the purchased food list to the refrigerator 100 when receiving a message indicating that the product has been delivered from the product delivery company server. As another example, the third server device 30 may transmit the purchased food list to the refrigerator 100 when the expected delivery time based on the user's delivery address has elapsed since delivery of the product is started. As another example, the third server device 30 may transmit the purchased food list to the refrigerator 100 when a predetermined delivery expected time elapses.
  • the refrigerator 100 may receive the purchased food list from the third server device 30 at a time delayed from the time the user actually purchased the product.
  • the refrigerator 100 photographs the inside of the storage chamber 110 ( 1420 ), identifies food (or food ingredients) photographed by the camera 150 ( 1430 ), and updates the food list ( 1440 ).
  • the controller 190 may control the camera 150 to photograph the inside of the storage chamber 110 .
  • the controller 190 may acquire image data of the storage room 110 from the camera 150 .
  • the control unit 190 based on the list of foods identified from the image data of the previous food list and the storage room 110 and the list of foods included in the purchase list received from the third server device 30, the food list Can be updated. For example, the controller 190 compares the list of foods identified from the image data with the list of foods included in the purchase list, and selects foods included in the purchase list and not included in the list identified from the image data in the food list. can be added to As another example, the controller 190 may update the food list only depending on the list of foods identified from the image data. As another example, the controller 190 may update the food list by adding a list of foods included in the purchase list to the previous food list.
  • the refrigerator 100 launches an application in response to a user input ( 1450 ).
  • the description of operation 1450 may be replaced with the description of operation 1140 illustrated in FIG. 10 .
  • the refrigerator 100 requests a product purchase recommendation from the third server device 30 ( 1455 ).
  • the controller 190 may control the communication unit 180 to transmit a message requesting a product purchase recommendation together with a list of food (or ingredients) to the third server device 30 according to commands constituting the launched application.
  • the third server device 30 selects a purchase recommendation product in response to the message requesting product purchase recommendation received from the refrigerator 100 ( 1460 ).
  • the third server device 30 may select a purchase recommendation product based on a previously stored purchase history of the user and a food (or food ingredient) list received from the refrigerator 100 .
  • the third server device 30 transmits information about the recommended purchase product to the refrigerator 100 ( 1465 ).
  • the refrigerator 100 displays the purchase recommendation product in response to receiving the information on the purchase recommendation product from the third server device 30 ( 1470 ).
  • the controller 190 may control the touch screen display 130 to display a purchase recommendation product from the third server device 30 according to commands constituting the launched application. For example, the controller 190 may control the touch screen display 130 to display the page 300 including the purchase list area 330 as shown in FIG. 7 . A purchase recommendation product from the third server device 30 may be displayed in the purchase list area 330 . In addition, the controller 190 may control the touch screen display 130 to display a page 301 including a menu area 310 and a recipe area 320 as shown in FIG. 8 .
  • the refrigerator 100 may provide the user with a product purchase recommendation based on the user's product purchase history and food (or food ingredients) stored in the storage room 110 .
  • FIG 14 illustrates an example in which the refrigerator according to an embodiment acquires a diet and/or a recipe.
  • a method 1500 for the refrigerator to obtain a diet and/or a recipe thereof is described.
  • the purchase of the product by the user is performed (1510).
  • the description of operation 1510 may be replaced with the description of operation 1410 illustrated in FIG. 13 .
  • the refrigerator 100 launches an application in response to a user input ( 1520 ).
  • the controller 190 receives a user input for launching an application through the touch screen display 130 . can be obtained The controller 190 may launch an application in response to a user input.
  • the refrigerator 100 requests a meal and a recipe from the second server device 20 (1522).
  • the description of operation 1522 may be replaced with the description of operation 1145 illustrated in FIG. 10 .
  • the refrigerator 100 transmits a message requesting the provision of the recent purchase list to the third server device 30 or a message agreeing to the request for provision of the recent purchase list received from the third server device 30 (1524).
  • the third server device 30 transmits the user's recent purchase list to the second server device 20 in response to the message from the refrigerator 100 ( 1526 ).
  • the second server device 20 may request a food purchase list from the third server device 30 or the refrigerator 100 in order to provide a diet and recipe suitable for the user's taste.
  • the refrigerator 100 in response to the information request from the second server device 20, obtains a user input agreeing to provide the food purchase list, and sends a message agreeing to the provision of the food purchase list to the third server device 30 can be sent to Also, in response to the information request from the second server device 20 , the third server device 30 may request the refrigerator 100 to consent to the provision of the food purchase list.
  • the refrigerator 100 may obtain a user input consenting to the provision of the food purchase list and transmit a message consenting to the provision of the food purchase list to the third server device 30 .
  • the third server device 30 may transmit a recent purchase list to the second server device 20 in response to the message from the refrigerator 100 .
  • the second server device 20 selects the menu and recipe in response to the message for requesting the menu and recipe received from the refrigerator 100 ( 1530 ).
  • the second server device 20 may create a menu based on a list of foods (or ingredients) stored in the refrigerator 100 and a list of purchased foods (or ingredients) purchased by the user and select a recipe for food included in the diet. .
  • the second server device 20 merges the list of food (or ingredients) stored in the refrigerator 100 and the list of foods (or ingredients) purchased by the user, so that the list of foods (or ingredients) that can be used in the production of a diet can be created, and a menu can be created based on the created food (or ingredient) list, and a recipe for the food included in the diet can be selected.
  • the second server device 20 transmits information about the diet and its recipe to the refrigerator 100 (1535).
  • the refrigerator 100 displays the menu and the recipe in response to receiving the information about the menu and the recipe from the second server device 20 ( 1540 ).
  • operation 1355 and operation 1540 may be replaced with the description of operation 1155 and operation 1160 illustrated in FIG. 10 .
  • the refrigerator 100 may provide the user with a diet based on the purchased food (or food ingredient) and a recipe thereof immediately after purchasing the food (or food ingredient).
  • the refrigerator according to an embodiment obtains a diet and/or a recipe and recommends purchase of a product.
  • a method 1600 in which the refrigerator obtains a diet and/or recipe and recommends purchase of a product is described.
  • the refrigerator 100 updates the food list stored in the storage room 110 ( S1610 ).
  • the description of operation 1610 may be replaced with the description of operations 1110 , 1120 , and 1130 illustrated in FIG. 10 .
  • the refrigerator 100 launches an application in response to a user input ( 1620 ).
  • the description of operation 1620 may be replaced with the description of operation 1140 illustrated in FIG. 10 .
  • the refrigerator 100 requests a meal and a recipe from the second server device 20 ( 1625 ).
  • the description of operation 1625 may be replaced with the description of operation 1145 illustrated in FIG. 10 .
  • the second server device 20 selects the menu and recipe in response to the message for requesting the menu and recipe received from the refrigerator 100 ( 1630 ).
  • the description of operation 1630 includes the description of operation 1020 illustrated in FIG. 9 and/or the description of operation 1150 illustrated in FIG. 10 and/or the description of operation 1250 illustrated in FIG. 11 and/or the description of operation 1350 illustrated in FIG. 12 . and/or the description of operation 1530 illustrated in FIG. 14 may be substituted.
  • the second server device 20 transmits information about the diet and its recipe to the refrigerator 100 ( 1635 ).
  • the refrigerator 100 displays the menu and the recipe in response to receiving the information on the menu and the recipe from the second server device 20 ( 1640 ).
  • the refrigerator 100 requests a product purchase recommendation from the third server device 30 ( 1642 ).
  • the description of operation 1642 may be replaced with the description of operation 1455 illustrated in FIG. 13 .
  • the refrigerator 100 sends a message requesting the second server device 20 to provide the ingredients for the recipe or a message agreeing to the request for the ingredients for the recipe received from the second server device 20 . transmit (1644).
  • the second server device 20 transmits information about the ingredients for the recipe of the meal to the third server device 30 ( 1646 ).
  • the third server device 30 may request the second server device 20 or the refrigerator 100 for information on ingredients for a recipe for a diet.
  • the refrigerator 100 may obtain a user input agreeing to provide information and transmit a message agreeing to the information provision to the second server device 20 .
  • the second server device 20 may request the refrigerator 100 to consent to providing information.
  • the refrigerator 100 may obtain a user input agreeing to provide information and transmit a message agreeing to the information provision to the second server device 20 .
  • the second server device 20 may transmit information on ingredients for a recipe for a meal to the third server device 30 .
  • the third server device 30 selects a purchase recommendation product in response to the message requesting product purchase recommendation received from the refrigerator 100 ( 1650 ).
  • the third server device 30 may select a purchase recommendation product based on the previously stored purchase history of the user, the list of food (or food ingredients) received from the refrigerator 100, and ingredients for the recipe of the meal. For example, the third server device 30 may select foods that are included in the food list according to the user's purchase history and are not included in the food list received from the refrigerator 100 , and ingredients for recipes of the diet.
  • the third server device 30 transmits information on a purchase recommendation product to the refrigerator 100 ( 1655 ).
  • the refrigerator 100 displays the recommended purchase product in response to receiving the information on the purchase recommendation product from the third server device 30 ( 1660 ).
  • the refrigerator 100 may provide the user with a diet and a recipe thereof, and may provide the user with a product purchase recommendation based on the diet and the recipe.
  • 16 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user.
  • 17 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user through a first window frame.
  • 18 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user through a second window frame.
  • 19 illustrates an example in which the refrigerator according to an embodiment displays a diet and/or a recipe.
  • a method 1700 of a refrigerator providing a notification to a user is described.
  • the refrigerator 100 receives a meal/recipe or purchase recommendation (1710).
  • the controller 190 may receive a meal/recipe from the second server device 20 or a food purchase recommendation from the third server device 30 through the communication unit 180 .
  • Receiving a diet/recipe or purchase recommendation may be performed by any one of the methods 1000, 1100, 1200, 1300, 1400, 1500, and 1600 described above.
  • the refrigerator 100 identifies whether the current time belongs to a predetermined time range ( S1720 ).
  • the refrigerator 100 may provide a notification to the user at a predetermined time period.
  • the refrigerator 100 may provide a notification regarding a meal/recipe at a time when the user prepares a meal, and may provide a notification regarding a purchase recommendation at a time when the user is located in the house.
  • the refrigerator 100 may prevent a notification at late night or early morning.
  • the refrigerator 100 may wait without providing a notification.
  • the refrigerator 100 detects the user and identifies the distance to the user (1730).
  • the controller 190 may control the distance sensor 160 to detect a user and obtain information about a distance from the user.
  • the distance sensor 160 may include, for example, an infrared transceiver, an ultrasonic transceiver, or a transceiver antenna.
  • the distance sensor 160 may transmit infrared rays, ultrasonic waves, or radio waves toward the front of the refrigerator 100 , and receive infrared rays, ultrasonic waves, or radio waves reflected from a user or an object.
  • the presence or absence of the user may be identified based on infrared rays, ultrasonic waves, or radio waves reflected by the user. Further, the distance to the user may be identified based on a time of flight (TOF) of infrared, ultrasonic or radio waves, or may be identified based on a reception intensity of infrared, ultrasonic or radio waves.
  • TOF time of flight
  • the distance sensor 160 may provide an electrical signal indicating whether the user is detected and the distance to the user to the controller 190 .
  • the distance sensor 160 may provide detection data indicating the user's non-detection or may provide detection data indicating the distance to the user.
  • the distance sensor 160 provides sensing data indicating a delay time of infrared, ultrasonic, or radio waves to the controller 190 or provides sensing data indicating a reception intensity of infrared, ultrasonic, or radio waves to the controller 190 . can do.
  • the controller 190 may receive detection data from the distance sensor 160 , and identify whether the user is detected from the refrigerator 100 and the distance to the user from the refrigerator 100 based on the received detection data.
  • the refrigerator 100 identifies whether a user is detected (1740).
  • the controller 190 may identify whether the user is located in the vicinity of the refrigerator 100 based on the sensed data received from the distance sensor 160 .
  • the distance sensor 160 may provide detection data indicating the user's non-detection to the controller 190 in response to the user not being detected, and indicating the distance to the user in response to the user being detected.
  • the sensed data may be provided to the controller 190 .
  • the controller 190 identifies that the user is not located in the vicinity of the refrigerator 100 based on the sensed data indicating the user's non-detection, and allows the user to control the refrigerator 100 based on the sensed data indicating the distance to the user. It can identify what is located nearby.
  • the refrigerator 100 detects the user and identifies the distance to the user (1730).
  • the refrigerator 100 identifies whether the distance to the user is less than the reference distance (1750).
  • the controller 190 may identify the distance to the user based on the sensed data received from the distance sensor 160 . Also, the controller 190 may identify whether the distance to the user is less than a reference distance.
  • the controller 190 compares a physical quantity (eg, a voltage value) indicating a distance to the user with a physical quantity (eg, a voltage value) indicating a predetermined reference distance, and based on the comparison, It can be identified whether the distance of is less than the reference distance.
  • a physical quantity eg, a voltage value
  • a voltage value e.g., a voltage value
  • the reference distance may be set empirically or experimentally, for example, and may be set as a distance through which the user can check the contents displayed on the refrigerator 100 .
  • the refrigerator 100 displays a notification on the first window frame 410 ( 1755 ).
  • the controller 190 may display a notification indicating reception of a menu/recipe or purchase recommendation on the first window frame 410 .
  • the controller 190 controls the touch screen display 130 to display a notification in the first window frame 410 in the form of a pop-up window smaller than the screen of the touch screen display 130 as shown in FIG. 17 . can do.
  • the first window frame 410 is not limited to the pop-up window shown in FIG. 17 .
  • the user may recognize reception of the notification and may access the refrigerator 100 to check the contents of the notification.
  • the refrigerator 100 displays a notification on the second window frame 420 ( 1760 ).
  • the controller 190 may display a notification indicating reception of a menu/recipe or purchase recommendation on the second window frame 420 in order to provide the content of the notification to the user.
  • the second window frame 420 may be larger than the first window frame 410 .
  • a diagonal length of the second window frame 420 may be greater than a diagonal length of the first window frame 410 .
  • the controller 190 controls the touch screen display 130 to display a notification on the second window frame 420 in the form of a cover page that is approximately the same as the screen of the touch screen display 130 .
  • the second window frame 420 is not limited to the cover page illustrated in FIG. 18 .
  • the user may check the content of the received notification (ie, receiving a menu/recipe or purchase recommendation).
  • the refrigerator 100 identifies whether a user input through the touch screen display 130 is received ( 1770 ).
  • the controller 190 may identify whether a user input through the touch screen display 130 is received.
  • the user input includes a touch input through the touch screen display 130 .
  • the user input is not limited to a touch input at specific coordinates, a touch input of a specific pattern, or a touch input by a specific gesture, and only touching the touch screen display 130 may be sufficient.
  • the refrigerator 100 identifies whether a reference time has elapsed since displaying a notification in the second window frame 420 (1775). ).
  • the controller 190 may count the display time of displaying the notification in the second window frame 420 by using the internal timer. The controller 190 may compare the display time with the reference time, and may identify whether the display time of the notification is greater than the reference time.
  • the refrigerator 100 identifies whether a user input through the touch screen display 130 is received (1770), and the second window frame 420 It is identified whether a reference time has elapsed since the notification was displayed (1775).
  • the refrigerator 100 turns off the touch screen display 130 (1780).
  • the user input is not input for the reference time, it may be determined that the user does not intend to check the notification of the refrigerator 100 .
  • the controller 190 may turn off the touch screen display 130 in response to no user input being input for the reference time.
  • the refrigerator 100 displays a menu/recipe or purchase recommendation on the touch screen display 130 ( 1790 ).
  • the controller 190 in response to a user input through the touch screen display 130, displays the menu and its recipe received from the second server device 20 on the touch screen display 130 or the third server device ( 30 ) may display the purchase recommendation food received from the touch screen display 130 .
  • the controller 190 may display content indicating a diet and its recipe on the entire screen 430 of the touch screen display 130 .
  • the refrigerator 100 may display a notification of a diet/recipe or a purchase recommendation in various ways according to the user's situation. Accordingly, the user can easily recognize the notification of the menu/recipe or purchase recommendation, and may be provided with the content of the menu/recipe or the content of the purchase recommendation.
  • 20 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user.
  • 21 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user through a user device.
  • 22 illustrates an example in which the refrigerator according to an embodiment provides a notification to a user through a display device.
  • a method 1800 of a refrigerator providing a notification to a user is described.
  • the refrigerator 100 receives a diet/recipe or a purchase recommendation ( 1810 ).
  • the controller 190 may receive a meal/recipe from the second server device 20 or a food purchase recommendation from the third server device 30 through the communication unit 180 .
  • Receiving a diet/recipe or purchase recommendation may be performed by any one of the methods 1000, 1100, 1200, 1300, 1400, 1500, and 1600 described above.
  • the refrigerator 100 identifies whether the user is located in the house ( 1830 ).
  • the controller 190 may identify whether the user is located in the premises based on various pieces of information.
  • the premises may indicate a predetermined area in which the user typically resides.
  • the controller 190 may identify whether the user is located in the house based on whether the user device 50 of the user is connected to the same access point (AP) as the refrigerator 100 .
  • the controller 190 may request the access point (AP) or the first server device 10 for access information of the user device 50 , based on the response of the access point (AP) or the first server device 10 .
  • the controller 190 may identify that the user is located in the premises.
  • the controller 190 may identify whether the user is located in the premises based on whether the display device 60 operates.
  • the controller 190 may request a response signal from the display device 60 through the access point (AP) or the first server device 10 .
  • the controller 190 may identify whether the display apparatus 60 is operating based on a response signal received from the display apparatus 60 .
  • the controller 190 may identify that the user is located in the premises in response to the operation of the display device 60 .
  • the controller 190 may request the first server device 10 for the location of the user device 50 , and identify whether the user is located in the premises based on the response of the first server device 10 .
  • the first server device 10 may track the location of the user device 50 and may provide location information of the user device 50 to the refrigerator 100 in response to a request from the refrigerator 100 .
  • the refrigerator 100 requests the user device 50 to receive notification of a menu/recipe or purchase recommendation (1835).
  • the controller 190 may control the communication unit 180 to transmit a message requesting a notification of the user device 50 to the first server device 10 .
  • the first server device 10 stores information about devices linked to the user's account, for example, the refrigerator 100 , the user device 50 , the display device 60 , and the cooking device 70 . Accordingly, the controller 190 may transmit a message requesting notification of reception of a menu/recipe or purchase recommendation to the user device 50 through the first server device 10 .
  • the user device 50 displays a reception notification of a meal/recipe or a purchase recommendation in response to a request from the refrigerator 100 ( 1840 ).
  • the user device 50 may receive a request for the refrigerator 100 from the first server device 10 , and may display a notification of receipt of a menu/recipe or purchase recommendation on the display.
  • the user device 50 may display a notification window 440 on the display as shown in FIG. 21 , and display a message indicating receipt of a meal/recipe or purchase recommendation in the notification window 440 .
  • a purchase button 441 for driving an application for purchasing a product recommended to be purchased and a confirmation button 442 for driving an application for checking a diet and its recipe will be provided.
  • the refrigerator 100 identifies whether the display device 60 is operating (1850).
  • the controller 190 may request a response signal from the display device 60 through the access point (AP) or the first server device 10 .
  • the display device 60 in operation may provide a response signal in response to a request from the refrigerator 100 .
  • the controller 190 may identify whether the display apparatus 60 is operating based on whether or not a response signal is received from the display apparatus 60 .
  • the controller 190 may obtain information about the time the user watches the display device 60 from the first server device 10 .
  • the first server device 10 may collect information on the operating time of the display device 60 , and may provide information on the operating time of the display device 60 to the refrigerator 100 .
  • the controller 190 may identify whether the display apparatus 60 is currently operating based on information on the operation time of the display apparatus 60 .
  • the refrigerator 100 When the display device 60 is operating (Yes in 1850 ), the refrigerator 100 requests the display device 60 to receive notification of a menu/recipe or a purchase recommendation ( 1855 ).
  • the controller 190 may control the communication unit 180 to transmit a message requesting a notification of the display device 60 to the first server device 10 .
  • the first server device 10 stores information about devices linked to the user's account, for example, the refrigerator 100 , the user device 50 , the display device 60 , and the cooking device 70 . Accordingly, the controller 190 may transmit a message requesting notification of reception of a menu/recipe or a purchase recommendation to the display device 60 through the first server device 10 .
  • controller 190 may transmit a message requesting notification of reception of a menu/recipe or purchase recommendation to the display device 60 through the access point (AP).
  • AP access point
  • the display device 60 displays a reception notification of a meal/recipe or a purchase recommendation in response to a request from the refrigerator 100 ( 1860 ).
  • the user device 50 may receive a request for the refrigerator 100 from the first server device 10 or the access point (AP), and may display a notification of receipt of a meal/recipe or a purchase recommendation on the display.
  • AP access point
  • the display device 60 may display a notification window 450 on the display as shown in FIG. 22 , and may display a message indicating reception of a menu/recipe or purchase recommendation in the notification window 450 .
  • a purchase button 451 for driving an application for purchasing a product recommended to be purchased and a confirmation button 452 for driving an application for checking a meal and its recipe are provided.
  • the refrigerator 100 displays a notification of receipt of a meal/recipe or purchase recommendation (1870).
  • Operation 1870 may be the same as method 1700 illustrated in FIG. 16 .
  • the controller 190 based on the distance between the refrigerator 100 and the user, displays a touch screen display to display a notification of receipt of a meal/recipe or purchase recommendation in the first window frame 410 or the second window frame 420 . 130 can be controlled.
  • the refrigerator 100 may request to display a notification of a menu/recipe or purchase recommendation to various devices according to the user's situation. Accordingly, the user can easily recognize the notification of the menu/recipe or purchase recommendation, and may be provided with the content of the menu/recipe or the content of the purchase recommendation.
  • FIG 23 illustrates an example in which the refrigerator according to an embodiment controls the cooking apparatus.
  • the refrigerator 100 displays a diet and its recipe (1910).
  • the controller 190 may receive the menu and its recipe from the second server device 20 through the communication unit 180 and control the touch screen display 130 to display the menu and its recipe.
  • the display of the diet and its recipe may be performed by any one of the method 1000, method 1100, method 1200, method 1300, and method 1500 described above.
  • the refrigerator 100 identifies whether or not to start cooking ( 1920 ).
  • the controller 190 may identify whether a user input for starting cooking is received.
  • a first cooking button 311 may be provided in the menu area 310 of the page 300 shown in FIG. 7
  • a second cooking button 321 may be provided in the recipe area 320 .
  • the controller 190 may identify the start of cooking in response to a user input through the first cooking button 311 or the second cooking button 312 .
  • the refrigerator 100 continues to display the diet and its recipe.
  • the refrigerator 100 transmits a preheating request to the cooking apparatus 70 (S1925).
  • the controller 190 may control the communication unit 180 to transmit a message for requesting preheating to the cooking device 70 through the access point (AP) or the first server device 10 .
  • the cooking apparatus 70 receiving the preheating request from the refrigerator 100 performs preheating of the chamber (S1930).
  • the cooking apparatus 70 may operate a heating means such as a broil, a grill, and/or a convection to preheat the chamber.
  • a heating means such as a broil, a grill, and/or a convection to preheat the chamber.
  • the refrigerator 100 may control the cooking device 70 to heat the food in response to a user input while displaying a diet and a recipe thereof.
  • a refrigerator includes a storage compartment; a camera having a field of view facing the storage compartment; display; distance sensor; and a control unit.
  • the control unit obtains image data of the storage compartment from the camera, identifies food stored in the storage compartment based on the image data, obtains a diet based on information about the identified food, and outputs the distance sensor
  • the display is controlled to display a first window frame including a notification regarding the diet, and the distance to the user based on the output of the distance sensor is
  • a control unit for controlling the display to display a second window frame including a notification regarding the diet may be included.
  • a size of the second window frame may be different from a size of the first window frame.
  • a size of the second window frame may be greater than a size of the first window frame.
  • the controller may control the display to display information about the diet in response to a user input through the display while displaying the notification about the diet.
  • the refrigerator may further include a communication unit.
  • the control unit may control the communication unit to transmit a message for requesting preheating to the cooking apparatus in response to a user input through a display displaying information about the diet.
  • the controller may control the display to display a notification regarding the diet in response to the current time being within a predetermined time zone.
  • the controller may transmit a message for displaying a notification regarding the diet to at least one of the user device and the display device based on whether the user device is located within a predetermined area.
  • the control unit transmits a message for displaying a notification regarding the diet on the display device based on the location of the user device within a predetermined area, and based on the fact that the user device is not located within the predetermined area A message for displaying a notification regarding the diet may be transmitted to the user device.
  • the control unit may receive information on the product purchased by the user from the server device through the communication unit, and identify the food stored in the storage room based on the product information and the image data.
  • the control unit may control the communication unit to transmit information about the identified food to the server device, and receive a diet based on the information on the identified food from the server device through the communication unit.
  • the control unit controls the communication unit to transmit, to the server device, user information based on a user input and information on the identified food, from the server device through the communication unit, to the user information and the identified food. You can receive a diet based on the information about.
  • the control unit controls the communication unit to transmit, to the server device, connection information indicating a connection with the cooking device and information about the identified food, and from the server device through the communication unit, the connection information and the A diet may be received based on information regarding the identified food.
  • the control unit controls the communication unit to transmit information about the identified food to the server device, receives a diet based on the information on the identified food from the server device through the communication unit, and the communication unit Through this, it is possible to receive, from the other server device, a list of products recommended for purchase based on the diet.
  • the control unit controls the communication unit to transmit information about the identified food to the server device, and from the other server device through the communication unit, a product list for recommending a purchase based on the information on the identified food , and may receive, from the server device through the communication unit, information on the identified food and a diet based on the product list.
  • a refrigerator includes a storage compartment; a camera having a field of view facing the storage compartment; display; and a control unit.
  • the control unit obtains the image data of the storage chamber from the camera, identifies the food stored in the storage chamber based on the image data, and selects a diet based on the identified information on the food, a recipe for the menu, and the diet It is possible to obtain a purchase recommendation of a product for the meal, and simultaneously display the meal, a recipe for the meal, and a purchase recommendation for a product for the meal on a single screen on the display.
  • the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may generate program modules to perform operations of the disclosed embodiments.
  • the recording medium may be implemented as a computer-readable recording medium.
  • the computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored.
  • ROM read only memory
  • RAM random access memory
  • magnetic tape magnetic tape
  • magnetic disk magnetic disk
  • flash memory an optical data storage device, and the like.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 거리 센서; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.

Description

냉장고 및 그 제어 방법
개시된 발명은 냉장고 및 그 제어 방법에 관한 것으로써, 서버 장치 및 가전 기기들과 통신할 수 있는 냉장고 및 그 제어 방법에 관한 발명이다.
일반적으로 냉장고는, 식품, 음료 등과 같이 저장물을 부패 없이 장기간 보관하기 위한 장치로서, 통상 저장물을 냉장 저장하는 냉장실과 저장물을 냉동 저장하는 냉동실을 포함한다.
냉장고는, 냉매의 압축 - 응축 - 팽창 - 증발을 포함하는 냉각 사이클을 반복 수행하여 저장실의 온도를 설정된 목표 온도로 유지시킨다. 냉장고는, 각 저장실(냉장실 및/또는 냉동실)의 목표 온도에 기초하여 각 저장실에 대응되어 마련된 증발기에 의해 냉각된 공기를 각 저장실 내로 공급하여 저장실의 온도가 목표 온도로 유지되도록 한다.
최근 냉장고는, 저장실의 온도 및 냉장고의 동작 모드를 표시하기 위한 디스플레이를 포함하기도 한다. 이러한 디스플레이는, 사용자에게 그래픽 유저 인터페이스를 제공하고, 그래픽 유저 인터페이스와 터치 패널을 이용하여 사용자가 냉장고와 관련된 정보 및/또는 식품과 관련된 정보를 쉽게 획득할 수 있도록 하며, 또한 사용자가 직관적으로 제어 명령을 입력할 수 있도록 한다.
특히 냉장고는, 디스플레이를 통하여 입력된 사용자 입력에 응답하여 저장실에 저장된 식품의 정보를 디스플레이를 통하여 표시하고, 각각의 식품의 정보를 관리할 수 있다.
뿐만 아니라 냉장고는, 디스플레이를 통하여 물품의 구매를 위한 정보 및 식품 조리를 위한 조리법 등을 표시할 수 있다.
개시된 발명의 일 측면은, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 식단(meal plan) 및/또는 그 조리법(recipe)을 제공하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 상품의 구매를 추천하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 서로 다른 사용자의 위치에 응답하여 디스플레이 상의 서로 다른 크기의 UI (User Interface) 프레임을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은, 서로 다른 사용자의 위치에 응답하여 서로 다른 전자 기기들을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공하고자 한다.
개시된 발병의 일 측면에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 거리 센서; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.
개시된 발병의 일 측면에 의한, 저장실 및 상기 저장실을 향하는 시야를 가지는 카메라를 포함하는 냉장고의 제어 방법은, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고; 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고; 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고; 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하고; 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하는 것을 포함할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.
개시된 발병의 일 측면에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 획득하고, 상기 디스플레이 상의 단일 스크린 상에 상기 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 동시에 표시할 수 있다.
개시된 발명의 일 측면에 따르면, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 식단(meal plan) 및/또는 그 조리법(recipe)을 제공하는 냉장고 및 그 제어 방법을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 저장실에 저장된 식품 및/또는 사용자의 구매 이력 및/또는 사용자의 취식 이력에 기초하여 사용자에게 상품의 구매를 추천하는 냉장고 및 그 제어 방법을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 서로 다른 사용자의 위치에 응답하여 디스플레이 상의 서로 다른 크기의 UI 프레임을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공할 수 있다.
개시된 발명의 일 측면에 따르면, 서로 다른 사용자의 위치에 응답하여 서로 다른 전자 기기들을 통하여 식단 및/또는 상품 정보를 제공하는 냉장고 및 그 제어 방법을 제공할 수 있다.
도 1은 일 실시예에 의한 식품 관리 시스템을 도시한다.
도 2은 일 실시예에 의한 냉장고의 외관을 도시한다.
도 3는 일 실시예에 의한 냉장고의 전면을 도시한다.
도 4은 일 실시예에 의한 냉장고의 구성을 도시한다.
도 5는 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이를 도시한다.
도 6은 일 실시예에 의한 냉장고에 의하여 촬영된 영상과 식품의 식별을 나타내는 화면의 일 예를 도시한다.
도 7은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 일 예를 도시한다.
도 8은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 다른 일 예를 도시한다.
도 9은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 10은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 11은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 12는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 13은 일 실시예에 의한 냉장고가 상품의 구매를 추천하는 일 예를 도시한다.
도 14는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 15는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하고 상품의 구매를 추천하는 일 예를 도시한다.
도 16은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다.
도 17은 일 실시예에 의한 냉장고가 제1 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 18은 일 실시예에 의한 냉장고가 제2 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 19는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 표시하는 일 예를 도시한다.
도 20은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다.
도 21은 일 실시예에 의한 냉장고가 사용자 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 22는 일 실시예에 의한 냉장고가 디스플레이 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 23은 일 실시예에 의한 냉장고가 조리 장치를 제어하는 일 예를 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별 부호는 설명의 편의를 위하여 사용되는 것으로 식별 부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예에 대해 설명한다.
도 1은 일 실시예에 의한 식품 관리 시스템을 도시한다.
도 1에 도시된 바와 같이, 식품 관리 시스템(1)은 식품을 저장하는 냉장고(100)와, 냉장고(100)의 사용자의 사용자 정보를 관리하는 제1 서버 장치(10)와, 사용자에게 식단(meal plan) 및 그 조리법(recipe)을 제공하는 제2 서버 장치(20)와, 상품 구매를 위한 구매 인터페이스를 제공하는 제3 서버 장치(30)와, 사용자게 휴대할 수 있는 사용자 장치(50)와, 사용자에게 영상 정보를 제공하는 디스플레이 장치(60)와, 식품을 조리하는 조리 장치(70)를 포함할 수 있다.
식품 관리 시스템(1)에 포함된 장치들(10, 20, 30, 50, 60, 70, 100)은 통신망(NET)을 통하여 연결될 수 있다. 이때, 통신망(NET)은 유선 통신망과 무선 통신망을 모두 포함할 수 있다. 유선 통신망은 케이블망이나 전화망 등의 통신망을 포함하며, 무선 통신망은 전파를 통하여 신호를 송수신하는 통신망을 포함할 수 있다. 유선 통신망과 무선 통신망은 서로 연결될 수 있다. 예를 들어, 유선 통신망은 인터넷 등의 광역 네트워크(WAN)를 포함할 수 있으며, 무선 통신망은 광역 네트워크(WAN)에 연결된 액세스 포인트(AP)를 포함할 수 있다.
냉장고(100)는 식품을 냉장 저장하거나 냉동 저장할 수 있다. 예를 들어, 냉장고(100)는 식품을 수용하는 저장실과 저장실을 냉각시키는 냉각 장치를 구비할 수 있다. 냉장고(100)는 저장실에 저장된 식품이 변질되는 것을 방지하기 위하여 냉각 장치를 이용하여 저장실에 냉각된 공기를 공급할 수 있다.
냉장고(100)는 사용자의 요구에 응답하여 저장실에 저장된 식품과 관련된 정보(예를 들어, 식품 목록 및/또는 식품의 신선 보관 기한 등)를 사용자에게 제공할 수 있다. 예를 들어, 냉장고(100)는 식품이 저장된 저장실을 촬영하고, 저장실 내부의 영상을 획득할 수 있다. 냉장고(100)는, 촬영된 저장실 내부의 영상에 기초하여, 저장실에 저장된 식품과 관련된 정보를 획득할 수 있다. 또한, 냉장고(100)는, 식품 관련 정보를 표시하거나 디스플레이 장치(60) 및/또는 사용자 장치(50)로 전송할 수 있다.
서버 장치들(10, 20, 30)은 다른 장치로부터 통신망(NET)을 통하여 데이터를 처리하고, 처리된 데이터를 저장하거나 다른 장치로 전송할 수 있다. 예를 들어, 서버 장치들(10, 20, 30)은 다른 장치와 통신할 수 있는 통신 유닛과, 데이터를 처리할 수 있는 처리 유닛과, 처리된 데이터를 저장할 수 있는 저장 매체를 포함할 수 있다. 이러한 서버 장치들(10, 20, 30)은 서버(server), 클라이언트(client), 워크스테이션(workstation), 퍼스널 컴퓨터(personal computer), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양하게 호칭될 수 있다.
제1 서버 장치(10)는 통신망(NET)을 통하여 냉장고(100)로부터 사용자의 사용자 정보, 사용자의 식품 선호 정보 및 냉장고의 연결 정보를 수신하고, 수신된 정보를 저장 관리할 수 있다. 예를 들어, 제1 서버 장치(10)는 사용자의 식별 정보(예를 들어, 이름, 국적, 주소, 연락처 등)와 사용자의 인증 정보(예를 들어, ID, 비밀번호, 생체 정보(지문 또는 홍채) 등)를 저장/관리할 수 있다. 제1 서버 장치(10)는 냉장고(100)와 연결된 장치(예를 들어, 사용자의 입력에 의하여 연동된 장치들 또는 냉장고가 연결된 액세스 포인트에 연결된 장치들 등)에 관한 정보를 저장/관리할 수 있다. 또한, 제1 서버 장치(10)는 사용자의 식품 선호에 관한 정보(예를 들어, 선호 식품, 회피 식품, 선호 조리 방식 등)을 저장/관리할 수 있다.
또한, 제1 서버 장치(10)는, 정보 제공을 위한 사용자의 요청 및/또는 동의에 응답하여, 제2 서버 장치(20) 및/또는 제3 서버 장치(30)에 사용자의 사용자 정보 및/또는 냉장고(100)의 연결 정보 및/또는 사용자의 식품 선호 정보를 제공할 수 있다.
제2 서버 장치(20)는 사용자에게 식품 섭취를 위한 식단 및/또는 식품 조리를 위한 조리법을 제공할 수 있다.
예를 들어, 제2 서버 장치(20)는 제1 서버 장치(10)로부터 사용자의 사용자 정보 및/또는 냉장고(100)의 연결 정보 및/또는 사용자의 식품 선호 정보를 수신할 수 있다. 제2 서버 장치(20)는 냉장고(100)로부터 냉장고(100)에 저장된 식품의 식품 관련 정보를 수신하거나 제3 서버 장치(30)로부터 사용자의 구매 이력을 수신할 수 있다. 또한, 제2 서버 장치(20)는 제1 서버 장치(10)로부터 수신된 정보에 기초하여 사용자의 식품 섭취를 위한 식단 및/또는 식품 조리를 위한 조리법을 선택하고, 선택된 식단 및/또는 그 조리법을 냉장고(100)에 전송할 수 있다.
또한, 제2 서버 장치(20)는, 정보 제공을 위한 사용자의 요청 및/또는 동의에 응답하여, 제3 서버 장치(30)에 선택된 식단 및/또는 그 조리법을 제공할 수 있다.
제3 서버 장치(30)는 사용자에게 상품 구매를 위한 구매 인터페이스를 제공할 수 있다.
예를 들어, 제3 서버 장치(30)는 상품의 구매 정보(예를 들어, 상품 이미지, 상품 가격 등)을 포함하는 구매 인터페이스를 표시하도록 냉장고(100)에 상품의 구매 정보를 전송할 수 있다. 제3 서버 장치(30)는, 구매 인터페이스를 통하여 사용자 입력에 응답하여, 상품의 구매를 대행할 수 있다.
제3 서버 장치(30)는 냉장고(100)로부터 냉장고(100)에 저장된 식품의 식품 관련 정보를 수신하거나, 제2 서버 장치(20)로부터 사용자의 식단 및/또는 그 조리법을 수신할 수 있다. 제3 서버 장치(30)는 식품 관련 정보 및/또는 식단 및/또는 그 조리법에 기초하여 냉장고(100)에 상품 구매를 추천하는 알림을 전송할 수 있다.
또한, 제3 서버 장치(30)는, 정보 제공을 위한 사용자의 요청 및/또는 동의에 응답하여, 제2 서버 장치(20)에 사용자가 구매한 구매 이력을 제공할 수 있다.
사용자 장치(50)는 다른 장치로부터 통신망(NET)을 통하여 데이터를 처리하고, 처리된 데이터를 사용자에게 표시할 수 있다. 특히, 사용자 장치(50)는 사용자에 의하여 휴대되거나, 사용자의 가정 또는 사무실 등에 배치될 수 있으며, 사용자는 쉽게 사용자 장치(50)에 접근할 수 있다. 이러한 사용자 장치(50)는 워크스테이션(workstation), 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등 다양하게 호칭될 수 있다.
사용자 장치(50)는 냉장고(100)로부터 냉장고(100)에 저장된 식품과 관련된 정보를 수신하고, 냉장고(100)에 저장된 식품과 관련된 정보를 표시할 수 있다. 사용자 장치(50)는 제2 서버 장치(20)로부터 식단 및/또는 그 조리법을 수신하고, 식단 및/또는 그 조리법을 표시할 수 있다. 또한, 사용자 장치(50)는 제3 서버 장치(30)로부터 상품 구매를 위한 구매 인터페이스를 수신하고, 구매 인터페이스를 표시할 수 있다.
디스플레이 장치(60)는 외부로부터 수신되는 영상 신호를 처리하고, 처리된 영상을 시각적으로 표시할 수 있다. 디스플레이 장치(60)는 예를 들어 텔레비전(Television, TV), 모니터(Monitor), 휴대용 멀티미디어 장치, 휴대용 통신장치, 대형 디스플레이 장치(Large Format Display, LFD) 등을 포함할 수 있다.
디스플레이 장치(60)는 냉장고(100)로부터 냉장고(100)에 저장된 식품과 관련된 정보를 수신하고, 냉장고(100)에 저장된 식품과 관련된 정보를 표시할 수 있다. 디스플레이 장치(60)는 제2 서버 장치(20)로부터 식단 및/또는 그 조리법을 수신하고, 식단 및/또는 그 조리법을 표시할 수 있다. 또한, 디스플레이 장치(60)는 제3 서버 장치(30)로부터 상품 구매를 위한 구매 인터페이스를 수신하고, 구매 인터페이스를 표시할 수 있다.
조리 장치(70)는 사용자 입력에 응답하여 조리 대상을 가열/조리할 수 있다. 예를 들어, 조리 장치(70)는 조리 대상을 수용하는 챔버를 포함하며, 조리 대상을 신속히 가열/조리하기 위하여 챔버의 내부를 예열할 수 있다.
조리 장치(70)는 냉장고(100)와 동일한 액세스 포인트(AP)에 연결될 수 있으며, 액세스 포인트(AP) 또는 서버 장치를 통하여 냉장고(100)와 메시지 및 데이터를 주고 받을 수 있다. 조리 장치(70)는 예를 들어 가스 오븐, 전기 오븐, 마이크로파 오븐, 토스터, 밥솥 등 전기적으로 제어가 가능한 모든 조리 장치를 포함할 수 있다.
이상에서 설명된 바와 같이 식품 관리 시스템(1)은, 사용자의 사용자 정보 및/또는 냉장고(100)의 연결 정보 및/또는 사용자의 식품 선호 정보에 기초하여 식단 및/또는 그 조리법을 사용자에게 제공할 수 있다. 또한, 식품 관리 시스템(1)은, 사용자의 구매 이력 및/또는 식단 및/또는 그 조리법에 기초하여 상품의 구매를 추천할 수 있다.
이하에서는, 식품 관리 시스템(1)에 포함된 냉장고(100)의 구성 및 동작이 설명된다.
도 2은 일 실시예에 의한 냉장고의 외관을 도시한다. 도 3는 일 실시예에 의한 냉장고의 전면을 도시한다. 도 4은 일 실시예에 의한 냉장고의 구성을 도시한다. 도 5는 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이를 도시한다.
도 2, 도 3, 도 4 및 도 5를 참조하면, 냉장고(100)는 전면(前面)이 개방된 본체(101)와, 본체(101) 내부에 형성되며 식품이 냉장 및/또는 냉동 보관되는 저장실(110)과, 본체(101)의 개방된 전면을 개폐하는 도어(120)를 포함할 수 있다.
본체(101)는 냉장고(100)의 외관을 형성할 수 있다. 본체(101)는 저장실(110)을 형성하는 내상(102)과, 내상(102)의 외측에 결합되어 외관을 형성하는 외상(103)을 포함할 수 있다. 본체(101)의 내상(102)과 외상(103) 사이에는 저장실(110)의 냉기 유출을 방지할 수 있는 단열재(미도시)가 충진될 수 있다.
저장실(110)은 수평 격벽(110a)과 수직 격벽(110b)에 의해 복수 개로 구획될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 저장실(110)은 상부 저장실(111)과, 하부 제1 저장실(112)과, 하부 제2 저장실(113)로 구획될 수 있다.
저장실(110)에는 식품을 올려 놓을 수 있는 선반(110c)이 마련될 수 있다. 저장실(110) 내부의 저장 공간은 선반(110c)에 의하여 구획될 수 있다. 예를 들어, 상부 저장실(111)은 제1 저장 공간(111a)과 제2 저장 공간(111b)과 제3 저장 공간(111c)으로 구획될 수 있다.
저장실(110)은 도어(120)에 의하여 개폐될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 상부 저장실(111)은 상부 제1 도어(121a)와 상부 제2 도어(121b)에 의하여 개폐될 수 있고, 하부 제1 저장실(112)은 하부 제1 도어(122)에 의하여 개폐될 수 있으며, 하부 제2 저장실(113)은 하부 제2 도어(123)에 의하여 개폐될 수 있다.
도어(120)를 용이하게 개폐할 수 있도록 도어(120)에는 핸들(120a)이 마련될 수 있다. 핸들(121)은 상부 제1 도어(121a)와 상부 제2 도어(121b)의 사이와 하부 제1 도어(122)와 하부 제2 도어(123)의 사이를 따라 상하방향으로 길게 형성될 수 있다.
도 4에 도시된 바와 같이, 냉장고(100)는, 본체(101), 저장실(110) 및 도어(120)와 함께, 터치 스크린 디스플레이(130), 온도 센서(140), 카메라(150), 거리 센서(range sensor) (160), 냉각부(170), 통신부(180), 및 제어부(190)를 포함할 수 있다.
터치 스크린 디스플레이(130)는 영상을 표시하는 디스플레이 패널(131)과, 터치 입력을 수신하는 터치 패널(132)을 포함할 수 있다.
디스플레이 패널(131)은 도 5에 도시된 바와 같이 제어부(190)로부터 수신된 영상 데이터를 사용자가 볼 수 있는 광학적 신호로 변환할 수 있다.
디스플레이 패널(131)은 액정 디스플레이(Liquid Crystal Display, LCD) 패널, 발광 다이오드(Light Emitting Diode, LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 패널, 마이크로 발광 다이오드(micro Light Emitting Diode, uLED) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 등을 채용할 수 있다. 다만, 디스플레이 패널(131)은 이에 한정되지 않으며, 디스플레이 패널(131)은 영상 데이터에 대응하는 광학적 영상을 시각적으로 표시할 수 있는 다양한 디스플레이를 채용할 수 있다.
터치 패널(132)은 도 5에 도시된 바와 같이 사용자의 터치 입력을 수신하고, 수신된 터치 입력에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다.
예를 들어, 터치 패널(132)은 전기적 저항값의 변화 또는 정전용량의 변화로부터 터치 패널(132)에 대한 사용자의 터치를 감지하고, 사용자의 터치 지점의 좌표에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다. 제어부(190)는 터치 패널(132)로부터 수신된 전기적 신호에 기초하여 사용자의 터치 지점의 좌표를 식별할 수 있다. 또한, 제어부(190)는 사용자의 터치 지점의 좌표에 기초하여 사용자 입력을 식별할 수 있다.
터치 패널(132)은 디스플레이 패널(131)의 전면에 위치할 수 있다. 다시 말해, 터치 패널(132)은 영상이 표시되는 면 위에 마련될 수 있다. 그로 인하여, 터치 패널(132)은 디스플레이 패널(131)에 표시되는 영상이 왜곡되지 않도록 투명한 재질로 형성될 수 있다.
이러한 터치 패널(132)은 저항막 방식 터치 패널 또는 정전용량 방식 터치 패널을 채용할 수 있다. 다만, 터치 패널(132)은 이에 한정되지 않으며, 터치 패널(132)은 사용자의 터치 또는 접근을 감지하고, 감지된 터치 지점의 좌표 또는 접근 지점의 좌표에 대응하는 전기적 신호를 출력할 수 있는 다양한 터치 패널을 채용할 수 있다.
이처럼, 터치 스크린 디스플레이(130)는 사용자로부터 터치 입력을 수신하여 제어부(190)로 전달하고, 사용자의 터치 입력에 응답한 제어부(190)의 영상을 표시할 수 있다. 다시 말해, 터치 스크린 디스플레이(130)는 사용자와 상호 작용할 수 있다.
터치 스크린 디스플레이(130)은 사용자의 편의를 위해 도어(120)에 설치될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 터치 스크린 디스플레이(130)는 상부 제2 도어(121b)에 설치될 수 있다. 이하에서는 상부 제2 도어(121b)에 설치된 터치 스크린 디스플레이(130)가 설명되나, 터치 스크린 디스플레이(130)의 설치 위치가 상부 제2 도어(121b)에 한정되는 것은 아니다. 예를 들어, 터치 스크린 디스플레이(130)는 상부 제1 도어(121a), 하부 제1 도어(122), 하부 제2 도어(123) 및 본체(10)의 외상(103) 등 사용자가 볼 수 있는 위치라면 어디든지 설치될 수 있다.
온도 센서(140)는 저장실(110)의 내부에 마련되어, 저장실(110) 내부의 온도를 감지하는 복수의 온도 센서들을 포함할 수 있다.
복수의 온도 센서들은 복수의 저장실들(111, 112, 112) 각각에 설치되어 수의 저장실(111, 112, 113) 각각의 온도를 감지하고, 감지된 온도에 대응하는 전기적 신호를 제어부(190)로 출력할 수 있다. 복수의 온도 센서들 각각은 온도에 따라 전기적 저항이 변화하는 서미스터(thermistor)를 포함할 수 있다.
카메라(150)는 저장실(110) 내부에 설치되어 저장실(110)의 내부 영상을 획득할 수 있다. 예를 들어, 도 2에 도시된 바와 같이 카메라(150)는 도어(120)의 내측에 설치될 수 있으며, 도어(120)의 내측으로부터 저장실(110) 내부를 향하여 촬영할 수 있다. 따라서, 카메라(150)는 사용자의 시선 방향과 대략 동일한 방향으로 저장실(110) 내부를 촬영할 수 있다.
카메라(150)는 영상을 촬영하여 전기적 신호로 변환하는 영상 센서(151, 152, 153)를 포함할 수 있다. 영상 센서(151)는 광학 신호를 전기적 신호로 변환하는 복수의 광 다이오드들을 포함할 수 있으며, 복수의 광 다이오드들은 2차원으로 배치될 수 있다. 영상 센서(151)는 예를 들어 CCD (Charge-Coupled Device) 영상 센서 또는 CMOS (Complementary metal-oxide-semiconductor) 영상 센서를 포함할 수 있다.
카메라(150)는 선반(110c)에 의하여 구획된 저장실(110)의 내부를 촬영하기 위하여 복수의 영상 센서들(151a, 151b, 151c)을 포함할 수 있다. 예를 들어, 카메라(150)는 상부 저장실(111)의 제1 저장 공간(111a)을 촬영하는 제1 영상 센서(151a)와, 제2 저장 공간(111b)을 촬영하는 제2 영상 센서(151b)와, 제3 저장 공간(111c)을 촬영하는 제3 영상 센서(151c)를 포함할 수 있다.
특히, 저장실(110)에 식품에 저장된 경우, 카메라(150)에 의하여 촬영된 저장실(110)의 영상은 저장실(110)에 저장된 식품의 영상을 포함할 수 있다.
카메라(150)는 촬영된 영상을 제어부(190)로 전달할 수 있다. 구체적으로, 카메라(150)는 식품의 영상이 포함된 저장실(110)의 영상을 제어부(190)로 전달할 수 있다.
거리 센서(160)는, 냉장고(100)의 주변에 위치하는 물건 특히 사용자까지의 거리를 측정할 수 있다. 예를 들어, 도 3에 도시된 바와 같이 거리 센서(160)는 터치 스크린 디스플레이(130)의 인근에 마련될 수 있다.
거리 센서(160)는 예를 들어 적외선 송수신기를 포함할 수 있다. 적외선 발광 다이오드는 냉장고(100)의 전방을 향하여 적외선을 방출하고, 포토 다이오드는 냉장고(100)의 전방에 위치하는 물건 및/또는 사용자에 의하여 반사된 적외선을 수신할 수 있다. 거리 센서(160)는 수신된 적외선의 세기에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별하거나 또는, 적외선의 발신 시간과 적외선의 수신 시간 사이의 차이에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별할 수 있다.
또한, 거리 센서(160)는 예를 들어 초음파 송수신기를 포함할 수 있다. 초음파 송신기는 냉장고(100)의 전방을 향하여 초음파 방출하고, 초음파 수신기는 냉장고(100)의 전방에 위치하는 물건 및/또는 사용자에 의하여 반사된 초음파를 수신할 수 있다. 거리 센서(160)는 발신된 초음파의 위상과 수신된 초음파의 위상 사이의 차이에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별할 수 있다.
또한, 거리 센서(160)는 예를 들어 송수신 안테나를 포함할 수 있다. 송신 안테나는 냉장고(100)의 전방을 향하여 주파수 변조된 전파 방출하고, 수신 안테나는 냉장고(100)의 전방에 위치하는 물건 및/또는 사용자에 의하여 반사된 전파를 수신할 수 있다. 거리 센서(160)는 발신된 전파의 주파수와 수신된 전파의 주파수 사이의 차이에 기초하여 물건 및/또는 사용자까지의 대략적인 거리를 식별할 수 있다.
거리 센서(160)는 사용자까지의 거리와 관련된 정보를 제어부(190)에 제공할 수 있다.
냉각부(170)는 저장실(110)에 냉각된 공기를 공급할 수 있다. 구체적으로, 냉각부(170)는 냉매 회로에서의 냉매의 순환을 이용하여 저장실(110)의 온도를 사용자에 의하여 지정된 범위 이내로 유지시킬 수 있다.
냉각부(170)는 기체 상태의 냉매를 압축하는 압축기(171)와, 압축된 기체 상태의 냉매를 액체 상태로 상태 변환시키는 응축기(172)와, 액체 상태의 냉매를 감압하는 팽창기(173)와, 감압된 액체 상태의 냉매를 기체 상태로 상태 변환시키는 증발기(174)를 포함할 수 있다. 냉각부(170)는 액체 상태의 냉매가 기체 상태로 상태 변환하면서 주위 공기의 열 에너지를 흡수하는 현상을 이용하여 저장실(110)의 공기를 냉각시킬 수 있다.
다만, 냉각부(170)가 냉매 회로를 포함하는 것에 한정되는 것은 아니다. 예를 들어, 냉각부(170)는 펠티어 효과(Peltier effect)를 이용한 펠티어 소자를 포함하거나 또는 자기 열효과(magneto-caloric effect)를 이용한 자기 냉각 물질을 포함할 수 있다.
통신부(180)는 서버 장치들(10, 20, 30) 및/또는 사용자 장치(50) 및/또는 디스플레이 장치(60) 및/또는 조리 장치(70) 등의 외부 장치들(10, 20, 30, 50, 60, 70)과 데이터를 주고받을 수 있다.
통신부(180)는 외부 장치들(10, 20, 30, 50, 60, 70)과 유선으로 데이터를 주고받는 유선 통신 모듈(182)과, 외부 장치들(10, 20, 30, 50, 60, 70)과 무선으로 데이터를 주고받는 무선 통신 모듈(181)을 포함할 수 있다.
유선 통신 모듈(182)은 유선 통신망에 접속하고 유선 통신망을 통하여 외부 장치들(10, 20, 30, 50, 60, 70)와 통신할 수 있다. 예를 들어, 유선 통신 모듈(182)은 이더넷(Ethernet, IEEE 802.3 기술 표준)을 통하여 유선 통신망에 접속하고, 유선 통신망을 통하여 외부 장치들(10, 20, 30, 50, 60, 70)로부터 데이터를 수신할 수 있다.
무선 통신 모듈(181)은 기지국(base station) 또는 액세스 포인트(AP)와 무선으로 통신할 수 있으며, 기지국 또는 액세스 포인트를 통하여 유선 통신망에 접속할 수 있다. 무선 통신 모듈(181)은 또한 기지국 또는 액세스 포인트를 거쳐 유선 통신망에 접속된 외부 장치들(10, 20, 30, 50, 60, 70)과 통신할 수 있다. 예를 들어, 무선 통신 모듈(181)은 와이파이(WiFi™, IEEE 802.11 기술 표준)을 이용하여 액세스 포인트(AP)와 무선으로 통신하거나, CDMA, WCDMA, GSM, LET(Long Term Evolution), 와이브로 등을 이용하여 기지국과 통신할 수 있다. 무선 통신 모듈(181)은 또한 기지국 또는 액세스 포인트를 거쳐 외부 장치들(10, 20, 30, 50, 60, 70)로부터 데이터를 수신할 수 있다.
뿐만 아니라, 무선 통신 모듈(181)은 외부 장치들(10, 20, 30, 50, 60, 70)과 직접 통신할 수 있다. 예를 들어, 무선 통신 모듈(181)은 와이파이, 블루투스 (Bluetooth™, IEEE 802.15.1 기술 표준), 지그비(ZigBee™, IEEE 802.15.4 기술 표준) 등을 이용하여 외부 장치들(10, 20, 30, 50, 60, 70)로부터 무선으로 데이터를 수신할 수 있다.
이처럼, 통신부(180)는 외부 장치들(10, 20, 30, 50, 60, 70)과 데이터를 주고 받을 수 있으며, 외부 장치들(10, 20, 30, 50, 60, 70)로부터 수신된 데이터를 제어부(190)로 출력할 수 있다.
제어부(190)는 사용자 입력 및/또는 감지 데이터 및/또는 통신 데이터를 처리하고, 데이터 처리에 기초하여 냉장고(100)에 포함된 구성들을 제어할 수 있다.
제어부(190)는 프로그램 및/또는 데이터를 저장/기억하는 메모리(192)와, 메모리(192)에 기억된 프로그램 및/또는 데이터에 따라 사용자 입력 및/또는 감지 데이터 및/또는 통신 데이터를 처리하는 프로세서(191)를 포함한다. 제어부(190)는 메모리(192)와 프로세서(191) 등의 하드웨어 뿐만 아니라, 메모리(192)에 기억되고 프로세서(191)에서 처리되는 프로그램 및/또는 데이터 등의 소프트웨어를 더 포함할 수 있다.
메모리(192)는 프로그램 및/또는 데이터를 저장/기억할 수 있다. 프로그램은 특정한 기능을 수행하기 위하여 조합된 복수의 명령어들을 포함하며, 데이터는 프로그램에 포함된 복수의 명령어들에 의하여 처리 및/또는 가공될 수 있다. 또한, 프로그램 및/또는 데이터는 냉장고(100)의 동작과 직접적으로 관련된 시스템 프로그램 및/또는 시스템 데이터와, 사용자에게 편의 및 재미를 제공하는 어플리케이션 프로그램 및/또는 어플리케이션 데이터를 포함할 수 있다.
메모리(192)는 냉장고(100)에 포함된 구성들을 제어하기 위한 프로그램 및/또는 데이터를 저장하는 비휘발성 메모리와 냉장고(100)에 포함된 구성들을 제어하기 중에 발생하는 임시 데이터를 기억하는 휘발성 메모리를 포함할 수 있다.
비휘발성 메모리는 예를 들어 프로그램 및/또는 데이터를 전기적으로 또는 자기적으로 또는 광학적으로 저장할 수 있다. 비휘발성 메모리는 예를 들어 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리(flash memory)를 포함할 수 있다. 또한, 비휘발성 메모리는 반도체 소자 드라이브(solid stat driver, SSD) 또는 하드 디스크 드라이브(hard disc drive, HDD) 또는 광 디스크 드라이브(optical disc drive, ODD) 등을 포함할 수 있다.
휘발성 메모리는 예를 들어 비휘발성 메모리로부터 프로그램 및/또는 데이터를 로드하고, 프로그램 및/또는 데이터를 전기적으로 기억할 수 있다. 휘발성 메모리는 예를 들어 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등을 포함할 수 있다.
이러한 메모리(192)는 운영 체제(Operating System, OS), 미들 웨어 및 어플리케이션 등의 프로그램 및 데이터를 저장/기억할 수 있으며, 프로세서(191)의 요청에 응답하여 프로그램 및 데이터를 프로세서(191)에 제공할 수 있다.
프로세서(191)는 메모리(192)에 기억/저장된 프로그램 및/또는 데이터에 따라 터치 스크린 디스플레이(130)의 사용자 입력 및/또는 거리 센서(160)의 감지 데이터 및/또는 통신부(180)의 통신 데이터를 처리할 수 있다. 또한, 프로세서(191)는 데이터 처리에 기초하여 카메라(150), 터치 스크린 디스플레이(130) 및/또는 통신부(180)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다.
예를 들어, 프로세서(191)는 온도 센서(140)로부터 저장실(110)의 온도 정보를 수신하고, 저장실(110)의 온도 정보에 기초하여 냉각부(170)의 동작을 제어하기 위한 냉각 제어 신호를 생성할 수 있다. 프로세서(191)는 터치 스크린 디스플레이(130)로부터 사용자의 터치 입력을 수신하고, 사용자의 터치 입력에 응답하여 터치 스크린 디스플레이(130)에 영상을 표시하기 위한 표시 제어 신호 및 영상 데이터를 터치 스크린 디스플레이(130)에 전달할 수 있다. 프로세서(191)는 개방된 도어(120)가 폐쇄된 즉시 카메라(150)가 저장실(110)의 내부를 촬영하도록 촬영 제어 신호를 생성하고, 카메라(150)로부터 저장실(110)의 내부 영상을 수신할 수 있다. 프로세서(191)는 카메라(150)로부터 저장실(110)의 내부 영상을 처리하고, 영상 처리에 기초하여 촬영된 영상에 포함된 식품들을 식별할 수 있다. 프로세서(191)는 식품들을 식별한 것에 기초하여 식품 관련 정보를 터치 스크린 디스플레이(130)에 표시하기 위한 표시 제어 신호를 생성할 수 있다.
프로세서(191)는 논리 연산 및 산술 연산 등을 수행하는 코어(core)와, 연산된 데이터를 기억하는 레지스터(register) 등을 포함할 수 있다.
이처럼 제어부(190)는 센서들로부터 수집된 데이터를 처리하고, 데이터 처리에 기초하여 냉장고(100)에 포함된 구성들을 제어할 수 있다. 특히, 제어부(190)는 터치 스크린 디스플레이(130)를 통하여 다양한 정보를 사용자에게 제공할 수 있다.
이하에서는 냉장고(100)가 터치 스크린 디스플레이(130)를 통하여 정보를 제공하는 것이 설명된다.
도 6은 일 실시예에 의한 냉장고에 의하여 촬영된 영상과 식품의 식별을 나타내는 화면의 일 예를 도시한다.
앞서 설명된 바와 같이, 냉장고(100)는, 저장실(110)의 내부를 촬영할 수 있다. 제어부(190)는, 도어(120)의 폐쇄 시에 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있으며, 카메라(150)로부터 영상 데이터를 획득할 수 있다.
제어부(190)는 카메라(150)로부터 획득된 영상을 포함하는 페이지(200)를 도 6에 도시된 바와 같이 터치 스크린 디스플레이(130)에 표시할 수 있다. 예를 들어, 제어부(190)는 제1 저장 공간(111a)의 내부 영상(210)과, 제2 저장 공간(111b)의 내부 영상(220)과, 제3 저장 공간(111c)의 내부 영상(230)을 각각 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 카메라(150)로부터 획득된 영상 데이터를 처리하는 것에 기초하여, 카메라(150)에 의하여 촬영된 식품(즉, 카메라에 의하여 촬영된 영상에 포함된 식품)을 식별할 수 있다.
예를 들어, 제어부(190)는 기계 학습을 위한 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 영상 데이터가 입력되는 입력 레이어와, 식별된 객체에 관한 정보가 출력되는 출력 레이어와, 입력 레이어와 출력 레이어 사이의 히든 레이어를 포함할 수 있다. 입력 레이어는 그 각각에 영상의 픽셀의 휘도 값이 입력되는 복수의 입력 노드들을 포함할 수 있다. 히든 레이어는 그 각각에 복수의 입력 노드들의 값들에 제1 가중치들이 적용된 값이 입력되는 복수의 히든 노드들을 포함할 수 있다. 출력 레이어는 그 각각에 복수의 히든 노드들의 값들에 제2 가중치들이 적용된 값이 입력되는 복수의 출력 노드들을 포함할 수 있다. 복수의 출력 노드들의 값에 기초하여 영상에 포함된 식품이 식별될 수 있다.
제어부(190)는, 카메라(150)로부터 획득된 영상과 함께, 도 6에 도시된 바와 같이 영상 데이터로부터 식별된 식품의 식별 정보(예를 들어, 명칭)를 표시할 수 있다. 예를 들어, 제어부(190)는 저장실(110)의 내부 영상(210, 220, 230) 상에 파인애플의 식별 정보(221)와, 통조림의 식별 정보(222)와, 포도의 식별 정보(223)와, 사과의 식별 정보(224)를 표시할 수 있다.
이상에서는 제어부(190)가, 카메라(150)로부터 획득된 영상 데이터를 처리하는 것에 기초하여, 카메라(150)에 의하여 촬영된 식품을 식별하는 것이 설명되었으나, 이에 한정되지 아니한다. 예를 들어, 제어부(190)는, 카메라(150)로부터 획득된 영상 데이터를 서버 장치로 전송하도록 통신부(180)를 제어하고, 통신부(180)를 통하여 서버 장치로부터 카메라(150)에 의하여 촬영된 식품의 식별 정보를 획득할 수 있다.
제어부(190)는, 카메라(150)에 의하여 촬영된 식품의 식별 정보를 제2 서버 장치(20) 및/또는 제3 서버 장치(30)에 전송하도록 통신부(180)를 제어할 수 있다. 제2 서버 장치(20)는, 수신된 식품의 식별 정보에 기초하여 식단 및/또는 그 조리법을 냉장고(100)에 제공할 수 있다. 또한, 제3 서버 장치(30)는, 수신된 식품의 식별 정보에 기초하여 식품 구매 추천을 냉장고(100)에 제공할 수 있다.
이처럼, 제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단 및/또는 그 조리법을 수신할 수 있으며, 통신부(180)를 통하여 제3 서버 장치(30)로부터 식품 구매 추천을 수신할 수 있다.
도 7은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 일 예를 도시한다. 도 8은 일 실시예에 의한 냉장고에 포함된 터치 스크린 디스플레이에 표시되는 페이지의 다른 일 예를 도시한다.
제어부(190)는 제2 서버 장치(20)로부터 수신된 식단 및/또는 그 조리법과 제3 서버 장치(30)로부터 수신된 구매 추천을 하나의 페이지(또는 화면) (200)상을 통하여 터치 스크린 디스플레이(130) 상에 표시할 수 있다.
제어부(190)는, 터치 스크린 디스플레이(130)를 통한 사용자 입력(예를 들어, 터치 입력)에 응답하여, 식단 관리를 위한 어플리케이션을 런칭할 수 있다.
제어부(190)는 어플리케이션에 포함된 일련의 명령어를 처리할 수 있으며, 어플리케이션의 런칭에 응답하여 예를 들어 도 7에 도시된 바와 같은 페이지(300)를 터치 스크린 디스플레이(130)에 표시할 수 있다.
식단 관리를 위한 어플리케이션에 의한 페이지(300)는 제2 서버 장치(20)로부터 수신된 식단을 표시하는 식단 영역(310)과, 제2 서버 장치(20)로부터 수신된 조리법을 표시하는 조리법 영역(320)과, 제3 서버 장치(30)를 통하여 구매하기 위한 목록을 표시하는 구매 목록 영역(330)을 포함할 수 있다.
식단 영역(310)에는, 제2 서버 장치(20)로부터 수신된 식단(meal plan)이 표시될 수 있다. 예를 들어, 제어부(190)는, 식단 영역(310)에, 제2 서버 장치(20)로부터 수신된 식단(meal plan) 중에 해당일(오늘)의 식사(diet)를 표시할 수 있다. 또한, 제어부(190)는, 식단 영역(310)에, 제2 서버 장치(20)는 수신된 식단 중에 해당일(오늘)의 해당 시간대의 식사(아침 식사, 점심 식사, 저녁 식사 중 어느 하나)를 표시할 수 있다.
식단 영역(310)에는, 식사의 조리를 개시하기 위한 제1 조리 버튼(311)이 마련될 수 있다. 제1 조리 버튼(311)을 통한 사용자 입력에 응답하여, 제어부(190)는 조리 장치(70)에 조리 챔버의 예열을 위한 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
조리법 영역(320)에는, 제2 서버 장치(20)로부터 수신된 조리법(recipe)이 표시될 수 있다. 예를 들어, 제어부(190)는, 조리법 영역(320)에, 해당일(오늘)의 식사에 대응하는 조리법을 표시할 수 있다. 또한, 제어부(190)는, 조리법 영역(320)에, 사용자에 의하여 선택된 조리법을 표시할 수 있다.
조리법 영역(320)에는, 조리법 영역(320)에 표시된 조리법에 따라 조리를 개시하기 위한 제2 조리 버튼(321)이 마련될 수 있다. 제2 조리 버튼(321)을 통한 사용자 입력에 응답하여, 제어부(190)는 조리 장치(70)에 조리 챔버의 예열을 위한 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
조리법 영역(320)에는, 조리법 영역(320)에 표시된 조리법에 의한 식사를 식단에 추가하기 위한 식단 추가 버튼(322)이 마련될 수 있다. 식단 추가 버튼(322)을 통한 사용자 입력에 응답하여, 제어부(190)는, 식단 영역(310)에 조리법 영역(320)에 표시된 식사를 추가하고, 식단 영역(310)에 상기 식사가 추가된 식단을 표시할 수 있다.
조리법 영역(320)에는, 조리법 영역(320)에 표시된 식사의 준비를 위한 식품 재료들을 구매하기 위한 구매 추가 버튼(323)이 마련될 수 있다. 구매 추가 버튼(323)을 통한 사용자 입력에 응답하여, 제어부(190)는, 구매 목록 영역(330)에 식사의 준비를 위한 식품 재료들을 추가할 수 있다.
구매 목록 영역(330)에는, 제3 서버 장치(30)를 통하여 구매하기 위한 상품의 목록을 표시될 수 있다. 예를 들어, 제어부(190)는, 구매 목록 영역(330)에 제3 서버 장치(30)로부터 수신된 구매 추천 목록의 상품들 및/또는 제2 서버 장치(20)로부터 수신된 식사의 준비를 위한 식품들을 표시할 수 있다.
구매 목록 영역(330)에는, 구매 목록 영역(330)에 표시된 상품들을 구매하기 위한 구매 버튼(331)이 마련될 수 있다. 구매 버튼(331)을 통한 사용자 입력에 응답하여, 제어부(190)는 구매 목록 영역(330)에 표시된 상품들을 구매하기 위한 요청을 제3 서버 장치(30)에 전송할 수 있으며, 상품 구매를 위한 페이지를 터치 스크린 디스플레이(130)에 표시할 수 있다.
이처럼, 냉장고(100)는 식단, 조리법 및 구매 목록을 터치 스크린 디스플레이(130)의 단일 페이지(또는 단일 화면) 상에 표시할 수 있다. 그로 인하여, 사용자는, 식단을 확인하기 위한 페이지와 식사를 준비하기 위한 조리법을 확인하기 위한 페이지와 조리법에 의한 식품 재료를 구매하기 위한 페이지로 이동하는 불편없이, 단일 페이지에서 식단 확인, 조리법 확인 및 식품 재료 구매를 모두 실행할 수 있다.
식단 확인, 조리법 확인 및 식품 재료 구매를 제공하기 위한 단일 페이지는 도 7에 도시된 바에 한정되지 아니한다.
예를 들어, 제어부(190)는 식단 관리를 위한 어플리케이션의 런칭에 응답하여 도 8에 도시된 바와 같은 페이지(301)를 터치 스크린 디스플레이(130)에 표시할 수 있다.
식단 관리를 위한 어플리케이션에 의한 페이지(301)는 제2 서버 장치(20)로부터 수신된 조리법을 표시하는 조리법 영역(320)과, 제2 서버 장치(20)로부터 수신된 식단을 표시하는 식단 영역(310)과, 제3 서버 장치(30)를 통하여 구매하기 위한 목록을 표시하는 구매 목록 영역(330)을 포함할 수 있다. 또한, 페이지(301)는 사용자에게 의하여 선택된 조리법을 표시하는 선호 영역(340)을 더 포함할 수 있다.
조리법 영역(320)에는, 조리법(recipe)이 표시될 수 있다. 또한, 조리법 영역(320)에는, 조리법 영역(320)에 표시된 조리법에 따라 조리를 개시하기 위한 제2 조리 버튼(321)과 조리법 영역(320)에 표시된 조리법에 의한 식사를 식단에 추가하기 위한 식단 추가 버튼(322)이 마련될 수 있다.
식단 영역(310)에는, 날짜 별 식사(diet)가 표시될 수 있다. 예를 들어, 해당일(오늘)의 식사가 표시될 수 있다. 또한, 식단 영역(310)에는, 해당일(오늘)의 식사(diet)의 조리법을 확인하기 위한 조리법 버튼(312)이 마련될 수 있다.
구매 목록 영역(330)에는, 제3 서버 장치(30)를 통하여 구매하기 위한 상품의 목록을 표시될 수 있다. 또한, 구매 목록 영역(330)에는, 구매 목록에 상품을 추가하기 위한 구매 추가 버튼(332)과, 구매 목록 영역(330)에 표시된 상품들을 구매하기 위한 구매 버튼(331)이 마련될 수 있다.
선호 영역(340)에는, 사용자가 특별히 선택한 식품의 조리법이 표시될 수 있다. 사용자는 식단 영역(310)에 표시되는 식사의 조리법 또는 조리법 영역(320)에 표시되는 조리법을 선호 조리법(341)으로써 선택할 수 있다. 사용자에 의하여 선택된 조리법은 선호 영역(340) 상에 표시되며, 별도의 사용자 입력이 없는 이상 선호 조리법(341)은 시간이 흐르거나 날짜가 변경되더라도 여전히 선호 영역(340) 상에 표시될 수 있다. 다시 말해, 사용자는 언제든지 간단히 선호 영역(340)의 선호 조리법(341)을 확인할 수 있다.
이상에서 설명된 바와 같이, 냉장고(100)는 식단, 조리법 및 식품 구매 모두를 위한 페이지를 사용자에게 제공할 수 있으며, 그로 인하여 사용자는 페이지 이동 없이 하나의 페이지에서 식단, 조리법 및 식품 구매를 모두 수행할 수 있다.
도 9은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 9와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1000)이 설명된다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1010).
제어부(190)는, 터치 스크린 디스플레이(130)를 통하여 어플리케이션을 런칭하기 위한 사용자 입력을 획득할 수 있다. 제어부(190)는, 사용자 입력에 응답하여, 어플리케이션을 런칭할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1015).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)에 식단 및 조리법을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1020).
제2 서버 장치(20)는 다양한 식품들 및 그 식품들의 조리법으로 구성된 데이터 베이스를 포함할 수 있다. 예를 들어, 제2 서버 장치(20)의 데이터 베이스는 각 국가에서 주로 섭취되는 식품들과 그 식품들의 조리법을 포함할 수 있다. 제2 서버 장치(20)의 데이터 베이스는 또한 계절에 따라 주로 섭취되는 식품들과 그 식품들의 조리법을 포함할 수 있다. 제2 서버 장치(20)의 데이터 베이스는 또한 날씨에 따라 주로 섭취되는 식품들과 그 식품들의 조리법을 포함할 수 있다.
또한, 제2 서버 장치(20)는 식품과 식재료와 관련된 다양한 주제의 커뮤니티를 제공할 수 있으며, 사용자가 커뮤니티에서 조리법을 다운로드하거나 조리법을 업로드할 수 있는 인터페이스를 제공한다.
이처럼 제2 서버 장치(20)는 국가, 지리적 위치, 계절, 날씨, 시간대, 식재료, 조리법 등 다양한 항목에 따른 다양한 식품과 그 조리법으로 구성된 데이터 베이스를 포함할 수 있다.
제2 서버 장치(20)는, 사용자의 국가, 지리적 위치, 선호 식재료, 선호 조리법, 비선호 식재료, 비선호 조리법, 조리 경험 등에 기초하여, 데이터 베이스를 이용하여 식단을 만들고 식단에 포함된 식품들의 조리법을 선택할 수 있다. 예를 들어, 제2 서버 장치(20)는 사용자의 국가, 지리적 위치, 선호 식재료, 선호 조리법, 비선호 식재료, 비선호 조리법, 조리 경험 등 다양한 항목에 따라 식품과 그 조리법을 선택하기 위한 기계 학습 모델(또는 기계 학습 엔진)을 포함할 수 있다. 제2 서버 장치(20)는 기계 학습 모델(또는 기계 학습 엔진)을 이용하여 식품과 그 조리법을 선택하고, 선택된 식품과 그 조리법을 사용자에게 추천할 수 있다.
이때, 제2 서버 장치(20)는, 냉장고(100)의 식단 및 조리법을 요청하는 메시지를 수신할 뿐이다. 이에, 제2 서버 장치(20)는, 냉장고(100)의 메시지를 수신한 때의 환경 정보에 기초하여, 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다. 예를 들어, 제2 서버 장치(20)는 요청 메시지를 수신한 시간대 및/또는 요청 메시지를 수신한 날짜(또는 계절) 및/또는 요청 메시지를 수신한 날의 날씨 및/또는 요청 메시지를 수신한 때의 식품 트렌드에 기초하여, 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1025).
냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1030).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)로부터 식단 및 그 조리법을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 예를 들어, 제어부(190)는 도 7에 도시된 바와 같이 식단 영역(310)과 조리법 영역(320)을 포함하는 페이지(300)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 식단 영역(310)에는 제2 서버 장치(20)로부터 수신된 식단이 표시되며, 조리법 영역(320)에는 제2 서버 장치(20)로부터 수신된 조리법이 표시될 수 있다. 뿐만 아니라, 제어부(190)는 도 8에 도시된 바와 같이 식단 영역(310)과 조리법 영역(320)을 포함하는 페이지(301)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는, 사용자로부터 사용자에 관한 정보의 획득 없이, 저장실(110)에 저장된 식품(또는 식재료), 계절, 날씨, 시간대 등에 기초한 식단 및 그 조리법을 표시할 수 있다.
도 10은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 10과 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1100)이 설명된다.
냉장고(100)는 저장실(110)의 내부를 촬영한다(1110).
예를 들어, 제어부(190)는 개방된 도어(120)의 폐쇄가 감지되면 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있다. 카메라(150)는 저장실(110)을 촬영하고, 촬영된 영상 데이터를 제어부(190)에 제공할 수 있다. 제어부(190)는 카메라(150)로부터 저장실(110)의 영상 데이터를 획득할 수 있다.
다른 예로, 제어부(190)는 터치 스크린 디스플레이(130)를 통한 사용자 입력에 응답하여 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있으며, 카메라(150)로부터 저장실(110)의 영상 데이터를 획득할 수 있다.
또한, 제어부(190)는, 사용자 입력에 응답하여, 카메라(150)에 의하여 촬영된 저장실(110)의 영상을 터치 스크린 디스플레이(130)에 표시할 수 있다.
냉장고(100)는 카메라(150)에 의하여 촬영된 식품(또는 식재료)을 식별한다(1120).
예를 들어, 제어부(190)는 기계 학습을 위한 뉴럴 네트워크를 포함할 수 있다. 제어부(190)는 촬영된 영상을 뉴럴 네트워크에 입력하고, 뉴럴 네트워크의 출력에 기초하여 카메라(150)에 의하여 촬영된 식품(즉, 카메라에 의하여 촬영된 영상에 포함된 식품) (또는 식재료)을 식별할 수 있다.
다른 예로, 제어부(190)는 저장실(110)의 영상 데이터를 외부 서버 장치에 전송하도록 통신부(180)를 제어할 수 있다. 외부 서버 장치는 기계 학습을 위한 뉴럴 네트워크를 포함할 수 있으며, 뉴럴 네트워크를 이용하여 영상 데이터에 포함된 식품(또는 식재료)을 식별할 수 있다. 제어부(190)는 통신부(180)를 통하여 외부 서버 장치로부터 식품(또는 식재료)의 정보를 수신할 수 있다.
냉장고(100)는 저장실(110)에 저장된 식품(또는 식재료) 목록을 갱신한다(1130).
제어부(190)는, 기계 학습을 이용하여 식별된 식품(또는 식재료)에 기초하여, 식품(또는 식재료) 목록을 갱신할 수 있다. 또한, 제어부(190)는, 사용자 입력에 응답하여, 저장실(110)에 저장된 식품(또는 식재료) 목록을 터치 스크린 디스플레이(130)에 표시할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1140).
제어부(190)는, 터치 스크린 디스플레이(130)를 통하여 어플리케이션을 런칭하기 위한 사용자 입력을 획득할 수 있다. 제어부(190)는, 사용자 입력에 응답하여, 어플리케이션을 런칭할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1145).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)에 식품(또는 식재료) 목록과 함께 식단 및 조리법을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1150).
도 9의 동작 1020에서 설명된 바와 같이, 제2 서버 장치(20)는 다양한 식품들 및 그 식품들의 조리법을 저장할 수 있다.
제2 서버 장치(20)는, 식품(또는 식재료) 목록을 수신할 뿐이다. 제2 서버 장치(20)는, 수신된 식품(또는 식재료) 목록 및 환경 정보에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 현재의 식품 목록에 포함된 식품과 이전의 식품 목록에 포함된 식품 사이의 비교에 기초하여 식단을 만들 수 있다. 제2 서버 장치(20)는 이전의 식품 목록에 포함되고 현재의 식품 목록에서 제거된 식품을 포함하는 식단을 만들 수 있다. 여기서, 이전의 식품 목록에 포함되고 현재의 식품 목록에서 제거된 식품은 사용자가 섭취한 식품으로 판단될 수 있다.
나아가, 제2 서버 장치(20)는, 식품 목록의 연혁(history)에 기초하여 식단을 만들 수 있다. 제2 서버 장치(20)는, 식품 목록에 포함된 또는 포함되었던 식품 중에 추가 및 배제가 빈번한 식품을 포함하는 식단을 만들 수 있다. 여기서, 식품 중에 추가 및 배제가 빈번한 식품은 사용자가 자주 섭취하는 식품으로 판단될 수 있다.
제2 서버 장치(20)는, 수신된 식재료를 이용한 식단을 만들 수 있다. 특히, 제2 서버 장치(20)는, 식재료 중에 추가 및 배제가 빈번한 식재료를 이용한 식단을 만들 수 있다. 여기서, 식재료 중에 추가 및 배제가 빈번한 식재료는 사용자가 자주 섭취하는 식품으로 판단될 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1155). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1160).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제2 서버 장치(20)로부터 식단 및 그 조리법을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는, 저장실(110)에 저장된 식품(또는 식재료)를 식별하고, 식별된 식품(또는 식재료)에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 11은 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 11와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1200)이 설명된다.
냉장고(100)는 사용자 정보를 획득한다(1210).
냉장고(100)는 사용자에게 보다 다양한 서비스를 제공하기 위하여 사용자에게 제1 서버 장치(10)에서 계정을 생성할 것을 추천할 수 있다. 예를 들어, 제1 서버 장치(10)는 서비스 가입된 사용자의 계정을 생성하고, 사용자의 식별 정보(예를 들어, 이름, 국적, 주소, 연락처 등)와 사용자의 인증 정보(예를 들어, ID, 비밀번호, 생체 정보(지문 또는 홍채) 등)를 저장/관리할 수 있다.
제어부(190)는 사용자의 식별 정보 및 인증 정보를 수집하기 위한 페이지를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 예를 들어, 제어부(190)는 터치 스크린 디스플레이(130)를 통하여 사용자의 이름, 국적, 주소, 연락처를 수집할 수 있으며, 사용자의 ID, 비밀번호, 생체 정보(지문 또는 홍채) 등을 수집할 수 있다.
또한, 냉장고(100)는 사용자의 식품 선호에 관한 정보를 수집할 수 있다.
구체적으로, 제어부(190)는 사용자의 식품 선호에 관한 정보를 수집하기 위한 페이지를 터치 스크린 디스플레이(130)에 표시하고, 터치 스크린 디스플레이(130)를 통한 사용자 입력에 기초하여 사용자의 식품 선호에 관한 정보를 획득할 수 있다.
예를 들어, 제어부(190)는 사용자 선호하는 식이 요법 및 식품 유형, 사용자가 회피하는 식품, 사용자의 가족 구성원의 수, 사용자가 선호하는 식재료, 사용자가 회피하는 식재료, 사용자가 선호하는 조리법, 사용자의 조리 경험 등을 수집할 수 있다.
제어부(190)는, 사용자가 선호하는 식이 요법에 관하여, 채식 주의(pescatarian, vegan, vegetarian 등), 비-유제품(dairy free), 저탄수화물(low-carb), 캐톤(ketogenic), 해독 식품(detox) 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 선호하는 식품 유형에 관하여, 건강식(healthy), 고단백질(high-protein), 저-설탕(low-sugars), 저염(low-sodium), 저지방(low-fat), 저-열량(low-energy), 저-섬유(low-fiber) 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 회피하는 식품에 관하여, 알콜, 카페인, 달걀, 생선, 글루텐, 견과, 겨자, 간장, 밀 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자의 가족 구성원의 수를 입력할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 회피하는 식품에 관하여, 소고기, 돼지고기, 닭고기, 생선, 토마토, 감자, 당근, 양파, 파, 마늘, 치즈, 달걀 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 회피하는 식재료를 입력할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자가 선호하는 조리법에 관하여, 미국식, 중국식, 일본식, 프랑스식, 인도식, 한국식, 태국식, 스페인식, 멕시코식 등 중 1 또는 그 이상을 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
제어부(190)는, 사용자의 조리 경험에 관하여, 초급(amateur), 중급(intermediate), 상급(advanced) 중 하나를 선택할 수 있는 인터페이스를 터치 스크린 디스플레이(130)에 표시할 수 있다.
이처럼, 냉장고(100)가 수집하는 사용자 정보는 식별 정보, 인증 정보 및 식품 선호 정보를 포함할 수 있다.
냉장고(100)는, 수집된 사용자 정보를 제1 서버 장치(10)에 전송한다(1215).
제어부(190)는, 식별 정보, 인증 정보 및 식품 선호 정보를 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다.
제1 서버 장치(10)는 수신된 사용자 정보를 저장한다(1220).
제1 서버 장치(10)는 수신된 식별 정보와 인증 정보에 기초하여 사용자의 계정을 생성할 수 있다. 또한, 제1 서버 장치(10)는 생성된 사용자 계정과 관련하여, 사용자의 식별 정보, 인증 정보 및 식품 선호 정보를 저장할 수 있다.
이후, 냉장고(100)는 저장실(110)에 저장된 식품 목록을 갱신한다(1230).
동작 1230은 도 10에 도시된 동작 1110, 동작 1120 및 동작 1130과 동일할 수 있다.
제어부(190)는 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어하고, 카메라(150)로부터 획득된 영상 데이터에 기초하여 식품(또는 식재료)를 식별할 수 있다. 구체적으로, 제어부(190)는 기계 학습을 이용하여 식품(또는 식재료)를 식별할 수 있다. 제어부(190)는 식별된 식품(또는 식재료)에 기초하여 식품(또는 식재료) 목록을 갱신할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1240).
동작 1240의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1242).
동작 1242의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
냉장고(100)는 제1 서버 장치(10)에 사용자 정보의 제공을 요청하는 메시지 또는 제1 서버 장치(10)의 사용자 정보의 제공 요청에 동의하는 메시지를 전송한다(1244). 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 제2 서버 장치(20)에 사용자 정보를 전송한다(1246).
제2 서버 장치(20)는, 사용자의 취향에 적합한 식단 및 조리법을 제공하기 위하여, 제1 서버 장치(10) 또는 냉장고(100)에 사용자 정보를 요청할 수 있다.
냉장고(100)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 사용자 정보의 제공에 동의하기 위한 페이지를 표시하고, 사용자 정보의 제공에 동의하는 사용자 입력에 응답하여 사용자 정보의 제공에 동의하는 메시지를 제1 서버 장치(10)에 전송할 수 있다. 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 사용자의 국적, 주소 등의 제한된 식별 정보와 사용자의 식품 선호 정보를 제2 서버 장치(20)에 전송할 수 있다.
또한, 제1 서버 장치(10)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 냉장고(100)에 사용자 정보의 제공 동의를 요청할 수 있다. 냉장고(100)는, 사용자 정보의 제공에 동의하는 사용자 입력에 응답하여, 사용자 정보의 제공에 동의하는 메시지를 제1 서버 장치(10)에 전송할 수 있다. 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 사용자의 국적, 주소 등의 제한된 식별 정보와 사용자의 식품 선호 정보를 제2 서버 장치(20)에 전송할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1250).
제2 서버 장치(20)는 냉장고(100)로부터 식품(또는 식재료) 목록을 수신하고, 제1 서버 장치(10)로부터 사용자 정보를 획득할 수 있다. 사용자 정보는 사용자의 국적, 주소 등의 제한된 식별 정보와 사용자의 식품 선호 정보를 포함할 수 있다.
제2 서버 장치(20)는, 식품(또는 식재료) 목록과 사용자 정보와 환경 정보에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 사용자 정보에 포함된 국적 및 주소에 기초한 식품을 포함하는 식단을 만들 수 있다.
제2 서버 장치(20)는, 사용자 선호하는 식이 요법 및 식품 유형, 사용자가 회피하는 식품, 사용자의 가족 구성원의 수, 사용자가 선호하는 식재료, 사용자가 회피하는 식재료에 기초하여 식단을 만들 수 있다. 예를 들어, 제2 서버 장치(20)는 사용자가 회피하는 식품 및 식재료를 배제하고, 사용자 선호하는 식이 요법, 식품 유형 및 식재료를 포함하는 식품을 포함하는 식단을 만들 수 있다.
또한, 제2 서버 장치(20)는, 사용자가 선호하는 조리법, 사용자의 조리 경험에 기초하여, 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1255). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1260).
동작 1255 및 동작 1260의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 사용자로부터 사용자의 식별 정보 및 식품 선호 정보를 획득하고, 획득된 식별 정보 및 식품 선호 정보에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 12는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 12와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1300)이 설명된다.
냉장고(100)는 연결된 조리 장치(70)를 식별한다(1310).
제어부(190)는 냉장고(100)와 연동 가능한 조리 장치(70)를 식별할 수 있다. 예를 들어, 제어부(190)는 냉장고(100)와 동일한 액세스 포인트(AP)와 연결된 조리 장치(70)를 검색할 수 있다. 여기서, 조리 장치(70)는 예를 들어 가스 오븐, 전기 오븐, 마이크로파 오븐, 토스터, 밥솥 등 전기적으로 제어가 가능하고 액세스 포인트(AP)를 통하여 무선으로 또는 유선으로 통신 가능한 모든 조리 장치를 포함할 수 있다.
제어부(190)는 액세스 포인트(AP)에 연결된 장치들의 목록을 요청할 수 있다. 제어부(190)는 액세스 포인트(AP)로부터 수신된 목록에 기초하여 냉장고(100)와 동일한 액세스 포인트(AP)와 연결된 조리 장치(70)를 식별할 수 있다.
또한, 제어부(190)는 액세스 포인트(AP)를 통하여 다른 장치들에 장치 정보를 요청할 수 있다. 제어부(190)는 액세스 포인트(AP)를 통하여 다른 장치들로부터 수신된 장치 정보에 기초하여 냉장고(100)와 동일한 액세스 포인트(AP)와 연결된 조리 장치(70)를 식별할 수 있다.
제어부(190)는 식별된 조리 장치(70)의 목록을 포함하는 연결 정보를 생성할 수 있다. 연결 정보는 조리 장치(70)의 식별 정보와 조리 장치(70)의 가열 방법(예를 들어, 브로일, 그릴, 컨벡션, 마이크로파 등)을 포함할 수 있다.
냉장고(100)는 냉장고(100)의 연결 정보를 제1 서버 장치(10)에 전송한다(1315).
제어부(190)는, 조리 장치(70)의 식별 정보와 조리 장치(70)의 가열 방법을 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다.
제1 서버 장치(10)는 냉장고(100)의 연결 정보를 저장한다(1320).
제1 서버 장치(10)는 생성된 사용자 계정과 관련하여, 냉장고(100)의 연결 정보를 함께 저장할 수 있다.
이후, 냉장고(100)는 저장실(110)에 저장된 식품 목록을 갱신한다(1330).
동작 1330의 설명은 도 10에 도시된 동작 1110, 동작 1120 및 동작 1130의 설명으로 갈음할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1340).
동작 1340의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1342).
동작 1342의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
냉장고(100)는 제1 서버 장치(10)에 연결 정보의 제공을 요청하는 메시지 또는 제1 서버 장치(10)의으로부터 수신된 연결 정보의 제공 요청에 동의하는 메시지를 전송한다(1344). 제1 서버 장치(10)는, 냉장고(100)의 메시지에 응답하여, 제2 서버 장치(20)에 연결 정보를 전송한다(1346).
동작 1344 및 동작 1346의 설명은 도 11에 도시된 동작 1244 및 동작 1246의 설명으로 갈음할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1350).
제2 서버 장치(20)는 냉장고(100)로부터 식품(또는 식재료) 목록을 수신하고, 제1 서버 장치(10)로부터 냉장고(100)의 연결 정보를 획득할 수 있다. 냉장고(100)의 연결 정보는 냉장고(100)와 동일한 액세스 포인트(AP)에 연결된 조리 장치(70)의 식별 정보와 가열 방법을 포함할 수 있다. 다시 말해, 냉장고(100)의 연결 정보는 냉장고(100)에 의하여 제어될 수 있는 조리 장치(70)의 식별 정보와 가열 방법을 포함할 수 있다.
제2 서버 장치(20)는, 식품(또는 식재료) 목록과 환경 정보에 기초하여 식단을 만들고, 냉장고(100)의 연결 정보에 기초하여 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는, 냉장고(100)와 연결된 조리 장치(70)의 가열 방법에 기초하여 식단에 포함된 식품의 조리법을 선택할 수 있다.
예를 들어, 냉장고(100)와 연결된 조리 장치(70)가 가스 오븐(또는 전기 오븐)을 포함하면, 제2 서버 장치(20)는 오븐을 이용하여 식품을 조리할 수 있는 식품의 조리법을 선택할 수 있다. 또한, 조리 장치(70)가 브로일을 포함하면, 제2 서버 장치(20)는 브로일에 의한 가열을 포함하는 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1355). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1360).
동작 1355 및 동작 1360의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 냉장고(100)와 연결된 조리 장치(70)에 관한 정보를 획득하고, 조리 장치(70)에 관한 정보에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 13은 일 실시예에 의한 냉장고가 상품의 구매를 추천하는 일 예를 도시한다.
도 13와 함께, 냉장고가 상품의 구매를 추천하는 방법(1400)이 설명된다.
제3 서버 장치(30)에서, 사용자에 의한 상품의 구매가 수행된다(1410).
사용자는, 제3 서버 장치(30)와 연결된 마트에서 직접 상품을 구매하거나, 냉장고(100)를 통하여 제3 서버 장치(30)에서 상품을 구매하거나, 또는 사용자 장치(50)를 통하여 상품을 제3 서버 장치(30)에서 구매하거나, 또는 디스플레이 장치(60)를 통하여 제3 서버 장치(30)에서 상품을 구매할 수 있다.
제3 서버 장치(30)는 사용자가 구매한 상품의 목록을 획득할 수 있으며, 사용자가 구매한 상품의 목록을 저장할 수 있다.
제3 서버 장치(30)는 구매 식품 목록을 냉장고(100)에 전송한다(1415).
이때, 제3 서버 장치(30)는 상품의 배송 정보에 기초하여 구매 식품 목록을 냉장고(100)에 전송할 수 있다. 예를 들어, 제3 서버 장치(30)는, 상품의 배송사 서버로부터 상품의 배송 완료를 나타내는 메시지를 수신하면, 구매 식품 목록을 냉장고(100)에 전송할 수 있다. 다른 예로, 제3 서버 장치(30)는, 상품의 배송 개시 이후 사용자의 배송지에 기초한 배송 예상 시간이 경과하면, 구매 식품 목록을 냉장고(100)에 전송할 수 있다. 다른 예로, 제3 서버 장치(30)는, 미리 정해진 배송 예상 시간이 경과하면, 구매 식품 목록을 냉장고(100)에 전송할 수 있다.
이처럼, 냉장고(100)는 사용자가 실제 상품을 구매한 시각보다 지연된 시각에 제3 서버 장치(30)로부터 구매 식품 목록을 수신할 수 있다.
이후, 냉장고(100)는 저장실(110)의 내부를 촬영하고(1420), 카메라(150)에 의하여 촬영된 식품(또는 식재료)을 식별하고(1430), 식품 목록을 갱신한다(1440).
예를 들어, 제어부(190)는 개방된 도어(120)의 폐쇄가 감지되면 저장실(110)의 내부를 촬영하도록 카메라(150)를 제어할 수 있다. 제어부(190)는 카메라(150)로부터 저장실(110)의 영상 데이터를 획득할 수 있다.
도어(120)가 개방된 동안, 구매 상품의 일부는 저장실(110)에 투입되어 냉장 보관될 수 있다. 또한, 구매 상품의 다른 일부는 냉장고(100)의 저장실(110)에 투입되지 아니한 채, 상온 보관될 수 있다. 또한, 저장실(110)에 투입되었으나 카메라(150)에 의하여 촬영되지 아니한 식품이 있을 수 있다.
제어부(190)는, 이전의 식품 목록과 저장실(110)의 영상 데이터로부터 식별된 식품들의 목록과 제3 서버 장치(30)로부터 수신된 구매 목록에 포함된 식품들의 목록에 기초하여, 식품 목록을 갱신할 수 있다. 예를 들어, 제어부(190)는, 영상 데이터로부터 식별된 식품들의 목록을 구매 목록에 포함된 식품들의 목록과 비교하고, 구매 목록에 포함되고 영상 데이터로부터 식별된 목록에 포함되지 않은 식품들을 식품 목록에 추가할 수 있다. 다른 예로, 제어부(190)는, 오직 영상 데이터로부터 식별된 식품들의 목록에 의존하여 식품 목록을 갱신할 수 있다. 다른 예로, 제어부(190)는, 이전의 식품 목록에 구매 목록에 포함된 식품들의 목록을 추가함으로써, 식품 목록을 갱신할 수 있다.
이후, 냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1450).
동작 1450의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제3 서버 장치(30)에 상품 구매 추천을 요청한다(1455).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제3 서버 장치(30)에 식품(또는 식재료) 목록과 함께 상품 구매 추천을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
제3 서버 장치(30)는, 냉장고(100)로부터 수신된 상품 구매 추천을 요청하는 메시지에 응답하여, 구매 추천 상품을 선택한다(1460).
제3 서버 장치(30)는, 기존에 저장된 사용자의 구매 이력과 냉장고(100)로부터 수신된 식품(또는 식재료) 목록에 기초하여 구매 추천 상품을 선택할 수 있다.
예를 들어, 제3 서버 장치(30)는, 사용자의 구매 이력에 의한 식품 목록과 냉장고(100)로부터 수신된 식품 목록을 비교하고, 사용자의 구매 이력에 의한 식품 목록에 포함되고 냉장고(100)로부터 수신된 식품 목록에 포함되지 않은 식품을 선택할 수 있다. 다른 예로, 제3 서버 장치(30)는, 최근 사용자가 연속으로 2회 이상 구매한 식품을 선택할 수 있다.
제3 서버 장치(30)는 구매 추천 상품에 관한 정보를 냉장고(100)에 전송한다(1465).
냉장고(100)는, 제3 서버 장치(30)로부터 구매 추천 상품에 관한 정보를 수신한 것에 응답하여, 구매 추천 상품을 표시한다(1470).
제어부(190)는, 런칭된 어플리케이션을 구성하는 명령어들에 따라, 제3 서버 장치(30)로부터 구매 추천 상품을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 예를 들어, 제어부(190)는 도 7에 도시된 바와 같이 구매 목록 영역(330)을 포함하는 페이지(300)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다. 구매 목록 영역(330)에는 제3 서버 장치(30)로부터 구매 추천 상품이 표시될 수 있다. 뿐만 아니라, 제어부(190)는 도 8에 도시된 바와 같이 식단 영역(310)과 조리법 영역(320)을 포함하는 페이지(301)를 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는, 사용자의 상품 구매 이력 및 저장실(110)에 저장된 식품(또는 식재료)에 기초한 상품 구매 추천을 사용자에게 제공할 수 있다.
도 14는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하는 일 예를 도시한다.
도 14와 함께, 냉장고가 식단 및/또는 그 조리법을 획득하는 방법(1500)이 설명된다.
제3 서버 장치(30)에서, 사용자에 의한 상품의 구매가 수행된다(1510).
동작 1510의 설명은 도 13에 도시된 동작 1410의 설명으로 갈음할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1520).
냉장고(100)가 제3 서버 장치(30)로부터 구매 목록을 수신하기 전 또는 사용자가 구매 상품을 수취하기 전에, 제어부(190)는 터치 스크린 디스플레이(130)를 통하여 어플리케이션을 런칭하기 위한 사용자 입력을 획득할 수 있다. 제어부(190)는, 사용자 입력에 응답하여, 어플리케이션을 런칭할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1522).
동작 1522의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
냉장고(100)는 제3 서버 장치(30)에 최근 구매 목록의 제공을 요청하는 메시지 또는 제3 서버 장치(30)으로부터 수신된 최근 구매 목록의 제공 요청에 동의하는 메시지를 전송한다(1524). 제3 서버 장치(30)는, 냉장고(100)의 메시지에 응답하여, 제2 서버 장치(20)에 사용자의 최근 구매 목록을 전송한다(1526).
제2 서버 장치(20)는, 사용자의 취향에 적합한 식단 및 조리법을 제공하기 위하여, 제3 서버 장치(30) 또는 냉장고(100)에 식품 구매 목록을 요청할 수 있다.
냉장고(100)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 식품 구매 목록의 제공에 동의하는 사용자 입력을 획득하고 식품 구매 목록의 제공에 동의하는 메시지를 제3 서버 장치(30)에 전송할 수 있다. 또한, 제3 서버 장치(30)는, 제2 서버 장치(20)의 정보 요청에 응답하여, 냉장고(100)에 식품 구매 목록의 제공 동의를 요청할 수 있다. 냉장고(100)는, 식품 구매 목록의 제공에 동의하는 사용자 입력을 획득하고 식품 구매 목록의 제공에 동의하는 메시지를 제3 서버 장치(30)에 전송할 수 있다.
제3 서버 장치(30)는, 냉장고(100)의 메시지에 응답하여, 최근 구매 목록을 제2 서버 장치(20)에 전송할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1530).
제2 서버 장치(20)는, 냉장고(100)에 저장된 식품(또는 식재료) 목록 및 사용자가 구매한 구매 식품(또는 식재료) 목록에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다. 제2 서버 장치(20)는, 냉장고(100)에 저장된 식품(또는 식재료) 목록 및 사용자가 구매한 구매 식품(또는 식재료) 목록을 병합함으로써 식단의 제작에 이용될 수 있는 식품(또는 식재료) 목록을 생성할 수 있으며, 생성된 식품(또는 식재료) 목록에 기초하여 식단을 만들고 식단에 포함된 식품의 조리법을 선택할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1535). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1540).
동작 1355 및 동작 1540의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 식품(또는 식재료)의 구매 즉시 구매한 식품(또는 식재료)에 기초한 식단 및 그 조리법을 사용자에게 제공할 수 있다.
도 15는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 획득하고 상품의 구매를 추천하는 일 예를 도시한다.
도 15와 함께, 냉장고가 식단 및/또는 조리법을 획득하고 상품의 구매를 추천하는 방법(1600)이 설명된다.
냉장고(100)는 저장실(110)에 저장된 식품 목록을 갱신한다(1610).
동작 1610의 설명은 도 10에 도시된 동작 1110, 동작 1120 및 동작 1130의 설명으로 갈음할 수 있다.
냉장고(100)는 사용자 입력에 응답하여 어플리케이션을 런칭한다(1620).
동작 1620의 설명은 도 10에 도시된 동작 1140의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단 및 조리법을 요청한다(1625).
동작 1625의 설명은 도 10에 도시된 동작 1145의 설명으로 갈음할 수 있다.
제2 서버 장치(20)는, 냉장고(100)로부터 수신된 식단 및 조리법을 요청하는 메시지에 응답하여, 식단 및 조리법을 선택한다(1630).
동작 1630의 설명은 도 9에 도시된 동작 1020의 설명 및/또는 도 10에 도시된 동작 1150의 설명 및/또는 도 11에 도시된 동작 1250의 설명 및/또는 도 12에 도시된 동작 1350의 설명 및/또는 도 14에 도시된 동작 1530의 설명으로 갈음할 수 있다.
제2 서버 장치(20)는 식단 및 그 조리법에 관한 정보를 냉장고(100)에 전송한다(1635). 냉장고(100)는, 제2 서버 장치(20)로부터 식단 및 그 조리법에 관한 정보를 수신한 것에 응답하여, 식단 및 그 조리법을 표시한다(1640).
동작 1635 및 동작 1640의 설명은, 도 10에 도시된 동작 1155 및 동작 1160의 설명으로 갈음할 수 있다.
냉장고(100)는 제3 서버 장치(30)에 상품 구매 추천을 요청한다(1642).
동작 1642의 설명은 도 13에 도시된 동작 1455의 설명으로 갈음할 수 있다.
냉장고(100)는 제2 서버 장치(20)에 식단의 조리법을 위한 식재료의 제공을 요청하는 메시지 또는 제2 서버 장치(20)으로부터 수신된 식단의 조리법을 위한 식재료의 제공 요청에 동의하는 메시지를 전송한다(1644). 제2 서버 장치(20)는, 냉장고(100)의 메시지에 응답하여, 제3 서버 장치(30)에 식단의 조리법을 위한 식재료에 관한 정보를 전송한다(1646).
제3 서버 장치(30)는, 상품 구매 추천을 제공하기 위하여, 제2 서버 장치(20) 또는 냉장고(100)에 식단의 조리법을 위한 식재료에 관한 정보를 요청할 수 있다.
냉장고(100)는, 제3 서버 장치(30)의 정보 요청에 응답하여, 정보 제공에 동의하는 사용자 입력을 획득하고 정보 제공에 동의하는 메시지를 제2 서버 장치(20)에 전송할 수 있다. 또한, 제2 서버 장치(20)는, 제3 서버 장치(30)의 정보 요청에 응답하여, 냉장고(100)에 정보 제공의 동의를 요청할 수 있다. 냉장고(100)는, 정보 제공에 동의하는 사용자 입력을 획득하고 정보 제공에 동의하는 메시지를 제2 서버 장치(20)에 전송할 수 있다.
제2 서버 장치(20)는, 냉장고(100)의 메시지에 응답하여, 식단의 조리법을 위한 식재료에 관한 정보를 제3 서버 장치(30)에 전송할 수 있다.
제3 서버 장치(30)는, 냉장고(100)로부터 수신된 상품 구매 추천을 요청하는 메시지에 응답하여, 구매 추천 상품을 선택한다(1650).
제3 서버 장치(30)는, 기존에 저장된 사용자의 구매 이력과 냉장고(100)로부터 수신된 식품(또는 식재료) 목록과 식단의 조리법을 위한 식재료에 기초하여 구매 추천 상품을 선택할 수 있다. 예를 들어, 제3 서버 장치(30)는 사용자의 구매 이력에 의한 식품 목록에 포함되고 냉장고(100)로부터 수신된 식품 목록에 포함되지 않은 식품과, 식단의 조리법을 위한 식재료를 선택할 수 있다.
제3 서버 장치(30)는 구매 추천 상품에 관한 정보를 냉장고(100)에 전송한다(1655).
냉장고(100)는, 제3 서버 장치(30)로부터 구매 추천 상품에 관한 정보를 수신한 것에 응답하여, 구매 추천 상품을 표시한다(1660).
동작 1655 및 동작 1660의 설명은 도 13에 도시된 동작 1465 및 동작 1470의 설명으로 갈음할 수 있다.
이처럼, 냉장고(100)는, 식단 및 그 조리법을 사용자에게 제공하고, 식단 및 그 조리법에 기초한 상품 구매 추천을 사용자에게 제공할 수 있다.
도 16은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다. 도 17은 일 실시예에 의한 냉장고가 제1 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다. 도 18은 일 실시예에 의한 냉장고가 제2 윈도우 프레임을 통하여 알림을 사용자에게 제공하는 일 예를 도시한다. 도 19는 일 실시예에 의한 냉장고가 식단 및/또는 조리법을 표시하는 일 예를 도시한다.
도 16, 도 17, 도 18 및 도 19와 함께, 냉장고가 알림을 사용자에게 제공하는 방법(1700)이 설명된다.
냉장고(100)는 식단/조리법 또는 구매 추천을 수신한다(1710).
제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단/조리법을 수신하거나 또는 제3 서버 장치(30)로부터 식품 구매 추천을 수신할 수 있다.
식단/조리법 또는 구매 추천을 수신은, 앞서 설명된 방법 1000, 방법 1100, 방법 1200, 방법 1300, 방법 1400, 방법 1500 및 방법 1600 중 어느 하나에 의하여 수행될 수 있다.
냉장고(100)는 현재 시간이 미리 정해진 시간 범위에 속하는지 여부를 식별한다(1720).
사용자의 편의를 위하여 냉장고(100)는 미리 정해진 시간대에 사용자에게 알림을 제공할 수 있다. 예를 들어, 냉장고(100)는 사용자가 식사를 준비하는 시간대에 식단/조리법에 관한 알림을 제공하며, 사용자가 댁내에 위치하는 시간대에 구매 추천에 관한 알림을 제공할 수 있다. 또한, 냉장고(100)는 늦은 밤 또는 이른 새벽에는 알림을 방지할 수 있다.
현재 시간이 미리 정해진 시간 범위에 속하지 아니하면(1720의 아니오), 냉장고(100)는 알림을 제공하지 아니하고 대기할 수 있다.
현재 시간이 미리 정해진 시간 범위에 속하면(1720의 예), 냉장고(100)는 사용자를 감지하고 사용자와의 거리를 식별한다(1730).
제어부(190)는, 사용자를 감지하고 사용자와의 거리에 관한 정보를 획득하도록, 거리 센서(160)를 제어할 수 있다.
거리 센서(160)는 예를 들어 적외선 송수신기, 초음파 송수신기 또는 송수신 안테나를 포함할 수 있다. 거리 센서(160)는 냉장고(100)의 전방을 향하여 적외선, 초음파 또는 전파를 발신하고, 사용자 또는 물체로부터 반사된 적외선, 초음파 또는 전파를 수신할 수 있다.
사용자의 존부는, 사용자에 의하여 반사된 적외선, 초음파 또는 전파에 기초하여 식별될 수 있다. 또한, 사용자까지의 거리는 적외선, 초음파 또는 전파의 지연 시간(time of flight, TOF)에 기초하여 식별되거나, 적외선, 초음파 또는 전파의 수신 세기에 기초하여 식별될 수 있다.
거리 센서(160)는 사용자의 감지 여부 및 사용자까지의 거리에 나타내는 전기적 신호를 제어부(190)에 제공할 수 있다. 예를 들어, 거리 센서(160)는 사용자의 미감지를 나타내는 감지 데이터를 제공하거나 사용자까지의 거리를 나타내는 감지 데이터를 제공할 수 있다. 구체적으로, 거리 센서(160)는, 적외선, 초음파 또는 전파의 지연 시간을 나타내는 감지 데이터를 제어부(190)에 제공하거나 또는 적외선, 초음파 또는 전파의 수신 세기를 나타내는 감지 데이터를 제어부(190)에 제공할 수 있다.
제어부(190)는 거리 센서(160)로부터 감지 데이터를 수신하고, 수신된 감지 데이터에 기초하여 냉장고(100)로부터 사용자의 감지 여부 및 사용자까지의 거리를 식별할 수 있다.
냉장고(100)는 사용자가 감지되는지 여부를 식별한다(1740).
제어부(190)는 거리 센서(160)로부터 수신된 감지 데이터에 기초하여 사용자가 냉장고(100)의 주변에 위치하는지 여부를 식별할 수 있다.
예를 들어, 거리 센서(160)는, 사용자가 감지되지 않는 것에 응답하여 사용자의 미감지를 나타내는 감지 데이터를 제어부(190)에 제공할 수 있으며, 사용자가 감지되는 것에 응답하여 사용자까지의 거리를 나타내는 감지 데이터를 제어부(190)에 제공할 수 있다.
제어부(190)는, 사용자의 미감지를 나타내는 감지 데이터에 기초하여 사용자가 냉장고(100)의 주변에 위치하지 않는 것을 식별하고, 사용자까지의 거리를 나타내는 감지 데이터에 기초하여 사용자가 냉장고(100)의 주변에 위치하는 것을 식별할 수 있다.
사용자가 감지되지 아니하면(1740의 아니오), 냉장고(100)는 사용자를 감지하고 사용자와의 거리를 식별한다(1730).
사용자가 감지되면(1740의 예), 냉장고(100)는 사용자와의 거리가 기준 거리 미만인지 여부를 식별한다(1750).
제어부(190)는 거리 센서(160)로부터 수신된 감지 데이터에 기초하여 사용자까지의 거리를 식별할 수 있다. 또한, 제어부(190)는 사용자와의 거리가 기준 거리 미만인지 여부를 식별할 수 있다.
예를 들어, 제어부(190)는 사용자까지의 거리를 나타내는 물리량(예를 들어, 전압 값)를 미리 정해진 기준 거리를 나타내는 물리량(예를 들어, 전압 값)과 비교하고, 비교에 기초하여 사용자와의 거리가 기준 거리 미만인지 여부를 식별할 수 있다.
여기서, 기준 거리는 예를 들어 경험적으로 또는 실험적으로 설정될 수 있으며, 사용자가 냉장고(100)에 표시된 컨텐츠를 확인할 수 있을 거리로 설정될 수 있다.
사용자와의 거리가 기준 거리 미만이 아니면(1750의 아니오), 냉장고(100)는 제1 윈도우 프레임(410)에 알림을 표시한다(1755).
제어부(190)는 사용자의 주의를 환기시키기 위하여, 제1 윈도우 프레임(410)에 식단/조리법 또는 구매 추천의 수신을 나타내는 알림을 표시할 수 있다. 예를 들어, 제어부(190)는 도 17에 도시된 바와 같이 터치 스크린 디스플레이(130)의 스크린보다 작은 팝업 윈도우 형태의 제1 윈도우 프레임(410)에 알림을 표시하도록 터치 스크린 디스플레이(130)을 제어할 수 있다. 그러나, 제1 윈도우 프레임(410)은 도 17에 도시된 팝업 윈도우에 한정되지 아니한다.
팝업 윈도우 형태의 제1 윈도우 프레임(410)에 의하여, 사용자는 알림 수신을 인지할 수 있으며, 알림의 내용을 확인하기 위하여 냉장고(100)에 접근할 수 있다.
사용자와의 거리가 기준 거리 미만이면(1750의 예), 냉장고(100)는 제2 윈도우 프레임(420)에 알림을 표시한다(1760).
제어부(190)는 사용자에게 알림의 내용을 제공하기 위하여, 제2 윈도우 프레임(420)에 식단/조리법 또는 구매 추천의 수신을 나타내는 알림을 표시할 수 있다. 제2 윈도우 프레임(420)은 제1 윈도우 프레임(410)보다 클 수 있다. 예를 들어, 제2 윈도우 프레임(420)의 대각선의 길이는 제1 윈도우 프레임(410)의 대각선의 길이보다 클 수 있다.
예를 들어, 제어부(190)는 도 18에 도시된 바와 같이 터치 스크린 디스플레이(130)의 스크린과 대략 동일한 커버 페이지 형태의 제2 윈도우 프레임(420)에 알림을 표시하도록 터치 스크린 디스플레이(130)을 제어할 수 있다. 그러나, 제2 윈도우 프레임(420)은 도 18에 도시된 커버 페이지에 한정되지 아니한다.
커버 페이지 형태의 제2 윈도우 프레임(420)에 의하여, 사용자는 수신된 알림의 내용(즉, 식단/조리법 또는 구매 추천의 수신)을 확인할 수 있다.
냉장고(100)는 터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되는지 여부를 식별한다(1770).
식단/조리법 또는 구매 추천의 수신을 나타내는 알림을 표시하는 동안, 제어부(190)는 터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되는지 여부를 식별할 수 있다.
여기서, 사용자 입력은 터치 스크린 디스플레이(130)를 통한 터치 입력을 포함한다. 그러나, 사용자 입력이 특정한 좌표에서의 터치 입력, 또는 특정한 패턴의 터치 입력, 또는 특정한 제스처에 의한 터치 입력에 한정되지 아니하며, 단지 터치 스크린 디스플레이(130)을 터치한 것으로 충분할 수 있다.
터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되지 아니하면(1770의 아니오), 냉장고(100)는 제2 윈도우 프레임(420)에 알림을 표시한 이후 기준 시간이 경과하였는지 여부를 식별한다(1775).
제어부(190)는, 그 내부 타이머를 이용하여 제2 윈도우 프레임(420)에 알림을 표시한 표시 시간을 계수할 수 있다. 제어부(190)는, 표시 시간을 기준 시간과 비교할 수 있으며, 알림의 표시 시간이 기준 시간보다 큰지 여부를 식별할 수 있다.
알림을 표시한 이후 기준 시간이 경과하지 아니하였으면(1775의 아니오), 냉장고(100)는 터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되는지 여부를 식별하고(1770) 제2 윈도우 프레임(420)에 알림을 표시한 이후 기준 시간이 경과하였는지 여부를 식별한다(1775).
알림을 표시한 이후 기준 시간이 경과하였으면(1775의 예), 냉장고(100)는 터치 스크린 디스플레이(130)를 오프한다(1780).
기준 시간 동안 사용자 입력이 입력되지 아니한 것은, 사용자가 냉장고(100)의 알림을 확인할 의사가 없는 것으로 판단될 수 있다.
제어부(190)는, 기준 시간 동안 사용자 입력이 입력되지 아니한 것에 응답하여, 터치 스크린 디스플레이(130)를 턴오프할 수 있다.
터치 스크린 디스플레이(130)를 통한 사용자 입력이 수신되면(1770의 예), 냉장고(100)는 식단/조리법 또는 구매 추천을 터치 스크린 디스플레이(130)에 표시한다(1790).
사용자 입력이 입력된 것은, 사용자가 냉장고(100)의 알림을 확인할 의사가 있는 것으로 판단될 수 있다.
제어부(190)는, 터치 스크린 디스플레이(130)를 통한 사용자 입력에 응답하여, 제2 서버 장치(20)로부터 수신된 식단 및 그 조리법을 터치 스크린 디스플레이(130)에 표시하거나 또는 제3 서버 장치(30)로부터 수신된 구매 추천 식품을 터치 스크린 디스플레이(130)에 표시할 수 있다. 예를 들어, 제어부(190)는 도 19에 도시된 바와 같이 터치 스크린 디스플레이(130)의 스크린(430) 전체에 식단 및 그 조리법을 나타내는 컨텐츠를 표시할 수 있다.
이처럼, 냉장고(100)는 사용자의 상황에 따라 다양한 방식으로 식단/조리법 또는 구매 추천의 알림을 표시할 수 있다. 그로 인하여, 사용자는 손쉽게 식단/조리법 또는 구매 추천의 알림을 인지하고, 식단/조리법의 컨텐츠 또는 구매 추천의 컨텐츠를 제공받을 수 있다.
도 20은 일 실시예에 의한 냉장고가 알림을 사용자에게 제공하는 일 예를 도시한다. 도 21은 일 실시예에 의한 냉장고가 사용자 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다. 도 22는 일 실시예에 의한 냉장고가 디스플레이 장치를 통하여 알림을 사용자에게 제공하는 일 예를 도시한다.
도 20, 도 21 및 도 22와 함께, 냉장고가 알림을 사용자에게 제공하는 방법(1800)이 설명된다.
냉장고(100)는 식단/조리법 또는 구매 추천을 수신한다(1810).
제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단/조리법을 수신하거나 또는 제3 서버 장치(30)로부터 식품 구매 추천을 수신할 수 있다.
식단/조리법 또는 구매 추천을 수신은, 앞서 설명된 방법 1000, 방법 1100, 방법 1200, 방법 1300, 방법 1400, 방법 1500 및 방법 1600 중 어느 하나에 의하여 수행될 수 있다.
냉장고(100)는 사용자가 댁내에 위치하는지 여부를 식별한다(1830).
제어부(190)는, 다양한 정보에 기초하여 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 여기서, 댁내는 통상적으로 사용자가 거주하는 미리 정해진 영역을 나타낼 수 있다.
예를 들어, 제어부(190)는, 사용자의 사용자 장치(50)가 냉장고(100)와 동일한 액세스 포인트(AP)에 접속되었는지 여부에 기초하여, 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 제어부(190)는, 액세스 포인트(AP) 또는 제1 서버 장치(10)에 사용자 장치(50)의 접속 정보를 요청할 수 있으며, 액세스 포인트(AP) 또는 제1 서버 장치(10)의 응답에 기초하여 사용자 장치(50)가 액세스 포인트(AP)에 접속되었는지 여부를 식별할 수 있다. 제어부(190)는, 사용자 장치(50)가 액세스 포인트(AP)에 접속된 것에 응답하여, 사용자가 댁내에 위치하는 것을 식별할 수 있다.
다른 예로, 제어부(190)는, 디스플레이 장치(60)의 동작 여부에 기초하여, 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 제어부(190)는, 액세스 포인트(AP) 또는 제1 서버 장치(10)를 통하여 디스플레이 장치(60)에 응답 신호를 요청할 수 있다. 제어부(190)는, 디스플레이 장치(60)로부터 수신된 응답 신호에 기초하여 디스플레이 장치(60)의 동작 여부를 식별할 수 있다. 제어부(190)는, 디스플레이 장치(60)가 동작 중인 것에 응답하여, 사용자가 댁내에 위치하는 것을 식별할 수 있다.
다른 예로, 제어부(190)는, 제1 서버 장치(10)에 사용자 장치(50)의 위치를 요청하고, 제1 서버 장치(10)의 응답에 기초하여 사용자가 댁내에 위치하는지 여부를 식별할 수 있다. 제1 서버 장치(10)는 사용자 장치(50)의 위치를 추적할 수 있으며, 냉장고(100)의 요청에 응답하여 사용자 장치(50)의 위치 정보를 냉장고(100)에 제공할 수 있다.
사용자가 댁내에 위치하지 아니하면(1830의 아니오), 냉장고(100)는 사용자 장치(50)에 식단/조리법 또는 구매 추천의 수신 알림을 요청한다(1835).
제어부(190)는 사용자 장치(50)의 알림을 요청하는 메시지를 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다. 제1 서버 장치(10)는 사용자의 계정과 연동되는 장치들 예를 들어 냉장고(100), 사용자 장치(50), 디스플레이 장치(60) 및 조리 장치(70)에 관한 정보를 저장한다. 따라서, 제어부(190)는 제1 서버 장치(10)를 통하여 사용자 장치(50)에 식단/조리법 또는 구매 추천의 수신 알림을 요청하는 메시지를 전송할 수 있다.
사용자 장치(50)는 냉장고(100)의 요청에 응답하여 식단/조리법 또는 구매 추천의 수신 알림을 표시한다(1840).
사용자 장치(50)는 제1 서버 장치(10)로부터 냉장고(100)의 요청을 수신할 수 있으며, 디스플레이에 식단/조리법 또는 구매 추천의 수신 알림을 표시할 수 있다.
예를 들어, 사용자 장치(50)는 도 21에 도시된 바와 같이 디스플레이 상에 알림 윈도우(440)을 표시하고, 알림 윈도우(440)에 식단/조리법 또는 구매 추천의 수신을 나타내는 메시지를 표시할 수 있다. 또한, 알림 윈도우(440)에는, 구매 추천된 상품을 구매할 수 있는 어플리케이션을 구동하기 위한 구매 버튼(441)과, 식단 및 그 조리법을 확인할 수 있는 어플리케이션을 구동하기 위한 확인 버튼(442)이 마련될 수 있다.
사용자가 댁내에 위치하면(1830의 예), 냉장고(100)는 디스플레이 장치(60)가 동작 중인지 여부를 식별한다(1850).
제어부(190)는, 액세스 포인트(AP) 또는 제1 서버 장치(10)를 통하여 디스플레이 장치(60)에 응답 신호를 요청할 수 있다. 동작 중인 디스플레이 장치(60)는, 냉장고(100)의 요청에 응답하여 응답 신호를 제공할 수 있다.
제어부(190)는, 디스플레이 장치(60)로부터 응답 신호를 수신하는지 여부에 기초하여, 디스플레이 장치(60)가 동작 중인지 여부를 식별할 수 있다.
뿐만 아니라, 제어부(190)는 제1 서버 장치(10)로부터 사용자가 디스플레이 장치(60)를 시청하는 시간에 대한 정보를 획득할 수 있다. 제1 서버 장치(10)는 디스플레이 장치(60)의 동작 시간에 대한 정보를 수집할 수 있으며, 디스플레이 장치(60)의 동작 시간에 대한 정보를 냉장고(100)에 제공할 수 있다. 제어부(190)는 디스플레이 장치(60)의 동작 시간에 대한 정보에 기초하여 현재 디스플레이 장치(60)가 동작 중인지 여부를 식별할 수 있다.
디스플레이 장치(60)가 동작 중이면(1850의 예), 냉장고(100)는 디스플레이 장치(60)에 식단/조리법 또는 구매 추천의 수신 알림을 요청한다(1855).
제어부(190)는 디스플레이 장치(60)의 알림을 요청하는 메시지를 제1 서버 장치(10)에 전송하도록 통신부(180)를 제어할 수 있다. 제1 서버 장치(10)는 사용자의 계정과 연동되는 장치들 예를 들어 냉장고(100), 사용자 장치(50), 디스플레이 장치(60) 및 조리 장치(70)에 관한 정보를 저장한다. 따라서, 제어부(190)는 제1 서버 장치(10)를 통하여 디스플레이 장치(60)에 식단/조리법 또는 구매 추천의 수신 알림을 요청하는 메시지를 전송할 수 있다.
뿐만 아니라, 제어부(190)는 액세스 포인트(AP)를 통하여 디스플레이 장치(60)에 식단/조리법 또는 구매 추천의 수신 알림을 요청하는 메시지를 전송할 수 있다.
디스플레이 장치(60)는 냉장고(100)의 요청에 응답하여 식단/조리법 또는 구매 추천의 수신 알림을 표시한다(1860).
사용자 장치(50)는 제1 서버 장치(10) 또는 액세스 포인트(AP)로부터 냉장고(100)의 요청을 수신할 수 있으며, 디스플레이에 식단/조리법 또는 구매 추천의 수신 알림을 표시할 수 있다.
예를 들어, 디스플레이 장치(60)는 도 22에 도시된 바와 같이 디스플레이 상에 알림 윈도우(450)을 표시하고, 알림 윈도우(450)에 식단/조리법 또는 구매 추천의 수신을 나타내는 메시지를 표시할 수 있다. 또한, 알림 윈도우(450)에는, 구매 추천된 상품을 구매할 수 있는 어플리케이션을 구동하기 위한 구매 버튼(451)과, 식단 및 그 조리법을 확인할 수 있는 어플리케이션을 구동하기 위한 확인 버튼(452)이 마련될 수 있다.
디스플레이 장치(60)가 동작 중이 아니면(1850의 아니오), 냉장고(100)는 식단/조리법 또는 구매 추천의 수신 알림을 표시한다(1870).
동작 1870은 도 16에 도시된 방법 1700과 동일할 수 있다.
제어부(190)는, 냉장고(100)와 사용자 사이의 거리에 기초하여, 제1 윈도우 프레임(410) 또는 제2 윈도우 프레임(420)에 식단/조리법 또는 구매 추천의 수신 알림을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
이처럼, 냉장고(100)는 사용자의 상황에 따라 다양한 장치에 식단/조리법 또는 구매 추천의 알림을 표시하도록 요청할 수 있다. 그로 인하여, 사용자는 손쉽게 식단/조리법 또는 구매 추천의 알림을 인지하고, 식단/조리법의 컨텐츠 또는 구매 추천의 컨텐츠를 제공받을 수 있다.
도 23은 일 실시예에 의한 냉장고가 조리 장치를 제어하는 일 예를 도시한다.
도 23과 함께, 냉장고가 조리 장치를 제어하는 방법(1900)이 설명된다.
냉장고(100)는 식단 및 그 조리법을 표시한다(1910).
제어부(190)는 통신부(180)를 통하여 제2 서버 장치(20)로부터 식단 및 그 조리법을 수신하고 식단 및 그 조리법을 표시하도록 터치 스크린 디스플레이(130)를 제어할 수 있다.
식단 및 그 조리법의 표시는, 앞서 설명된 방법 1000, 방법 1100, 방법 1200, 방법 1300 및 방법 1500 중 어느 하나에 의하여 수행될 수 있다.
냉장고(100)는 조리 개시 여부를 식별한다(1920).
제어부(190)는 조리 개시를 위한 사용자 입력이 수신되는지 여부를 식별할 수 있다.
예를 들어, 도 7에 도시된 페이지(300)의 식단 영역(310)에는 제1 조리 버튼(311)이 마련되며, 조리법 영역(320)에는 제2 조리 버튼(321)이 마련될 수 있다. 제어부(190)는, 제1 조리 버튼(311) 또는 제2 조리 버튼(312)을 통한 사용자 입력에 응답하여, 조리 개시를 식별할 수 있다.
조리 개시가 식별되지 아니하면(1920의 아니오), 냉장고(100)는 식단 및 그 조리법의 표시를 계속한다.
조리 개시가 식별되면(1920의 예), 냉장고(100)는 조리 장치(70)에 예열 요청은 전송한다(1925).
제어부(190)는 액세스 포인트(AP) 또는 제1 서버 장치(10)를 통하여 조리 장치(70)에 예열을 요청하는 메시지를 전송하도록 통신부(180)를 제어할 수 있다.
냉장고(100)로부터 예열 요청을 수신한 조리 장치(70)는 챔버의 예열을 수행한다(1930).
조리 장치(70)는 챔버의 예열을 위하여, 브로일, 그릴 및/또는 컨벡션 등의 가열 수단을 가동할 수 있다.
이처럼, 냉장고(100)는, 식단 및 그 조리법을 표시하는 중에 사용자 입력에 응답하여, 식품을 가열하도록 조리 장치(70)를 제어할 수 있다.
일 실시예에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 거리 센서; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고, 상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하는 제어부를 포함할 수 있다. 상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이할 수 있다.
상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기보다 클 수 있다.
상기 제어부는, 상기 식단에 관한 알림을 표시하는 중에 상기 디스플레이를 통한 사용자 입력에 응답하여, 상기 식단에 관한 정보를 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 냉장고는, 통신부를 더 포함할 수 있다. 상기 제어부는, 상기 식단에 관한 정보를 표시하는 디스플레이를 통한 사용자 입력에 응답하여, 상기 조리 장치에 예열을 요청하는 메시지를 전송하도록 상기 통신부를 제어할 수 있다.
상기 제어부는, 현재 시간이 미리 정해진 시간대 이내인 것에 응답하여, 상기 식단에 관한 알림을 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 사용자 장치가 미리 정해진 영역 내에 위치하는지 여부에 기초하여, 상기 사용자 장치 및 상기 디스플레이 장치 중 적어도 하나에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송할 수 있다.
상기 제어부는, 상기 사용자 장치가 미리 정해진 영역 내에 위치하는 것에 기초하여 상기 디스플레이 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하고, 상기 사용자 장치가 미리 정해진 영역 내에 위치하지 아니한 것에 기초하여 상기 사용자 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송할 수 있다.
상기 제어부는, 상기 통신부를 통하여 상기 서버 장치로부터 사용자가 구매한 상품에 관한 정보를 수신하고, 상기 상품에 관한 정보 및 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별할 수 있다.
상기 제어부는, 상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터 상기 식별된 식품에 관한 정보에 기초한 식단을 수신할 수 있다.
상기 제어부는, 상기 서버 장치에, 사용자 입력에 기초한 사용자 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 사용자 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신할 수 있다.
상기 제어부는, 상기 서버 장치에, 상기 조리 장치와의 연결을 나타내는 연결 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 연결 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신할 수 있다.
상기 제어부는, 상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하고, 상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식단에 기초하여 구매를 추천하는 상품 목록을 수신할 수 있다.
상기 제어부는, 상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초하여 구매를 추천하는 상품 목록을 수신하고, 상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보 및 상기 상품 목록에 기초한 식단을 수신할 수 있다.
일 실시예에 의한 냉장고는, 저장실; 상기 저장실을 향하는 시야를 가지는 카메라; 디스플레이; 및 제어부를 포함할 수 있다. 상기 제어부는, 상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고, 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고, 상기 식별된 식품에 관한 정보에 기초한 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 획득하고, 상기 디스플레이 상의 단일 스크린 상에 상기 식단, 상기 식단의 조리법 및 상기 식단을 위한 상품의 구매 추천을 동시에 표시할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 저장실;
    상기 저장실을 향하는 시야를 가지는 카메라;
    디스플레이;
    거리 센서; 및
    상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고,
    상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고,
    상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고,
    상기 거리 센서의 출력에 기초한 사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하고,
    상기 거리 센서의 출력에 기초한 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하도록 상기 디스플레이를 제어하는 제어부를 포함하고,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이한 냉장고.
  2. 제1항에 있어서,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기보다 큰 냉장고.
  3. 제1항에 있어서, 상기 제어부는,
    상기 식단에 관한 알림을 표시하는 중에 상기 디스플레이를 통한 사용자 입력에 응답하여, 상기 식단에 관한 정보를 표시하도록 상기 디스플레이를 제어하는 냉장고.
  4. 제1항에 있어서,
    상기 냉장고는, 조리 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식단에 관한 정보를 표시하는 디스플레이를 통한 사용자 입력에 응답하여, 상기 조리 장치에 예열을 요청하는 메시지를 전송하도록 상기 통신부를 제어하는 냉장고.
  5. 제1항에 있어서, 상기 제어부는,
    현재 시간이 미리 정해진 시간대 이내인 것에 응답하여, 상기 식단에 관한 알림을 표시하도록 상기 디스플레이를 제어하는 냉장고.
  6. 제1항에 있어서,
    상기 냉장고는, 사용자 장치 및 디스플레이 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는, 상기 사용자 장치가 미리 정해진 영역 내에 위치하는지 여부에 기초하여, 상기 사용자 장치 및 상기 디스플레이 장치 중 적어도 하나에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 냉장고.
  7. 제6항에 있어서, 상기 제어부는,
    상기 사용자 장치가 미리 정해진 영역 내에 위치하는 것에 기초하여 상기 디스플레이 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하고,
    상기 사용자 장치가 미리 정해진 영역 내에 위치하지 아니한 것에 기초하여 상기 사용자 장치에 상기 식단에 관한 알림을 표시하기 위한 메시지를 전송하는 냉장고.
  8. 제1항에 있어서,
    상기 냉장고는, 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 통신부를 통하여 상기 서버 장치로부터 사용자가 구매한 상품에 관한 정보를 수신하고,
    상기 상품에 관한 정보 및 상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하는 냉장고.
  9. 제1항에 있어서,
    상기 냉장고는, 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하는 냉장고.
  10. 제1항에 있어서,
    상기 냉장고는, 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 서버 장치에, 사용자 입력에 기초한 사용자 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 사용자 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하는 냉장고.
  11. 제1항에 있어서,
    상기 냉장고는, 서버 장치 및 조리 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 서버 장치에, 상기 조리 장치와의 연결을 나타내는 연결 정보와 상기 식별된 식품에 관한 정보를 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 연결 정보와 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하는 냉장고.
  12. 제1항에 있어서,
    상기 냉장고는, 서버 장치 및 다른 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초하여 구매를 추천하는 상품 목록을 수신하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보 및 상기 상품 목록에 기초한 식단을 수신하는 냉장고.
  13. 제1항에 있어서,
    상기 냉장고는, 서버 장치 및 다른 서버 장치와 통신할 수 있는 통신부를 더 포함하고,
    상기 제어부는,
    상기 식별된 식품에 관한 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통하여 상기 서버 장치로부터, 상기 식별된 식품에 관한 정보에 기초한 식단을 수신하고,
    상기 통신부를 통하여 상기 다른 서버 장치로부터, 상기 식단에 기초하여 구매를 추천하는 상품 목록을 수신하는 냉장고.
  14. 저장실 및 상기 저장실을 향하는 시야를 가지는 카메라를 포함하는 냉장고의 제어 방법에 있어서,
    상기 카메라로부터 상기 저장실의 영상 데이터를 획득하고;
    상기 영상 데이터에 기초하여 상기 저장실에 저장된 식품을 식별하고;
    상기 식별된 식품에 관한 정보에 기초한 식단을 획득하고;
    사용자와의 거리가 미리 정해진 기준 거리 이상인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제1 윈도우 프레임을 표시하고;
    상기 사용자와의 거리가 상기 기준 거리 미만인 것에 응답하여, 상기 식단에 관한 알림을 포함하는 제2 윈도우 프레임을 표시하는 것을 포함하고,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기와 상이한 냉장고의 제어 방법.
  15. 제14항에 있어서,
    상기 제2 윈도우 프레임의 크기는 상기 제1 윈도우 프레임의 크기보다 큰 냉장고의 제어 방법.
PCT/KR2021/016779 2021-01-08 2021-11-16 냉장고 및 그 제어 방법 WO2022149707A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21917869.6A EP4257903A4 (en) 2021-01-08 2021-11-16 REFRIGERATOR AND CONTROL METHODS THEREFOR
US18/340,425 US20230332825A1 (en) 2021-01-08 2023-06-23 Refrigerator and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210002797A KR20220100408A (ko) 2021-01-08 2021-01-08 냉장고 및 그 제어 방법
KR10-2021-0002797 2021-01-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/340,425 Continuation US20230332825A1 (en) 2021-01-08 2023-06-23 Refrigerator and control method thereof

Publications (1)

Publication Number Publication Date
WO2022149707A1 true WO2022149707A1 (ko) 2022-07-14

Family

ID=82358025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016779 WO2022149707A1 (ko) 2021-01-08 2021-11-16 냉장고 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20230332825A1 (ko)
EP (1) EP4257903A4 (ko)
KR (1) KR20220100408A (ko)
WO (1) WO2022149707A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020030221A (ko) * 2000-10-16 2002-04-24 윤종용 냉장고의 식품관리시스템 및 그 관리방법
KR20090076124A (ko) * 2008-01-07 2009-07-13 엘지전자 주식회사 가전 기기 제어 방법 및 이를 이용한 장치
US20140193783A1 (en) * 2013-01-07 2014-07-10 Lg Electronics Inc. Method of providing meal plan using refrigerator and refrigerator using the same
KR20160082308A (ko) * 2014-12-30 2016-07-08 한국외국어대학교 연구산학협력단 냉장고를 이용한 식단 관리 방법 및 장치
KR20190084913A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 냉장고 및 냉장고의 동작 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1165011C (zh) * 2000-06-19 2004-09-01 Lg电子株式会社 控制可执行通信的冰箱的系统和方法
US8332075B2 (en) * 2008-09-15 2012-12-11 Johnson Controls Technology Company Transition temperature adjustment user interfaces
KR20170076992A (ko) * 2015-12-26 2017-07-05 삼성전자주식회사 냉장고
JP2017133803A (ja) * 2016-01-29 2017-08-03 青島海爾股▲フン▼有限公司 表示装置を備えた冷蔵庫及び表示装置の表示方法
KR102327848B1 (ko) * 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
US20200310550A1 (en) * 2019-03-28 2020-10-01 Ghsp, Inc. Interactive kitchen display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020030221A (ko) * 2000-10-16 2002-04-24 윤종용 냉장고의 식품관리시스템 및 그 관리방법
KR20090076124A (ko) * 2008-01-07 2009-07-13 엘지전자 주식회사 가전 기기 제어 방법 및 이를 이용한 장치
US20140193783A1 (en) * 2013-01-07 2014-07-10 Lg Electronics Inc. Method of providing meal plan using refrigerator and refrigerator using the same
KR20160082308A (ko) * 2014-12-30 2016-07-08 한국외국어대학교 연구산학협력단 냉장고를 이용한 식단 관리 방법 및 장치
KR20190084913A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 냉장고 및 냉장고의 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4257903A4 *

Also Published As

Publication number Publication date
EP4257903A1 (en) 2023-10-11
US20230332825A1 (en) 2023-10-19
EP4257903A4 (en) 2024-05-08
KR20220100408A (ko) 2022-07-15

Similar Documents

Publication Publication Date Title
WO2017052058A1 (en) Display device, door including the same, and refrigerator including the door
WO2017082603A1 (ko) 오븐 및 오븐의 도어 개폐 방법
EP2909549A1 (en) Refrigerator and control method for the same
EP3161398A1 (en) Refrigerator and controlling method thereof
WO2018043933A1 (ko) 냉장고
WO2014175643A1 (en) Refrigerator and control method for the same
WO2015037963A1 (en) Home appliance and mobile terminal
WO2016036015A1 (en) Refrigerator and controlling method thereof
WO2012057457A1 (en) Display module and display system
WO2016175628A1 (en) Service sharing device and method
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2020096235A2 (ko) 식품 관리 시스템, 서버 장치 및 냉장고
WO2018012801A1 (en) Cartridge assembly, cartridge unit, food forming module, and cooking apparatus
WO2011105768A2 (ko) 단말기를 구비하는 냉장고 및 그 제어방법
WO2016122118A1 (en) Gas detection apparatus, cooking apparatus, and method of controlling the apparatuses
EP3237805A1 (en) Gas detection apparatus, cooking apparatus, and method of controlling the apparatuses
WO2018012805A1 (en) User equipment, cooking apparatus, and cooking system
WO2017095208A1 (en) Method and apparatus for managing device using at least one sensor
WO2021112409A1 (ko) 냉장고
WO2020116987A1 (en) Refrigerator
EP3448178A1 (en) User equipment, cooking apparatus, and cooking system
WO2019177343A1 (ko) 냉장고, 그 제어 방법 및 시스템
WO2019045228A1 (ko) 조리기기 및 조리 시스템
WO2018012806A1 (en) Cooking apparatus and cooking system
WO2022149707A1 (ko) 냉장고 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917869

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021917869

Country of ref document: EP

Effective date: 20230705

NENP Non-entry into the national phase

Ref country code: DE