WO2019198865A1 - 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법 - Google Patents

냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법 Download PDF

Info

Publication number
WO2019198865A1
WO2019198865A1 PCT/KR2018/005179 KR2018005179W WO2019198865A1 WO 2019198865 A1 WO2019198865 A1 WO 2019198865A1 KR 2018005179 W KR2018005179 W KR 2018005179W WO 2019198865 A1 WO2019198865 A1 WO 2019198865A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
refrigerator
cooking
user interface
user
Prior art date
Application number
PCT/KR2018/005179
Other languages
English (en)
French (fr)
Inventor
김재홍
엄명진
김익수
이상경
진희원
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP18914821.6A priority Critical patent/EP3748570A4/en
Priority to US17/046,935 priority patent/US11954626B2/en
Priority to CN201880092241.XA priority patent/CN112005268B/zh
Publication of WO2019198865A1 publication Critical patent/WO2019198865A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • the following embodiments are related to a refrigerator and a method of displaying a user interface of the refrigerator.
  • the present invention also relates to a user terminal communicating with the refrigerator and a user interface display method of the user terminal.
  • a refrigerator is an electronic device (or a home appliance) that stores food in a refrigerator or freezes it.
  • the refrigerator may store not only food but also medicine, alcoholic liquor, or cosmetics.
  • the refrigerator may display an operation mode of the refrigerator by using a display unit.
  • the refrigerator may display information or receive a user input by displaying a user interface using the display unit.
  • the recent refrigerator may include a communication unit capable of connecting to an external device (eg, a server connected to the Internet).
  • the refrigerator provides various services to the user by using the display unit and the communication unit.
  • a person outside the home may call or text a family member in the home and tell the user how to cook the food.
  • this method alone is not enough to convey sufficient information about cooking food.
  • a cooking device eg, an oven, a gas stove, a microwave oven, etc.
  • a family unfamiliar with the use of the cooking device may be able to understand the operation of the cooking device by simply transmitting the information. Failure to do so may occur.
  • a person who knows how to cook food is required to have an effective and active method for delivering a food cooking method to a remote third party.
  • a refrigerator includes a display unit, a storage compartment for storing food, a temperature sensing unit for sensing a temperature inside the storage compartment, a cooling unit for supplying cold air to the storage compartment, and a camera for photographing food in the storage compartment.
  • a communication unit capable of communicating with a user terminal, the display unit, the temperature sensing unit, at least one processor electrically connected to the camera, the cooling unit, and the communication unit, and a memory electrically connected to the at least one processor,
  • the memory may control the camera to photograph food stored in the storage compartment, control the communication unit to transmit an image including the photographed food to a user terminal, and based on the transmission of the image.
  • Matching information matching the food and cooking device included in the image stores at least one instruction set to control the display unit to display a user interface guide on the basis of the matching information to move the food to the cooking apparatus.
  • a refrigerator includes a display unit, a storage compartment for storing food, a temperature sensing unit for sensing a temperature inside the storage compartment, a cooling unit for supplying cold air to the storage compartment, and a camera for photographing food in the storage compartment. And a communication unit capable of communicating with an external device, at least one processor electrically connected to the display unit, the temperature sensing unit, the camera, the cooling unit, and the communication unit, and a memory electrically connected to the at least one processor.
  • the memory may control the display unit to control the camera to photograph the food stored in the storage compartment and to display a first user interface for matching the photographed food with a cooking device. And a second use for setting an operation of the cooking appliance matched with the food.
  • a method of performing a function of a user terminal may include controlling a display of a first user interface that may match the food and a cooking device to cook the food as an image including food is received. According to a user input for matching the food and the cooking device using the first user interface, generating matching information matched with the food and the cooking device, and operation of the cooking device matched with the food.
  • a user terminal includes a display unit, a communication unit communicable with a refrigerator, at least one processor electrically connected to the display unit and the refrigerator, and a memory electrically connected to the at least one processor,
  • the memory may be configured such that the processor displays a first user interface for matching the food with a cooking device to cook the food as an image including food stored in a refrigerator is received through the communication unit. Control the unit, and generate matching information matching the food and the cooking device with each other according to a user input for matching the food and the cooking device using the first user interface, and perform operation of the matched cooking device.
  • a second user interface that can be set A function of controlling the operation of the cooking device or guide information for controlling the operation of the cooking device according to a user input of controlling the display unit and matching the food and the cooking device using the second user interface; Store at least one instruction set to perform at least one of the transmitting functions.
  • the server transmits the request command to the refrigerator corresponding to the user terminal.
  • the data receiving unit for receiving the image containing the food from the refrigerator
  • the data processor for generating a first user interface related information that can match the food and the cooking device to cook the food, the generated The food and the cooking device are matched with each other according to a user input for matching the food and the cooking device based on the data transmission unit for transmitting first user interface related information to the user terminal and the first user interface related information.
  • the data processor to generate matching information;
  • the data processor for generating second user interface related information capable of setting an operation of the cooking appliance matched with an expression, the data transmitter for transmitting the generated second user interface related information to the user terminal, and the second user interface
  • a guide for transmitting a control command for controlling the operation of the cooking device to the cooking device or controlling the operation of the cooking device according to a user input for setting an operation of the cooking device matched with the food based on related information; It includes the data transmission unit for transmitting information to the refrigerator.
  • a recognition data input unit for receiving the image containing the food included in the refrigerator and cooking device information for a plurality of cooking devices periodically or when an event occurs, the food image and the The cooking device to cook food included in the image among the plurality of cooking devices and a guide for cooking the food by applying cooking device information to a learning model trained to determine a cooking device using an artificial intelligence algorithm.
  • a learning model application unit for determining information, matching information matched with the food and a cooking device to cook the food, and a recognition result provider for transmitting the guide information to the refrigerator.
  • a user interface for guiding the food to be cooked through the display unit of the refrigerator is displayed, which may help a user of the refrigerator to determine a suitable cooking device for cooking food.
  • the user interface for controlling the operation of the cooking appliance for cooking food is displayed through the display unit of the refrigerator, so that a user who is not familiar with controlling the operation of the cooking appliance may easily prepare food according to a guide provided by the refrigerator. It becomes possible.
  • a user who is familiar with the operation control of the cooking apparatus may preemptively set the operation of the cooking apparatus and a time to provide the same, so that a user who is not used to controlling the operation of the cooking apparatus may receive a cooking guide according to a food intake time. It becomes possible.
  • the user of the user terminal may provide a guide information for controlling the cooking device or for controlling the operation of the cooking device for a user (for example, a family in the house) to eat food at a distance, providing a food recipe
  • a guide information for controlling the cooking device or for controlling the operation of the cooking device for a user for example, a family in the house
  • a user for example, a family in the house
  • FIG. 1A-1C illustrate a system including a refrigerator according to various embodiments of the present disclosure.
  • FIG. 2 to 5 illustrate an operation of a system including a user terminal and a refrigerator according to various embodiments of the present disclosure.
  • FIG. 6A and 6B which illustrate a user interface of a user terminal according to various embodiments of the present disclosure.
  • FIG. 7 to 8B illustrate a user interface of a refrigerator according to various embodiments of the present disclosure.
  • FIG. 9 illustrates an operation of a refrigerator according to various embodiments of the present disclosure.
  • FIG. 10 illustrates a user interface of a refrigerator according to various embodiments of the present disclosure.
  • FIG. 11 is a flowchart of a user terminal according to various embodiments of the present disclosure.
  • FIGS. 12 and 13 are flowcharts of a refrigerator according to various embodiments of the present disclosure.
  • 16A is a perspective view of a refrigerator according to various embodiments of the present disclosure.
  • 16B is a schematic front view of a refrigerator in which all doors are open according to various embodiments of the present disclosure.
  • FIG. 17 is a schematic block diagram of a refrigerator according to various embodiments of the present disclosure.
  • FIG. 18 is a block diagram of a user terminal in a network environment according to various embodiments of the present disclosure.
  • An application refers to software used by a user by running on an operating system (OS) for a computer or a mobile OS.
  • the application may be a web browser, camera application, mobile payment application (or electronic payment application, payment application), photo album application, word processor, spread Spreadsheet, contacts application, calendar application, memo application, alarm application, social network system (SNS) application, call application, game store , A game application, a chat application, a map application, a music player, a video player, or the like.
  • An application according to an exemplary embodiment of the present disclosure may refer to software executed in an external device (eg, a wearable device, a server, etc.) connected to a refrigerator or a refrigerator by wireless or wired.
  • an application according to an embodiment of the present disclosure may mean software executed in a refrigerator in response to a received user input.
  • the 'user input' is, for example, selecting a user's button (or key), pressing a user's button (or key), or touching a user's soft button (or soft key).
  • Including touches (or non-contacts such as hovering) received (or detected) on the touch screen by the user, including touch gestures (or non-contacts such as hovering) received (or detected) by the user May be used as a term including the voice of the user, the presence of the user (eg, the user appears within the camera recognition range), or the motion of the user. It can be used as a term that means the press (or click) of the key) or the touch of the soft button (or soft key).
  • 'food' may include food, cooked food, food contained in tableware, instant food, or frozen food.
  • the 'user interface' is a medium for the user to communicate with the electronic device (eg, refrigerator, user terminal, cooking appliance) of the present disclosure, and the user interface receives user input and / or provides information to the user. It can be an interface to provide.
  • the user interface may include, for example, a text user interface, a graphical user interface, or an audio user interface.
  • FIGS. 1A to 1C are diagrams illustrating a system including a refrigerator according to various embodiments of the present disclosure.
  • the system 1 may include a refrigerator 10 and a user terminal 20.
  • the refrigerator 10 and the user terminal 20 may be communicatively connected to each other.
  • the refrigerator 10 and the user terminal 20 may be communicatively connected to each other through a local area network or a remote network.
  • the communication connection with each other may include a direct connection with a short range communication technology or a communication connection through a third repeater (M).
  • the third repeater may include, for example, at least one of a base station, a hub, an access point, a gateway, a switch, a relay server, and / or a relay server.
  • the user terminal 20 may be in a sold state in which an application for performing various embodiments of the present disclosure is pre-installed.
  • a user of the user terminal 20 may download an application for performing various embodiments of the present disclosure from an application server (eg, a Google store, an app store, etc.) and install it in the user terminal 20. .
  • an application server eg, a Google store, an app store, etc.
  • the processor of the user terminal 20 controls the display unit of the user terminal 20 to display a first user interface capable of matching food with a cooking device for cooking the food. can do. According to a user input for matching the food and the cooking device using the first user interface, the processor of the user terminal 20 may generate matching information in which the food and the cooking device match.
  • the processor of the user terminal 20 may control the display unit of the user terminal 20 to display a second user interface for controlling the operation of the matching cooking device. According to a user input for setting the operation of the matched cooking appliance using the second user interface, the processor of the user terminal 20 transmits a function of controlling the operation of the cooking appliance and guide information for controlling the operation of the cooking appliance. At least one of the functions may be performed.
  • the processor of the user terminal 20 may control the communication unit of the user terminal 20 to transmit guide information for controlling the operation of the cooking appliance to the refrigerator 10 connected to the communication.
  • the processor of the refrigerator 10 having received the guide information may control the display unit of the refrigerator 10 to display a user interface for controlling the operation of the cooking appliance.
  • the system 2 may include a plurality of refrigerators 10a, 10b, 10c, a plurality of user terminals 20a, 20b, 20c and a platform server 40.
  • At least one of the plurality of refrigerators 10a, 10b and 10c, the plurality of user terminals 20a, 20b and 20c and the platform server 40 may be communicatively connected to each other through a local area network or a remote network.
  • the communication connection with each other may include a direct connection with a short range communication technology or a communication connection through a third repeater (for example, the repeater M of FIG. 1A).
  • a manufacturer, a vendor, or an operator of each of the plurality of refrigerators 10a, 10b, and 10c may provide an application for performing various embodiments of the present disclosure to the platform server 40.
  • Manufacturers, vendors or operators of the platform server 40 may install the application provided to the platform server 40.
  • the vendor or operator of the platform server 40 may be the same as the manufacturer, vendor or operator of at least one of the plurality of refrigerators 10a, 10b, and 10c.
  • the platform server 40 may be composed of a cloud server or one or more servers (or devices).
  • At least one of the plurality of user terminals 20a, 20b, 20c 20a may transmit a request command to the platform server 40 requesting a food image including food.
  • the data receiver of the platform server 40 may receive a request command.
  • the data processor of the platform server 40 may search for the refrigerator 10a corresponding to the user terminal 20a that has transmitted the request command. For example, the data processor may search for the refrigerator 10a having the same group identifier as the group identifier of the user terminal 20a.
  • the data transmitter of the platform server 40 may transmit a request command for requesting a food image to the found refrigerator 10a among the plurality of refrigerators 10a, 10b, and 10c. Based on the transmission of the request command, the data receiving unit of the platform server 40 may include an image including food stored in the found refrigerator 100a and cooking device information about a plurality of cooking apparatuses near the found refrigerator 10a. Can be received.
  • the data processor of the platform server 40 may generate first user interface related information that may match the received image and a cooking device to cook food included in the image.
  • the data transmitter of the platform server 40 may transmit the first user interface related information to the user terminal 20a that has transmitted a request command for requesting a food image.
  • the user terminal 20a may render the first user interface related information and display a first user interface that can match the food and the cooking device through the display. According to a user input for matching food and cooking devices using the first user interface displayed on the user terminal 20a, the data processor of the platform server 40 may generate matching information in which the food and cooking devices match.
  • the data processor of the platform server 40 may generate second user interface related information for setting an operation of the matched cooking device.
  • the data transmitter of the platform server 40 may transmit the generated second user interface related information to the user terminal 20a.
  • the data processor of the platform server 40 may receive notification information indicating that the food is moved from the refrigerator 10a or the cooking device based on the first user interface-related information, thereby operating the cooking device. Second user interface related information that may be set may be generated.
  • the user terminal 20a may display the second user interface through which the operation of the cooking apparatus is set by rendering the second user interface related information through the display.
  • the data transmitter of the platform server 40 may transmit a control command for controlling the operation of the cooking appliance to the cooking appliance.
  • the data transmitter may transmit guide information for controlling the operation of the cooking appliance to the refrigerator 10a.
  • the processor of the refrigerator 10a having received the guide information may control the display unit of the refrigerator 10a to display a user interface that guides the operation of the cooking appliance.
  • the system 3 may include a refrigerator 10 and an artificial intelligence (AI) server 50.
  • the artificial intelligence server 50 may be, for example, a server including a learning model trained using an artificial intelligence algorithm.
  • At least one of the refrigerator 10 and the artificial intelligence server 50 may be communicatively connected to each other through a local area network or a remote network.
  • the communication connection with each other may include a direct connection with a short range communication technology or a communication connection through a third repeater (for example, the repeater M of FIG. 1A).
  • the artificial intelligence server for example, includes an artificial intelligence system that implements human-level intelligence.
  • Artificial intelligence systems unlike conventional rule-based smart systems, are systems in which machines learn, judge, and become smart.
  • AI technology consists of elementary technologies that utilize machine learning (eg, deep learning) and machine learning.
  • Machine learning is an algorithmic technique for classifying and learning features of input data.
  • Element technology is a technology that utilizes machine learning algorithms such as deep learning, and can be composed of technical fields such as linguistic understanding, visual understanding, inference / prediction, knowledge representation, and motion control.
  • the artificial intelligence server 50 may be configured as at least one of the data learning server 51 and the data recognition server 52.
  • the data learning server 51 and the data recognition server 52 may be implemented as one or more servers. When the data learning server 51 and the data recognition server 52 are physically separated, the data learning server 51 and the data recognition server 52 may be communicatively connected to each other through a local area network or a remote network.
  • the training data input unit 51-1 of the data learning server 51 may acquire data necessary for determining a situation.
  • the learning data input unit 51-1 may acquire, as learning data, an image including food, information of a cooking device for cooking food, and guide information of a cooking device for cooking food.
  • the guide information of the cooking apparatus may include, for example, cooking information provided by the manufacturer of the food, cooking information of the food provided by the chef, and cooking information of the food provided by another user who has cooked the food.
  • the model learner 51-2 of the data learning server 51 may train the data recognition model used for the situation determination using the training data and the artificial intelligence algorithm.
  • the data recognition model may be a pre-built model.
  • the data recognition model may be a model built in advance by receiving basic training data.
  • the data recognition model may be a text analysis model built in advance using big data.
  • the data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • the data recognition model can be designed to simulate the human brain structure on a computer.
  • the data recognition model may include a plurality of weighted network nodes that simulate neurons in a human neural network. A plurality of network nodes may form a connection relationship to simulate the synaptic activity of neurons that send and receive signals through synapses.
  • the data recognition model may include, for example, a neural network model or a deep learning model developed from the neural network model.
  • a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • a model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the data recognition model, but is not limited thereto.
  • the model learner 51-2 may generate a trained learning model to determine the cooking apparatus.
  • the learning model storage unit 51-3 of the data learning server 51 may store the learned data recognition model.
  • the learning model storage unit 51-3 may store the learned data recognition model in the memory of the artificial intelligence server 50.
  • the learning model storage unit 51-3 may store the learned data recognition model in a memory of a server (not shown) connected to the artificial intelligence server 50 through a short distance or long distance network.
  • the recognition data input unit 52-1 of the data recognition server 52 may acquire recognition data necessary for determining a situation.
  • the recognition data may include, for example, a food image including food included in the refrigerator 10 and cooking device information on a plurality of cooking devices.
  • the cooking information about the plurality of cooking appliances may be, for example, cooking information about the plurality of cooking appliances existing in the home where the refrigerator 10 is located.
  • the recognition data input unit 52-1 may receive the food image and cooking device information on the plurality of cooking devices periodically or when an event occurs. In this case, at least one of the food image and the cooking device information of the plurality of cooking devices may be received in advance and stored in the memory.
  • the periodically received time may be, for example, before breakfast (5 to 7 hours).
  • an event signal generated according to the opening of the door of the refrigerator 10 an event signal according to the recognition of the user, or an event signal according to a user set time is generated on the front of the refrigerator 10. Can be.
  • the learning model application unit 52-2 of the data recognition server 52 may cook food among a plurality of cooking devices by using the learning model trained to determine the cooking device learned by the data learning server 51. At least one of the cooking device and guide information for cooking the food may be determined. For example, the learning model application unit 52-2 may apply the food image and the cooking device information to the learning model by the recognition data input unit 52-1, such that the cooking device and the food to cook the food among the plurality of cooking devices. The guide information for cooking may be determined.
  • the recognition result providing unit 52-3 of the data recognition server 52 may transmit the matching information determined by the food and the learning model and the guide information for cooking the food to the refrigerator 10.
  • the processor 3110, the communication unit 3120, the display unit 3170, and the memory 3190 of the refrigerator 10, which will be described below, may include the processor 3110, the communication unit 3120, and the like.
  • the display unit 3170 and the memory 3190 may respectively correspond.
  • the processor 4120, the display unit 4160, the communication unit 4190, and the memory 4130 of the user terminal 20 may include the processor 3110 and the communication unit 3120 of the user terminal 20 of FIG. 18 to be described later. May correspond to the display unit 3170 and the memory 3190, respectively.
  • the system of FIGS. 2 and 3 may be a system corresponding to at least one of the systems of FIGS. 1A-1C described above.
  • At least one of the refrigerator 10, the user terminal 20, and the cooking appliance 30 may be communicatively connected to each other via a local area network or a remote network.
  • the communication connection with each other may include a direct connection with a short range communication technology or a communication connection through a third repeater.
  • FIG. 2 illustrates an operation of a system including a user terminal and a refrigerator according to various embodiments of the present disclosure.
  • FIG. 2 For example, (a), (c), and (f) of FIG. 2 indicate an environment in which a user 11 in a home uses the refrigerator 10, and FIGS. 2 (b), (d) and (e) of FIG. , An environment in which a user 21 outside the home uses the user terminal 20.
  • FIGS. 2 (b), (d) and (e) of FIG. 2 An environment in which a user 21 outside the home uses the user terminal 20.
  • FIG. 2 illustrate a situation in which a refrigerator (10) is used as a user (11) by a husband (or wife, children) who are inexperienced in cooking food in a home.
  • 2 (b), (d), and (e) show a situation where a wife (or husband) skilled in cooking food outside the home uses the user terminal 20 as the user 21.
  • the processor 3110 of the refrigerator 10 may include a camera 3150 of the refrigerator 10 (eg, an internal camera of the refrigerator 10) to photograph food stored in the storage compartment of the refrigerator 10. ) Can be controlled.
  • the processor 3110 may control the communicator 3120 to transmit the food image 201 including the photographed at least one food to the user terminal 20.
  • the processor 4120 of the user terminal 20 may match the food included in the food image 201 with the cooking device 30.
  • the display unit 4160 may be controlled to display the interface 203.
  • the processor 4120 may provide matching information in which the food and the at least one cooking device match each other. Can be generated.
  • the processor 4120 may determine that the food and the cooking device are mutually different. Matched matching information 209 may be generated.
  • the processor 4120 may match the matching information 209 between the food and the cooking device 30.
  • the processor 4120 may generate matching information 209 in which the food and the microwave oven 30 are matched with each other according to a user input for matching the soup or frozen food of the pan with the microwave oven 30.
  • the processor 4120 may control the communicator 4190 to transmit the generated matching information 209 to the refrigerator 10.
  • the processor 3110 of the refrigerator 10 is stored in the refrigerator 10 to the user 11 based on the received matching information 209.
  • the display unit 4160 may be controlled to display a user interface 211 for guiding the moving of food to the cooking apparatus 30.
  • the user 11 of the refrigerator 10 may move the food stored in the refrigerator 10 to the cooking apparatus 30 based on the guide through the user interface 211.
  • the user 11 of the refrigerator 10 may move the food to a cooking device (for example, a microwave oven or an oven) for thawing the food.
  • the user terminal 20 may receive notification information 213 indicating that the food has been moved for cooking.
  • the processor 3110 of the refrigerator 10 may control the communication unit 3120 to transmit the notification information 213-1 to the user terminal 20.
  • the cooking device 30 may transmit the notification information 213-2 to the user terminal 20.
  • the processor 3110 of the refrigerator 10 may recognize an image captured by the external camera to identify whether food is moved to the cooking apparatus.
  • the processor 3110 may control the communicator 3120 to transmit the notification information 213-1 to the user terminal 20.
  • an image captured by an external camera or a nearby camera (not shown) of the refrigerator 10 may be transmitted to an image analysis server (not shown).
  • the image analysis server may directly transmit the notification information to the user terminal 20, or may transmit to the user terminal 20 through the refrigerator 10. .
  • the processor 4120 of the user terminal 20 may be configured to control the operation of the cooking apparatus 30 and to transmit guide information for controlling the operation of the cooking apparatus 30. At least one can be done.
  • the processor 4120 of the user terminal 20 may control the display unit 4160 to display a user interface 215 including a notification message indicating that food has moved. have.
  • the processor 4120 of the user terminal 20 may control the display unit 4160 to display a user interface 217 for setting the operation of the cooking apparatus 30.
  • the user interface 217 may include, for example, at least one of a cooking mode, a cooking time, a cooking control, a cooking start, and a cooking cancellation.
  • the processor 4120 of the user terminal 20 may operate the control command 219 of the cooking appliance 30 or the operation of the cooking appliance 30.
  • the communication unit 4190 may be controlled to transmit the guide information 221 for controlling the to an external device.
  • the processor 4120 may control the communicator 4190 to transmit the control command 219 to the cooking apparatus 30.
  • the processor 4120 may control the communicator 4190 to transmit the guide information 221 for controlling the operation of the cooking appliance to the refrigerator 10.
  • the process of FIG. 2D may be omitted and the process of FIG. 2E may be performed. That is, when the notification information 213 is received, the user terminal 20 may control the display unit 4160 to control the cooking apparatus 30 or to display a user interface 217 for setting the operation of the cooking apparatus. Can be.
  • the cooking device 30 may start cooking food according to the control command.
  • the processor 3110 of the refrigerator 10 may control the display 3170 to display a user interface 223 for guiding the operation of the cooking appliance.
  • the user 21 of the user terminal 20 it is possible for the user 21 of the user terminal 20 to guide the user 11 of the refrigerator 10 to properly cook food at a long distance.
  • the user 11 of the refrigerator 10 performs an action for cooking food, it is possible for the user 21 of the user terminal 20 to confirm and guide the execution of the action.
  • FIG 3 illustrates an operation of a system including a user terminal and a refrigerator according to various embodiments of the present disclosure.
  • FIG. 3 (a) will not be repeated to correspond to the above-described process (a) of FIG. 2.
  • (a), (d), and (e) of FIG. 3 illustrate an environment in which the user 11 in the home uses the refrigerator 10, and FIGS. 3b and 3c illustrate users outside the home.
  • 21 denotes an environment in which the user terminal 20 is used.
  • the processor 4120 of the user terminal 20 matches the food included in the food image 201 with the cooking device 30.
  • the display unit 4160 may be controlled to display a user interface 203 capable of doing so.
  • the user 21 may perform a user input for matching the food and the cooking device 30 through the user interface 203. Alternatively, the user 21 may further perform a user input for completing the matching input after performing the matching user input.
  • the processor 4120 of the user terminal 20 displays the user interface 217 for setting the operation of the cooking apparatus 30.
  • the user 21 may perform a user input for setting an operation of the cooking apparatus through the user interface 217.
  • the user 21 may further perform a user input for completing the input after setting the user input.
  • the processor 4120 of the user terminal 20 may generate matching information in which the food and the at least one cooking device 30 match each other.
  • the processor 4120 may generate guide information for guiding the operation of the cooking apparatus 30.
  • the matching information may be preemptively generated after the user input is performed in FIG. 3B and before the user interface 217 of FIG. 3C is displayed.
  • the processor 4120 of the user terminal 20 may perform at least one of a function of controlling the operation of the cooking device 30 and a function of transmitting guide information for controlling the operation of the cooking device 30. have.
  • the processor 4120 of the user terminal 20 may control the communicator 4190 to transmit the control command 219 to the cooking apparatus 30.
  • the processor 4120 may control the communicator 4190 to transmit the guide information 301 for controlling the operation of the cooking appliance to the refrigerator 10.
  • the guide information 301 may include matching information.
  • the guide information 301 may further include visual information and / or auditory information for guiding a cooking method of the food using the cooking device 30 based on the matching information and the guide information.
  • the refrigerator 10 may receive the guide information 301.
  • the processor 3110 of the refrigerator 10 may control the display 3170 to display a user interface 303 that guides the operation of the cooking apparatus 30 based on the guide information 301.
  • the user 11 of the refrigerator 10 may cook food with reference to the user interface 303. For example, the user 11 withdraws food from the refrigerator 10 and moves the extracted food to the cooking device 30 based on the information included in the user interface 303, thereby turning on the cooking device 30.
  • the cooking device 300 may be operated in which food is prepared.
  • the refrigerator 10 may directly control the operation of the cooking apparatus 30 based on the guide information 301.
  • the refrigerator 10 may control a cooking command of the cooking device 30 (eg, a wake up command of turning on the cooking device 30) 305.
  • the communication unit 3120 may be controlled to transmit the control to the cooking appliance 30.
  • the refrigerator 10 may control the communication unit 3120 to transmit a control command 305 for setting a cooking mode and / or a cooking time of the cooking device 30 to the cooking device based on the guide information 301. have.
  • the refrigerator 10 may control the communicator 3120 to transmit a control command based on the guide information 301 to the cooking apparatus 30 when the refrigerator 10 reaches a predetermined time.
  • the predetermined time may be preset by the user through the user terminal 20 or the refrigerator 10.
  • the predetermined time may be set to correspond to a meal time or a snack time of the user.
  • FIG. 4 illustrates an operation of a system including an electronic device and a refrigerator according to various embodiments of the present disclosure.
  • the processor 3110 of the refrigerator 10 may display the display 3170 to display a user interface 401 capable of matching food stored in the refrigerator 10 and at least one cooking device 30. Can be controlled.
  • the processor 3110 of the refrigerator 10 may control the display 3170 to display a home screen (not shown) including a shortcut icon for executing an application for setting an operation of the cooking appliance.
  • the processor 3110 of the refrigerator 10 may cause the display unit 3170 to display a user interface 401 capable of matching food and at least one cooking device 30. Can be controlled.
  • the refrigerator 10 matches information in which the food and the at least one cooking device match each other according to a user input for matching the food and the at least one cooking device through the user interface 401. Can be generated.
  • the refrigerator 10 may control the display 3170 to display a user interface 403 for setting the operation of the cooking appliance 30.
  • the processor 3110 of the refrigerator 10 controls a control command for controlling the operation of the cooking appliance 30.
  • guide information necessary for controlling the operation of the cooking appliance 30 may be generated.
  • the refrigerator 10 may set a time for transmitting a control command to the cooking device 30 or a time for providing guide information through the display unit 3170.
  • the display 3170 may be controlled to display.
  • the processor 3110 of the refrigerator 10 may include at least one of a function of controlling an operation of the cooking appliance and a function of providing a guide for controlling the operation of the cooking appliance. You can do one.
  • the processor 3110 of the refrigerator 10 may control the display 3170 to display a user interface 407 that guides the operation of the cooking appliance 30.
  • the processor 3110 of the refrigerator 10 may transmit a control command 409 for controlling the operation of the cooking appliance 30 to the cooking appliance 30.
  • FIG. 5 illustrates an operation of a system including a user terminal and a refrigerator according to various embodiments of the present disclosure.
  • the refrigerator 10 may photograph food stored in the refrigerator 10 when an event signal is generated or periodically.
  • an event signal according to the opening of the door of the refrigerator 10 is generated, an event signal according to the recognition of the user is generated on the front of the refrigerator 10, a food image request signal is received from the user terminal 20, or
  • the refrigerator 10 may photograph the food stored in the storage compartment.
  • the refrigerator 10 may periodically (eg, before breakfast time (between 5 and 7 pm), lunch time (between 11 pm and 1 pm) or before dinner time (between 5 pm and 7 pm)).
  • the food being stored in the storage compartment of the refrigerator 10 may be photographed and stored in advance in the memory 3190 of the refrigerator 10.
  • food stored in a third storage room (eg, a food warehouse, a kitchen shelf, etc.) 401 may be photographed.
  • the third storage chamber 401 is provided with a camera, so that the camera can take pictures of food stored in the third storage chamber 401 at a periodic or event occurrence.
  • the food image 201 photographing the food stored in the refrigerator 10 and the food image 403 photographing the food stored in the third storage room 401 are respectively. It may be transmitted to the user terminal 20.
  • the processor 3110 of the refrigerator 10 may control the communicator 3120 to transmit a food image 201 including food stored in a storage room to the user terminal 20.
  • a device including a camera in the third storage compartment 401 may transmit a food image 403 photographing food stored in the third storage compartment 401 to the user terminal 20.
  • the processor 4120 of the user terminal 20 that receives the food images 201 and 403 displays a user interface 501 capable of matching the food included in the received food images 201 and 403 with at least one cooking device. can do.
  • the user interface 501 may correspond to, for example, the user interface 203 of FIGS. 2 and 3 and the user interface 401 of FIG. 4.
  • the refrigerator 10 receives a food image 403 photographing food stored in the third storage compartment 401, and photographs food stored in the refrigerator 10.
  • the food image 201 and the received image 403 may be transmitted to the user terminal 20 together.
  • a device including a camera in the third storage room 401 may include a communication unit such that a food image 403 photographing food stored in the third storage room 401 is transmitted to the user terminal 20. Can be controlled.
  • the processor 3110 of the refrigerator 10 combines the received food image 201 and the received image 403 by taking a picture of the food stored in the refrigerator 10 to display the whole food image 405. ) Can be created.
  • the processor 3110 of the refrigerator 10 may control the communicator 3120 to transmit the entire food image 405 to the user terminal 20.
  • the processor 4120 of the user terminal 20 receiving the whole food image 405 may display a user interface 503 that can match the food included in the whole food image 405 with at least one cooking device. have.
  • the user interface 503 may correspond to, for example, the user interface 203 of FIGS. 2 and 3 and the user interface 401 of FIG. 4.
  • 6A and 6B illustrate a user interface of a user terminal according to various embodiments of the present disclosure.
  • the processor 4120 of the user terminal 20 may include a user interface 601 that may match the food 603 stored in the refrigerator 10 and the plurality of cooking devices 300a, 300b, and 300c.
  • the display unit 4160 may be controlled to display.
  • the processor 4120 of the user terminal 20 displays a food image including the food 603 stored in the refrigerator 10 on one side, and displays a plurality of cooking devices that can be matched with the food 603 on the other side.
  • the display unit 4160 may be controlled to control the display unit 4160.
  • the plurality of cooking appliances may be, for example, cooking appliances in the same place as the refrigerator 10 (for example, a home where the refrigerator 10 is located).
  • the processor 4120 of the user terminal 20 may match at least one of the plurality of cooking devices with food.
  • the display unit 4160 may be controlled to select and display the cooking apparatus.
  • the processor 4120 of the user terminal 20 may select at least one cooking device 300a, 300b, or 300c that may be matched with a food 603 selected from among cooking devices in a house by using a rule-based or artificial intelligence algorithm. You can decide.
  • the processor 4120 of the user terminal 20 may provide additional information related to the food 603 (eg, cooking information provided by the manufacturer of the food 603, cooking information of the food provided by the chef, and food). Cooking information of food provided by another user who has experienced cooking) may be used to determine at least one cooking device that can be matched with food among a plurality of cooking devices.
  • the processor 4120 of the user terminal 20 may control the display 4160 to display the user interface 601 including the determined at least one cooking device 300a, 300b, or 300c.
  • the user 21 may match the food 603 and the plurality of cooking devices 300a, 300b, and 300c through the user interface 601, respectively.
  • the user 21 sequentially processes the food 603, the first cooking device 300a, the second cooking device 300b, and the third cooking device 300c.
  • the user terminal 20 displays a user interface 605 that displays a cooking order of each of the plurality of cooking devices 300a, 300b, and 300c to which the food 603 is matched.
  • the display unit 4160 may be controlled to control the display unit 4160.
  • the user 21 may change the cooking order of each of the plurality of cooking devices 300a, 300b, and 300c through the user interface 605.
  • the cooking order of each of the plurality of matched cooking devices 300a, 300b, and 300c may be changed by dragging the second matching information UI 609 to the position of the first matching information UI 607.
  • the processor 4120 may control the display 4160 to display a user interface (not shown) for setting the operation of the cooking apparatus included in the matching information.
  • a user interface not shown
  • the processor 4120 may match.
  • the display unit 4160 may be controlled to display a user interface (not shown) for setting the operation of the cooking apparatus.
  • the processor 4120 of the user terminal 20 may match a plurality of foods 613, 615, 617 and a plurality of cooking devices 300a, 300b, 300c in the refrigerator 10.
  • the display unit 4160 may be controlled to display the interface 611.
  • the plurality of cooking appliances may be, for example, cooking appliances in the same place as the refrigerator 10 (for example, a home where the refrigerator 10 is located).
  • the user 21 of the user terminal 20 may match each of the plurality of foods 613, 615, 617 and the plurality of cooking devices 300a, 300b, 300c.
  • the user 21 matches the first food 613 and the second cooking apparatus 300e
  • the second food 615 and the first food are matched.
  • the cooking apparatus 300d may be matched
  • the third food 617 may be matched with the third cooking apparatus 300f. Accordingly, as shown in (d) of FIG.
  • the user terminal 20 may display a cooking order of a plurality of cooking devices 300d, 300e, and 300f to which each of the plurality of foods 613, 615, and 617 are matched.
  • the display unit 4160 may be controlled to display 619.
  • the user 21 may change the cooking order of each of the plurality of cooking devices 300d, 300e, and 300f through the user interface 619.
  • the cooking order of each of the matched cooking devices 300d, 300e, and 300f may be changed by dragging the second matching information UI 623 to the position of the first matching information UI 621.
  • the processor 4120 may control the display 4160 to display a user interface (not shown) for setting the operation of the cooking apparatus included in the matching information.
  • a user matches one of the plurality of foods 613, 615, 617 and one of the plurality of cooking devices 300d, 300e, 300f
  • the processor 4120 may control the display 4160 to display a user interface (not shown) for setting the operation of the matched cooking device.
  • the user terminal 20 when the cooking order is determined, performs at least one of a function of controlling the operation of the cooking device or a function of transmitting guide information for controlling the operation of the cooking device according to the cooking order. Can be done.
  • the user terminal 20 may transmit a control command of the cooking device to the cooking device in the cooking order.
  • the user terminal 20 may sequentially transmit guide information for controlling the operation of the cooking device to the refrigerator 10 in the cooking order.
  • the user terminal 20 controls.
  • the communication unit 4190 may be controlled to transmit a command to the cooking device of the next order, or the guide information for cooking may be transmitted to the cooking device or the refrigerator 10 of the next order.
  • FIG. 7 illustrates a user interface of a refrigerator according to various embodiments of the present disclosure.
  • the processor 3110 of the refrigerator 10 displays the user interface 701 including the matching information 703 and guide information 705 for guiding the operation of the matched cooking appliance.
  • the unit 3170 may be controlled.
  • the matching information 703 may be, for example, information in which a food and a cooking device are matched
  • the guide information 705 may include, for example, cooking time and cooking mode information using the cooking device for each food. .
  • the processor 3110 of the refrigerator 10 displays to display a user interface 701 including matching information 703 and guide information 705 for each of the plurality of users 707 to eat food.
  • the unit 3170 may be controlled.
  • 709 of FIG. 7 may indicate that the user who will eat the food is to cook the food in the pot for 2 minutes in a temperature mode of 140 degrees using a microwave oven (or an oven).
  • FIG. 8A and 8B illustrate a user interface of a refrigerator according to various embodiments of the present disclosure.
  • food and cooking devices stored in the refrigerator 10 may be matched with each other by being divided by time (eg, date, morning / lunch / evening), and the operation of the matched cooking device may be set.
  • time e.g, date, morning / lunch / evening
  • a plurality of foods and a plurality of cooking devices may be matched with each other using the user terminal 20 or the refrigerator 10, and operations of each of the matched cooking devices may be set.
  • some of the matching information and the guide information for cooking may be grouped to designate a time to ingest.
  • the processor 3110 of the refrigerator 10 may control the display 3170 to display a user interface 801 including at least one of matching information and cooking guide information for each time.
  • 803 of FIG. 8A illustrates that a user who will eat food should cook the food of a plate using a stove in the morning of March 1, and cook the food of the pot using an oven in the evening of March 1. Can be indicated.
  • the processor 3110 of the refrigerator 10 may guide the operation of the cooking appliance included in the matching information or change the operation of the preset cooking appliance.
  • the display unit 3170 may be controlled to display an interface (not shown).
  • the processor 3110 of the refrigerator 10 may display a calendar-type user interface 811 as a user interface including matching information and guide information for cooking by time. 3170 may be controlled.
  • identification information eg, an icon, a graphic, etc.
  • the processor 3110 of the refrigerator 10 may provide a control command for controlling the cooking appliance 30 corresponding to the selected date or identification information.
  • the display 3170 may be controlled to display a user interface (not shown) for transmitting or guiding control of the cooking apparatus 30.
  • FIG. 9 illustrates an operation of a refrigerator according to various embodiments of the present disclosure.
  • the refrigerator 10 may detect a user located in front of the refrigerator 10.
  • the refrigerator 10 may include a user access detector 907 for detecting a user located in front of the refrigerator 10.
  • the user access detector 907 may include one of a microphone located at the front of the door, a front camera inclined at a set angle, and a proximity sensor.
  • the user access detector 907 may include a combination of a microphone, a front camera inclined at a set angle, and a proximity sensor on the front of the door.
  • the processor 3110 of the refrigerator 10 may detect a user's access to the refrigerator using the user access detector 907. For example, when a user voice is received through the microphone, the processor 3110 may recognize the received voice and identify (or authenticate) the user.
  • the front camera inclined at a predetermined angle may photograph an appearance (or motion or presence of the user) in front of the refrigerator of the user.
  • the processor 3110 may recognize a photographed image (eg, a face) to distinguish (or authenticate) a user.
  • the proximity sensor may detect a user's approach in front of the refrigerator 10.
  • the user access detector 907 may detect a user's approach through one sensor or a user's approach through a combination of a plurality of sensors. In addition, the user access detection unit 907 classifies a user approaching through one sensor (for example, through a microphone or a camera) or classifies a user approaching through a combination of multiple sensors (for example, proximity). Combinations of sensors and cameras, combinations of proximity sensors and microphones, and the like.
  • the user access detector 907 may output an electrical signal corresponding to the detection of the user's approach to the processor 3110. In addition, the user access detector 907 may output an electrical signal corresponding to the detection of the user's approach to the memory 3190.
  • the refrigerator 10 When the user is recognized by the user access detector 907, as illustrated in FIG. 9B, the refrigerator 10 highlights the cooking information 903 and 905 corresponding to the recognized user 11 among the plurality of cooking information.
  • the display 3170 may be controlled to display the user interface 901.
  • the cooking information may include matching information in which the food stored in the refrigerator 10 and the cooking device are matched with each other according to an embodiment of the present disclosure.
  • the cooking information may include guide information for controlling the matched cooking device according to an embodiment of the present disclosure.
  • the highlighting of the cooking information 903 and 905 indicates that the cooking information 903 and 905 corresponding to the recognized user 11 may be displayed in a different shade, a different color, or a marking display. It may include what has been done.
  • the refrigerator 10 may control the display unit 3170 to display a user interface (not shown) displaying only cooking information 903 and 905 corresponding to the recognized user 11 among the plurality of cooking information. have.
  • the processor 3110 of the refrigerator 10 may provide content of the cooking information as a sound. have. At this time, an icon 907 indicating that cooking information is being provided as a sound may be displayed together on the user interface 901. Alternatively, the processor 3110 of the refrigerator 10 may control the display 3170 to display details related to cooking information.
  • FIG. 10 illustrates a user interface of a refrigerator according to various embodiments of the present disclosure.
  • the refrigerator 10 may control the display 3170 to display a food image including foods stored in the refrigerator 10.
  • the processor 3110 of the refrigerator 10 may highlight the foods 1003 and 1005 to which the cooking device is matched among the foods included in the food image.
  • the display 3170 may be controlled to display the user interface 1001.
  • the processor 3110 of the refrigerator 10 may display the cooking apparatus together with the identifiers (or icons) 1007 and 1009 indicating the cooking apparatus matched to each of the matched foods 1003 and 1005.
  • the unit 3170 may be controlled.
  • the processor 3110 of the refrigerator 10 may display guide information for controlling the cooking appliance corresponding to the selected identifier.
  • the display 3170 may be controlled.
  • FIG. 11 is a flowchart of a user terminal according to various embodiments of the present disclosure.
  • the user terminal 20 may display a first user interface that may match the food and the cooking device to cook the food.
  • the image including food may be an image photographed in a refrigerator in which food is stored or a storage in which food is stored.
  • the user terminal 20 may determine whether a user input for matching a food and a cooking device is detected using the first user interface.
  • the user terminal 20 may generate matching information in which the food and the cooking device match each other according to the user input.
  • the user terminal 20 may display a second user interface for setting an operation of the cooking appliance matched with the food.
  • the user terminal 20 may determine whether a user input for setting an operation of the matched cooking device is detected using the second user interface.
  • the user terminal 20 transmits guide information for controlling the operation of the cooking appliance and the function of controlling the operation of the cooking appliance according to the user input. At least one of the following may be performed.
  • the user terminal 20 may transmit a control command for controlling the operation of the control device to the cooking device.
  • the user terminal 20 may transmit the guide information to the cooking apparatus or the refrigerator storing the food.
  • the user terminal 20 may transmit the generated matching information to the refrigerator 10. At this time, the user terminal 20, based on the transmission of the matching information, the notification information indicating that the food is moved, as received from the refrigerator 10 or the cooking device that stores the food, the operation of the matched cooking device A second user interface that can be set can be displayed. At this time, as the notification information is received, the user terminal 20 may display a notification message indicating that the food has been moved.
  • the user terminal 20 may select at least one cooking device that can be matched with food from among the plurality of cooking devices. Next, the user terminal 20 may display a user interface including the food and the determined at least one cooking device.
  • the user terminal 20 may display a user interface capable of matching the plurality of foods and the plurality of cooking devices. In addition, the user terminal 20 may display a user interface for changing the cooking order of each of the matched plurality of foods and the plurality of cooking devices.
  • FIG. 12 is a flowchart of a refrigerator according to various embodiments of the present disclosure.
  • the refrigerator 10 may photograph food stored in a storage room.
  • the refrigerator 10 may transmit an image including the photographed food to the user terminal 20.
  • the refrigerator 10 may transmit to the user terminal 20 through a local area network or a remote network.
  • the refrigerator 10 may determine whether matching information matching the food and cooking device included in the image is received based on the transmission of the image.
  • the refrigerator 10 may display a user interface for guiding the food to be moved to the cooking device matched with the food based on the matching information.
  • the refrigerator 10 may display a user interface that guides the operation of the cooking appliance.
  • the refrigerator 10 may transmit a control command to control the operation of the cooking appliance to the cooking appliance.
  • the refrigerator 10 may transmit notification information indicating that the food has moved to the user terminal.
  • FIG. 13 is a flowchart of a refrigerator according to various embodiments of the present disclosure.
  • the refrigerator 10 may photograph food stored in a storage room.
  • the refrigerator 10 may display a first user interface capable of matching the photographed food and the cooking device.
  • the refrigerator 10 may display a second user interface for setting an operation of the cooking appliance matched with the food.
  • the refrigerator 10 sets a time for providing a guide information for controlling the operation of the cooking appliance matched with the food or for controlling the operation of the matching appliance according to the setting operation of the cooking appliance.
  • the user interface can be displayed.
  • the refrigerator 10 may transmit a control command to control the operation of the cooking appliance to the cooking appliance.
  • the refrigerator 10 may display a user interface that guides the operation of the cooking appliance.
  • FIG. 14 is a flowchart of a server according to various embodiments of the present disclosure.
  • the server 40 may determine whether a request command for requesting an image including food is received from the user terminal 20.
  • the server 40 may transmit the request command to the refrigerator 10 corresponding to the user terminal 20.
  • the server 40 may determine whether an image containing food is received from the refrigerator 10.
  • the server 40 may generate first user interface related information that may match the food and a cooking device to cook the food.
  • the server 40 may transmit the generated first user interface related information to the user terminal 20.
  • the server 40 may determine whether user input information matching the food and the cooking device is received from the user terminal 20.
  • the server 40 may generate matching information in which the food and the cooking device match each other.
  • the server 40 may generate second user interface related information for setting an operation of the matched cooking device. For example, based on the first user interface related information, as notification information indicating that the food has been moved is received, the server 40 generates second user interface related information for setting an operation of a cooking device matched with the food. can do.
  • the server 40 may transmit the generated second user interface related information to the user terminal 20.
  • the server 40 may determine whether user input information for setting the operation of the cooking apparatus matched with the food is received from the user terminal 20. .
  • the server 40 transmits a control command for controlling the operation of the cooking appliance to the cooking appliance or provides guide information for controlling the operation of the cooking appliance. 10 can be transmitted.
  • 15 is a flowchart of a server according to various embodiments of the present disclosure.
  • the server 50 may receive cooking device information about the plurality of cooking devices and an image including food included in the refrigerator periodically or at an event occurrence.
  • the server 50 may apply an image and cooking device information about the plurality of cooking devices to a learning model trained to determine a cooking device using an artificial intelligence algorithm, thereby generating an image from among the plurality of cooking devices.
  • the cooking device to cook the food included in the guide information and guide information for controlling the operation of the cooking device may be determined.
  • the server 50 may transmit, to the refrigerator 10, matching information matching the food and the cooking device to cook the food, and guide information for controlling the operation of the cooking device.
  • 16A is a schematic perspective view of a refrigerator having a front camera and a display according to an embodiment of the present disclosure.
  • 16B is a schematic front view of a refrigerator in which all doors are opened according to an embodiment of the present disclosure.
  • the refrigerator 10 includes a main body 3010, storage rooms 3011, 3012, 3013, doors 3020, 3030, 3040, 3050, and each door 3020-3050. Hinge 3060 to be connected to it.
  • a display (or a touch screen 3170) displaying content may be positioned on at least one door (eg, at least one of the right door 3030 and the left door 3020) of the plurality of doors.
  • a camera may be located in at least one door (eg, at least one of the right door 3030 and the left door 3020) of the plurality of doors.
  • the proximity sensor unit (not shown) may be positioned adjacent to the front camera (not shown), for example, within a radius of 500 mm.
  • a microphone (not shown) may be located in at least one of the plurality of doors (eg, at least one of the right door 3030 and the left door 3020).
  • the refrigerator 10 may be divided into types according to shapes of a storage compartment and a door.
  • the top mounted freezer (TMP) type refrigerator includes a freezer compartment formed above the storage compartment partitioned up and down by partitions (or partition walls) and a refrigerating compartment formed below the storage compartment.
  • the bottom mounted freezer (BMF) type refrigerator includes a refrigerator compartment formed above the storage compartment partitioned up and down by partitions and a freezer compartment formed below the storage compartment.
  • the side by side (SBS) type refrigerator includes a freezer compartment formed at one side of a storage compartment partitioned left and right by a partition and a refrigerating compartment formed at the other side of the storage compartment.
  • a refrigerator door refrigerator (FDR) type refrigerator includes a refrigerator compartment formed at an upper side of a storage compartment partitioned up and down by a partition and a freezer compartment formed at a lower side of the storage compartment, and the upper refrigerator compartment may be opened and closed by a pair of doors.
  • the FDR-type refrigerator may be opened and closed by a pair of doors, respectively, in the upper refrigerating compartment and the lower freezing compartment.
  • the body 3010 includes an inner case (not shown) forming the storage compartments 3011 to 3013, an outer case (not shown) forming the exterior of the refrigerator, and a temperature between the inner case and the outer case. Insulators (not shown) to maintain the difference.
  • the heat insulating material may prevent an external outflow to the cold air in the storage compartments 3011 to 3013, and prevent the inflow of the external warmth into the storage compartments 3011 to 3013.
  • the main body 3010 includes a cold air supply unit that supplies cold air to the storage chambers 3011 to 3013.
  • the cold air supply unit includes a compressor (compressor, 3181, see FIG. 2), a condenser (not shown), an expansion valve (not shown), an evaporator (not shown) and a pipe for compressing the refrigerant. It may include.
  • Storage rooms 3011 to 3013 are divided into partitions 3014.
  • the storage compartments 3011 to 3013 are divided into the following freezer compartments 3012 and 3013 (hereinafter referred to as “freezer compartment”) and the freezer compartments 3011 and 3013 (hereinafter referred to as “freezer compartment”) above the freezer compartments 3012 and 3013.
  • Storage room 3012 is set to a temperature of images (eg, between 7 ° C. and 0 ° C.) or below zero (eg, between -1 ° C. and ⁇ 5 ° C.) to allow water, beverages, ingredients, refrigeration or freezing. Food can be stored. Water or beverage may be stored in the beverage container.
  • the refrigerating compartment 3011 of the storage compartments 3011 to 3013 divided by the partition 3014 may include one or a plurality of shelves 3015 and one or a plurality of storage boxes 3016.
  • the refrigerating compartment 3011 is adjacent to the first door 3020 and the first door 3020 of one side (eg, left side) of the storage compartment 3011 and is located on the other side (eg, right side) of the storage compartment 3011. It is coupled with the second door 3030.
  • the first door 3020 and / or the second door 3030 are rotated at an angle set by each hinge 3060 (for example, 300 ° or less) to open and close the front of the storage compartment 3011 (for example, , Combined or separated).
  • the first door 3020 may rotate in a direction opposite to the rotation direction of the second door 3030 to open and close the storage compartment 3011.
  • the position of the first door 3020 and the second door 3030 may be changed.
  • the first door 3020 is rotated at an angle set by the hinge 3060 (for example, 300 ° or less) so that a portion of the front side of the storage compartment 3011 (eg, 35 to 70% of the front side of the storage compartment 3011) is rotated. Open and close the).
  • an angle set by the hinge 3060 for example, 300 ° or less
  • a dispenser and / or grippable handle 3021 that provides water, ice, or sparkling water may be located on the front surface of the first door 3020 (eg, in the + y axis direction).
  • the second door 3030 rotates at an angle set by the hinge 3060 (for example, 300 ° or less) so that a portion of the front side of the storage compartment 3011 (eg, 35 to 70% of the front side of the storage compartment 3011) is rotated. Open and close the).
  • the second door 3030 may include a grippable handle 3031.
  • the handle 3021 of the first door 3020 and the handle 3031 of the second door 3030 are spaced apart from the left and right sides with respect to the center area of the storage compartment 3011.
  • the function and stored settings of the refrigerator 10 may be displayed on the front surface of the second door 3030 (for example, the + y-axis direction), and a user input (for example, a touch or a button (not shown) may be selected). ), And a display (or touch screen) 3170 capable of displaying (or executing) an application (or widget) screen may be located.
  • the button may be included with or separate from the display.
  • the button may be a button displayed on the touch screen, a touch button, or a physical button.
  • the vegetable compartments 3011d1 and 3011d2 are located below the storage compartment 3011.
  • the vegetable compartments 3011d1 and 3011d2 may be pulled out (eg, sliding or rolling) forward (eg, in the y-axis direction).
  • the storage compartment 3012 may have a door 3040 on one side.
  • the storage compartment 3013 may have a door 3050 on one side.
  • Storage rooms 3012 and 3013 can be combined into one storage room (eg, like storage room 3011).
  • One storage compartment may have doors on the left side and the right side, respectively, like the storage compartment 3011.
  • the refrigerator may have a drawer.
  • FIG. 17 is a schematic block diagram illustrating a refrigerator according to an embodiment of the present disclosure.
  • the refrigerator 10 may be functionally connected to an external device using the communication unit 3120.
  • the external device may include at least one of the user terminal 20, the platform server 40, the artificial intelligence server 50, or the cooking appliance 30.
  • the refrigerator 10 may operate through the communication unit 3120 to operate information corresponding to an operation of the refrigerator (for example, to adjust the temperature of each storage compartment), or to a state (eg, normal or abnormal) of the refrigerator 10.
  • the corresponding state information may be transmitted to the external device, or control information (for example, a control command corresponding to the rapid freezing of the refrigerator 10) may be received from the external device.
  • the refrigerator 10 may include a processor 3110, a communication unit 3120, a camera 3150, a sensor unit 3160, a display unit 3170, a driver 3180, a memory 3190, and a power supply unit 3195. Can be.
  • the processor 3110 (or the controller) may be composed of one or a plurality of processors.
  • the processor 3110 stores a non-volatile memory including a ROM in which a control program for controlling the refrigerator 10 is stored and a signal or data input from the outside of the refrigerator 10, or is performed by the refrigerator 10. It may include a volatile memory including a RAM used as a storage area for a variety of operations.
  • the RAM may be used as a storage area for control information received from the outside, operation information of the refrigerator 10, or state information of the refrigerator 10.
  • the processor 3110 controls the overall operation of the refrigerator 10 and the signal flow between the internal components of the refrigerator 10 and processes data.
  • the processor 3110 controls the power supplied to the internal components using the power supply 3195.
  • the processor 3110 may control the communication unit 3120, the camera 3150, the sensor unit 3160, the display unit 3170, the driver 3180, the memory 3190, and the power supply unit 3195.
  • the processor 3110 may store a food image including food taken by a camera in the memory 3190. In addition, the processor 3110 may control to display the food name corresponding to the food image on the display 3170.
  • the processor 3110 may control to display a food name corresponding to the food image on the display 3170.
  • processor of a refrigerator may mean a processor 3110, a ROM (not shown), and a RAM (not shown).
  • the processor of the refrigerator may mean the processor 3110.
  • the communication unit 3120 may be connected to an external device through a mobile communication network, a wireless LAN communication network, or a local area network using one or more antennas under the control of the processor 3110.
  • the WLAN communication may be wirelessly connected to the AP at a location where an access point (AP) is installed under the control of the processor 3110.
  • AP access point
  • Local area communication includes Bluetooth communication, Bluetooth low energy communication, infrared data association (IrDA), ultra-wideband (UWB) communication, magnetic secure transmission (MST) communication, and / or NFC communication. It may include.
  • the term 'communication unit' may be connected to an external device through mobile communication, wireless LAN communication, and / or short range communication.
  • the camera 3150 may capture a still image or a video under the control of the processor 3110.
  • the camera 3150 may capture a still image or a moving picture for registering food and / or managing food.
  • the camera 3150 may photograph the iris of the user under the control of the processor 3110.
  • the camera 3150 includes a front camera located in the front of the refrigerator 10 and an internal camera located in the refrigerator 10.
  • an iris photographing camera for photographing an iris of a user may be located at one side of the front camera.
  • the front camera may be inclined at a predetermined angle (for example, 85 ° or less) to the front (for example, in the + y-axis direction) with respect to the front (or surface) of the door of the refrigerator 10.
  • the above-described setting angle is 75 ° or less, and may be 35 ° or more.
  • the above-described set angle may be 65 ° or less and 15 ° or more.
  • One of the front camera and the indoor camera may include an auxiliary light source (eg a flash) that provides the amount of light required for imaging.
  • an auxiliary light source for example, an iris recognition LED, not shown
  • iris photographing may be positioned in front of the refrigerator 10.
  • the front camera may be one or plural.
  • One or more indoor cameras may be located on the rear surface of the doors 3020 to 3050 facing the storage rooms 3011 to 3013 according to the width of the storage room.
  • one or more indoor cameras may be located on the rear surfaces of the doors 3020 and 3030 facing the storage compartment 3011.
  • One or more indoor cameras may be located on the rear surface of the door 3040 that faces the storage compartment 3012.
  • one or more indoor cameras may be located on the rear surface of the door 3050 facing the storage compartment 3013.
  • the processor 3110 may control to store an image captured by one of the front camera and the indoor camera in the memory 3190.
  • the sensor unit 3160 may detect an ambient state (eg, illuminance) of the refrigerator 10 and / or an internal state (eg, storage room temperature, etc.) of the refrigerator 10 through one or a plurality of sensors. Can be.
  • an ambient state eg, illuminance
  • an internal state eg, storage room temperature, etc.
  • the sensor unit 3160 may detect a temperature of a proximity sensor unit detecting a user's access to the refrigerator 10 and a storage compartment (eg, a freezer compartment, a refrigerator compartment, a vegetable compartment, etc.) of the refrigerator 10. At least one of the temperature sensor of the. In addition, it may include an illuminance sensor unit for detecting the amount of light around the refrigerator 10 corresponding to the brightness change of the display unit 3170.
  • One of the proximity sensor unit and the illumination sensor unit of the sensor unit 3160 may be located in front of the door of the refrigerator 10. In addition, the temperature sensor may be located indoors corresponding to the storage compartment.
  • the display unit 3170 is a graphical user corresponding to various services (eg, voice call, video call, data transmission, broadcast reception, photo shooting, video content viewing, or electronic payment including mobile payment). interface may be provided (or displayed). In an exemplary embodiment of the present disclosure, the display unit 3170 may include a touch screen.
  • various services eg, voice call, video call, data transmission, broadcast reception, photo shooting, video content viewing, or electronic payment including mobile payment.
  • interface may be provided (or displayed).
  • the display unit 3170 may include a touch screen.
  • the touch screen may be implemented as an integrated display panel and the touch panel 172 (eg, an in-cell touch screen or an on-cell touch screen).
  • the touch screen may include an edge touch panel for receiving user input and an edge display panel for screen display.
  • the edge touch panel and the edge display panel may also be implemented in one piece as described above.
  • the touch screen may transmit analog signals corresponding to a single touch or multi touch input through a home screen or a GUI to the touch screen controller, respectively.
  • the touch screen may receive a single touch or a multi-touch through a user's body (eg, a finger including a thumb) or an input pen (eg, a stylus, not shown).
  • the touch screen according to the exemplary embodiment of the present disclosure may output visual feedback corresponding to an indication of the storage location of the determined food storage compartment.
  • the driving unit 3180 may include at least one of a compressor 3181, a fan 3182, a filter 3183, and a heater 3184 operating under the control of the processor 3110.
  • the driver 3180 may further include an illumination (or odor deodorizer).
  • the compressor 3181 compresses a refrigerant that is a working fluid of a refrigeration cycle under the control of the processor 3110.
  • the refrigeration cycle includes a condenser for converting the gaseous refrigerant compressed by the compressor 3181 into a liquid refrigerant, an expander for decompressing the liquid refrigerant, and an evaporator for vaporizing the reduced liquid refrigerant.
  • the processor 3110 may control the temperature in the storage chamber through vaporization of the refrigerant in a liquid state.
  • the refrigerator 10 may control the temperature of the storage compartment through a Peltier element using the Peltier effect and a magnetic cooling device using the magnetocaloric effect.
  • the fan 3322 may circulate outside air under the control of the processor 3110.
  • the air heated by the cooling cycle can be cooled by heat exchange through the outside air.
  • the air cleaner 3183 may sterilize (or remove) floating or adhered bacteria in the storage chamber under the control of the processor 3110.
  • the air cleaner 3183 may include an ion sterilization cleaner.
  • the heater 3184 removes frost generated by the control of the processor 3110.
  • the heater 3184 may include a defrost heater.
  • the memory (or storage) 3190 is a signal or data (e.g., corresponding to food management (or food recognition)) input / output corresponding to the operation of the component under the control of the processor 3110 Can be stored.
  • the memory 190 may include a control program for controlling the refrigerator 10 or the processor 3110 and a GUI (eg, a food management application or a food recognition application) provided by the manufacturer or downloaded from the outside. graphical user interface), images corresponding to the GUI, user information, documents, databases, or related data.
  • the memory 190 may store a food image (or a video) photographed by the camera 3150.
  • the food image may mean one or more images displayed on the display 3170 and a binary file corresponding to one or more images stored in the memory 3190.
  • the memory 3190 may store various types of comparison food images corresponding to the comparison of the photographed food images (or moving images).
  • Various kinds of comparative food images may include many food images (eg, tens or hundreds) of food types.
  • the photographed food image (or video) is a carrot
  • the comparison food image may include carrot images such as various carrot shapes, sizes, colors, washed out states, or packaging.
  • the memory 3190 may store various training data corresponding to food recognition in order to recognize (or classify) the photographed food image.
  • carrot images such as various carrot shapes, sizes, colors, chopped states, or whether they are packed, may be stored in the memory 3190 as training data to recognize the carrots.
  • training data corresponding to foods that a user can eat, drink, or cook, such as vegetables, meat, and fish may be stored in the memory 3190.
  • the memory 3190 may store a learning model that recognizes the photographed food image.
  • the memory 3190 may use a food recognition application (or a food recognition algorithm) for classifying food images (or videos) photographed by the camera 3150 and foods to be identified in the photographed food images through machine learning. Separate application).
  • the memory 3190 may store all of the food recognition application, a part of the food recognition application in an external device (for example, a server or a portable device), and a part of the food recognition application in the memory 3190, respectively.
  • training data corresponding to food recognition may be partially stored in the memory 3190 or partially stored in an external device (eg, a server or a portable device).
  • the processor 3110 may recognize (or distinguish) food from a food image photographed by the camera 3150 using a food recognition application.
  • the memory 3190 controls the camera 3150 so that the processor 3110 photographs food stored in a storage room, and transmits an image including the photographed food to the user terminal 20.
  • a user who controls the communication unit 3120 to guide the food to the cooking device based on the matching information as the matching information matching the food and the cooking device included in the image is received based on the transmission of the image.
  • At least one command set to control the display unit 3170 to display an interface may be stored.
  • the memory 3190 may store at least one command set to control the display unit 3170 to display a user interface that guides the processor 3110 to control the operation of the cooking appliance. have.
  • the memory 3190 may store at least one command set by the processor 3110 to control the communication unit 3120 to transmit a control command for controlling an operation of the cooking appliance to the cooking appliance. Can be.
  • the memory 3190 may notify the user terminal 20 of notification information indicating that the food is moved as the processor 3110 is withdrawn from the refrigerator 10 based on the guide. At least one command set to control the communicator 3120 to transmit may be stored.
  • the memory 3190 controls the display unit 3170 to display a first user interface that allows the processor 3110 to match the photographed food and the cooking apparatus, and matches the cooked food.
  • At least one command set to control the display unit 3170 to display a third user interface for setting a time to provide the data may be stored.
  • the memory 3190 may include at least one processor 3110 configured to control the communication unit 3120 to transmit a control command for controlling the operation of the cooking appliance to the cooking appliance when the set time is reached. Commands can be stored.
  • the memory 3190 may include at least a processor 3110 configured to control the display unit 3170 to display a user interface that guides the controller 3110 to control an operation of the cooking apparatus when the set time is reached. You can store one command.
  • the term 'memory' refers to a memory card (eg, a micro SD card or the like) that can be mounted in a slot (not shown) of a ROM, RAM, or refrigerator 10 in the processor 3110. Not).
  • the memory 3190 may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the power supply unit 3195 may supply power to the components of the refrigerator 10 under the control of the processor 3110.
  • the power supply unit 3195 may supply power input from an external power source to each component of the refrigerator 10 through a power cord under the control of the processor 3110.
  • the above-described components of the refrigerator 10 may be easily understood by those skilled in the art that at least one component may be added, deleted, or changed corresponding to the performance of the refrigerator 10. Can be.
  • FIG. 18 is a block diagram of a user terminal 20 in a network environment 4100, in accordance with various embodiments.
  • the user terminal 20 may communicate with the external device 4102 through a first network 4108 (eg, short-range wireless communication), or the second network 4199 (
  • the device may communicate with the external device 4104 or the server 4108 through remote wireless communication.
  • the external devices 4102 and 4104 may be, for example, the refrigerator 10 or the cooking appliance of the present disclosure.
  • Server 4108 may be, for example, platform server 40 or artificial intelligence server 50 of the present disclosure.
  • the user terminal 20 may communicate with the electronic device 4104 through the server 4108.
  • the user terminal 20 may include a processor 4120, a memory 4130, an input device 4150, an audio output device 4155, a display 4160, an audio module 4170, and a sensor module ( 4176, an interface 4177, a camera module 4180, a power management module 4188, a battery 4189, a communication unit 4190, a subscriber identification module 4196, and an antenna module 4197.
  • at least one of the components (for example, the display unit 4160 or the camera module 4180) may be omitted or another component may be added to the user terminal 20.
  • some components such as, for example, in the case of a sensor module 4176 (eg, fingerprint sensor, iris sensor, or illuminance sensor) embedded in the display 4160 (eg, display), It can be integrated.
  • the processor 4120 may, for example, drive software (eg, program 4140) to drive at least one other component (eg, hardware or software component) of the user terminal 20 connected to the processor 4120. It can control and perform various data processing and operations.
  • the processor 4120 loads and processes the command or data received from another component (eg, the sensor module 4176 or the communication unit 4190) into the volatile memory 4132, and processes the resulting data into the nonvolatile memory 4134. Can be stored.
  • the processor 4120 operates independently of the main processor 4121 (eg, central processing unit or application processor), and additionally or alternatively, uses less power than the main processor 4121, or Or a coprocessor 4123 (eg, a graphics processing unit, an image signal processor, a sensor hub processor, or a communication processor) specialized for the designated function.
  • the coprocessor 4123 may be operated separately from the main processor 4121 or embedded therein.
  • the coprocessor 4123 may replace, for example, the main processor 4121 while the main processor 4121 is in an inactive (eg, sleep) state, or the main processor 4121 is active (eg At least one of the components of the user terminal 20 (eg, the display unit 4160, the sensor module 4176, or the communication unit 4190) together with the main processor 4121 while in the application execution state. Control at least some of the functions or states associated with)).
  • the coprocessor 4123 e.g., image signal processor or communication processor
  • may be implemented as some component of another functionally related component e.g., camera module 4180 or communicator 4190). Can be.
  • the memory 4130 may include various data used by at least one component of the user terminal 20 (eg, the processor 4120 or the sensor module 4176), for example, software (eg, the program 4140). ), And input data or output data for a command related thereto.
  • the memory 4130 may include a volatile memory 4132 or a nonvolatile memory 4134.
  • the program 4140 is software stored in the memory 4130, and may include, for example, an operating system 4402, middleware 4144, or an application 4146.
  • the memory 4130 may match the food and the cooking device for cooking the food as the processor 4120 receives an image including the food stored in the refrigerator through the communication unit 4190.
  • the display unit 4160 controls the display unit 4160 to display a first user interface, and generates matching information in which the food and the cooking device match each other according to a user input for matching the food and the cooking device using the first user interface.
  • the display unit 4160 controls the display unit 4160 to display the second user interface for setting the operation of the matched cooking device, and according to a user input for matching the food and the cooking device using the second user interface, the cooking device Perform at least one of a function of controlling an operation of the controller and a function of transmitting guide information for controlling an operation of the cooking appliance. You may store the at least one lock set command.
  • the input device 4150 is an apparatus for receiving an instruction or data to be used for a component of the user terminal 20 (for example, the processor 4120) from the outside of the user terminal 20 (for example, a user).
  • a component of the user terminal 20 for example, the processor 4120
  • it may include a microphone, a mouse, or a keyboard.
  • the sound output device 4155 is a device for outputting an audio signal to the outside of the user terminal 20.
  • the sound output device 4155 may include a speaker used for general purposes such as multimedia playback or recording playback, and a receiver used only for receiving a call. It may include. According to one embodiment, the receiver may be formed integrally or separately from the speaker.
  • the display unit 4160 is a device for visually providing information to a user of the user terminal 20.
  • the display unit 4160 may include a display, a hologram device, a projector, and a control circuit for controlling the device.
  • the display unit 4160 may include a touch sensor that can measure the intensity of the pressure on the touch circuitry or the touch.
  • the audio module 4170 may bidirectionally convert a sound and an electrical signal. According to an embodiment, the audio module 4170 acquires sound through the input device 4150, or an external electronic device (for example, wired or wirelessly connected to the sound output device 4155 or the user terminal 20). Sound may be output through the external device 4102 (eg, a speaker or a headphone).
  • an external electronic device for example, wired or wirelessly connected to the sound output device 4155 or the user terminal 20. Sound may be output through the external device 4102 (eg, a speaker or a headphone).
  • the sensor module 4176 may generate an electrical signal or data value corresponding to an operating state (eg, power or temperature) inside the user terminal 20 or an external environmental state.
  • the sensor module 4176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, a temperature sensor, a humidity sensor, Or an illumination sensor.
  • the interface 4177 may support a specified protocol that may be connected to an external electronic device (eg, the external device 4102) by wire or wirelessly.
  • the interface 4177 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • connection terminal 4178 may be a connector for physically connecting the user terminal 20 to an external electronic device (eg, the external device 4102), for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector. (Eg, headphone connector).
  • an external electronic device eg, the external device 4102
  • HDMI connector for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector.
  • USB connector for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector. (Eg, headphone connector).
  • the camera module 4180 may capture still images and videos. According to an embodiment, the camera module 4180 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the power management module 4188 is a module for managing power supplied to the user terminal 20, and may be configured, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 4189 is a device for supplying power to at least one component of the user terminal 20, and may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication unit 4190 establishes a wired or wireless communication channel between the user terminal 20 and an external electronic device (eg, the external device 4102, the external device 4104, or the server 4108), and establishes the established communication channel. It can support performing communication through.
  • the communication unit 4190 may include one or more communication processors that support wired or wireless communication, which are operated independently of the processor 4120 (eg, an application processor).
  • the communication unit 4190 may include a wireless communication module 4192 (eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 4194 (eg, A local area network (LAN) communication module, or a power line communication module, and a short-range communication such as a Bluetooth, WiFi direct, or infrared data association (IrDA) using a corresponding communication module.
  • Network eg, a cellular network, the Internet, or a telecommunication network such as a computer network (eg, a LAN or a WAN)).
  • the various types of communication units 4190 described above may be implemented as one chip or each separate chip.
  • the wireless communication module 4192 may identify and authenticate the user terminal 20 in the communication network using the user information stored in the subscriber identification module 4196.
  • the antenna module 4197 may include one or more antennas for transmitting or receiving signals or power to the outside.
  • the communication unit 4190 (for example, the wireless communication module 4192) may transmit a signal to or receive a signal from an external electronic device through an antenna suitable for a communication method.
  • peripheral devices eg, a bus, a general purpose input / output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input / output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the user terminal 20 and the external device 4104 via a server 4108 connected to the second network 4199.
  • Each of the external devices 4102 and 4104 may be the same or different type of device as the user terminal 20.
  • the external devices 4102 and 4104 may be, for example, the refrigerator 10 or the cooking appliance of the present disclosure.
  • Server 4108 may be, for example, platform server 40 or artificial intelligence server 50 of the present disclosure.
  • all or some of the operations executed in the user terminal 20 may be executed in another or a plurality of external electronic devices.
  • the user terminal 20 when the user terminal 20 is to perform a function or service automatically or by request, the user terminal 20 may instead or additionally execute the function or service itself.
  • At least some associated functions may be requested to the external electronic device.
  • the external electronic device Upon receiving the request, the external electronic device may execute the requested function or additional function and transmit the result to the user terminal 20.
  • the user terminal 20 may provide the requested function or service by processing the received result as it is or additionally.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • the user terminal 20 may be a device of various types.
  • the user terminal 20 may include, for example, at least one of a portable communication device (eg, a smartphone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smartphone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device.
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • a home appliance e.g., a portable medical device, a portable medical device, a camera, a wearable device, or a home appliance.
  • An electronic device according to an embodiment of the present disclosure is not limited to the above-described devices.
  • any (eg first) component is said to be "(functionally or communicatively)" or “connected” to another (eg second) component, the other component is said other
  • the component may be directly connected or connected through another component (eg, a third component).
  • module as used in the present disclosure includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • the device is a device capable of calling a stored command from a storage medium and operating according to the called command.
  • the device is a refrigerator 10, a user terminal 20, a cooking device 30, and a platform server 40 according to the disclosed embodiments.
  • artificial intelligence server 50 When the instruction is executed by the processor, the processor may perform a function corresponding to the instruction directly or by using other components under the control of the processor.
  • the instructions can include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish that the data is stored semi-permanently or temporarily on the storage medium.
  • a method may be provided included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may include a computer-readable storage medium (eg, compact disc read only memory (CD-ROM)) or a program transmittable via a wired / wireless network.
  • the computer program product may be distributed online through an application store (eg, play store TM ).
  • an application store eg, play store TM
  • at least a portion of the computer program product may be stored at least temporarily or temporarily created in a storage medium such as a server of a manufacturer, a server of an application store, or a relay server.
  • the apparatus of the present disclosure may download and install a computer program product through an application store.
  • various embodiments of the present disclosure described above may be performed using the downloaded computer program product.
  • Each component eg, a module or a program
  • some components eg, modules or programs
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some of the operations may be executed in a different order, omitted, or another operation may be added. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Thermal Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고 및 상기 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 상기 사용자 단말의 기능 수행 방법이 개시된다. 본 개시에 따른 냉장고는, 음식을 보관하는 저장실, 상기 저장실 내부의 온도를 감지하는 온도 감지부, 상기 저장실로 냉기를 공급하는 냉각부, 상기 저장실 내부의 음식을 촬영하는 카메라, 사용자 단말과 통신 가능한 통신부, 디스플레이부, 상기 온도 감지부, 상기 카메라, 상기 냉각부 및 상기 통신부와 전기적으로 연결된 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 전기적으로 연결된 메모리를 포함할 수 있다.

Description

냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
아래의 실시 예들은, 냉장고 및 상기 냉장고의 사용자 인터페이스 표시 방법에 관한 것이다. 또한, 상기 냉장고와 통신하는 사용자 단말 및 상기 사용자 단말의 사용자 인터페이스 표시 방법에 관한 것이다.
냉장고는, 음식을 냉장 보관하거나 또는 냉동 보관하는 전자 장치(또는, 가전 장치)이다. 냉장고는 음식뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics) 등을 보관할 수도 있다.
기술이 점차적으로 발전됨에 따라, 냉장고는 디스플레이부를 이용하여 냉장고의 동작 모드를 표시할 수 있다. 또한, 냉장고는 디스플레이부를 이용하여 사용자 인터페이스를 표시함으로써, 정보를 표시하거나 또는 사용자 입력을 수신할 수 있다. 뿐만 아니라, 최근의 냉장고는 외부 장치(예로, 인터넷에 접속된 서버)에 연결할 수 있는 통신부를 포함할 수 있다.
이와 같이, 냉장고는 디스플레이부 및 통신부를 이용하여 다양한 서비스를 사용자에게 제공하고 있다.
최근 들어, 맞벌이 부부가 증가함에 따라, 식사를 주로 준비하는 사람(예로, 남편 또는 아내)이 댁 외에서, 댁 내의 가족(예로, 아내, 남편 또는 자녀들)의 식사를 충분히 신경쓰기에 어려울 수 있다.
댁 외의 사람이 댁 내의 가족과 통화하거나 문자를 보내어 음식을 조리하는 방법을 알려줄 수 있으나, 이러한 방법만으로는 음식을 조리하는 충분한 정보를 전달하기에는 한계가 있다. 특히, 음식이 조리 기기(예로, 오븐, 가스레인지, 전자레인지 등)를 이용하여 조리가 필요한 경우, 조리 기기의 사용에 익숙하지 않은 가족들은 상기 정보의 전달 방식만으로는 조리 기기의 동작을 이해하기에는 충분하지 못한 상황이 발생될 수 있다.
이에 따라, 음식의 조리 방법을 알고 있는 사람이, 원거리에 위치한 제3 자에게 음식의 조리 방법을 전달해 주기 위한 효과적이고 적극적인 방법이 요구된다.
그밖에, 본 개시에서 해결하고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 개시에 속하는 기술분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
본 개시의 실시 예에 따른 냉장고는, 디스플레이부, 음식을 보관하는 저장실, 상기 저장실 내부의 온도를 감지하는 온도 감지부, 상기 저장실로 냉기를 공급하는 냉각부, 상기 저장실 내부의 음식을 촬영하는 카메라, 사용자 단말과 통신 가능한 통신부, 상기 디스플레이부, 상기 온도 감지부, 상기 카메라, 상기 냉각부 및 상기 통신부와 전기적으로 연결된 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 전기적으로 연결된 메모리를 포함하되, 상기 메모리는, 상기 프로세서가, 상기 저장실에 보관 중인 음식을 촬영하도록 상기 카메라를 제어하고, 상기 촬영된 음식을 포함하는 이미지를 사용자 단말에게 전송하도록 상기 통신부를 제어하고, 상기 이미지의 전송에 기반하여, 상기 이미지에 포함된 음식과 조리 기기가 매칭된 매칭 정보가 수신됨에 따라, 상기 매칭 정보에 기반하여 상기 음식을 조리 기기로 이동시키도록 가이드하는 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하도록 설정된 적어도 하나의 명령어들을 저장한다.
본 개시의 실시 예에 따른 냉장고는, 디스플레이부, 음식을 보관하는 저장실, 상기 저장실 내부의 온도를 감지하는 온도 감지부 ,상기 저장실로 냉기를 공급하는 냉각부, 상기 저장실 내부의 음식을 촬영하는 카메라, 외부 장치와 통신 가능한 통신부, 상기 디스플레이부, 상기 온도 감지부, 상기 카메라, 상기 냉각부 및 상기 통신부와 전기적으로 연결되는 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 전기적으로 연결되는 메모리를 포함하되, 상기 메모리는, 상기 프로세서가, 상기 저장실에 보관 중인 상기 음식을 촬영하도록 상기 카메라를 제어하고, 상기 촬영된 음식과 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하고, 상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하고, 상기 설정된 동작에 따라, 상기 음식과 매칭된 조리 기기의 동작을 제어하거나 또는 상기 음식과 매칭된 조리 기기의 동작을 제어하기 위한 가이드 정보를 제공할 시간을 설정하는 제3 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하도록 설정된 적어도 하나의 명령어들을 저장한다.
본 개시의 실시 예에 따른 사용자 단말의 기능 수행 방법은, 음식을 포함하는 이미지가 수신됨에 따라, 상기 음식과 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스가 표시되도록 제어하는 동작, 상기 제1 사용자 인터페이스를 이용하여 상기 음식과 상기 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 상기 조리 기기가 서로 매칭된 매칭 정보를 생성하는 동작, 상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스가 표시되도록 제어하는 동작, 및 상기 제2 사용자 인터페이스를 이용하여 상기 음식과 매칭된 조리 기기의 동작을 설정하는 사용자 입력에 따라, 상기 조리 기기의 동작을 제어하는 기능 또는 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행하는 동작을 포함한다.
본 개시의 실시 예에 따른 사용자 단말은, 디스플레이부, 냉장고와 통신 가능한 통신부, 상기 디스플레이부 및 상기 냉장고와 전기적으로 연결된 적어도 하나의 프로세서,및 상기 적어도 하나의 프로세서와 전기적으로 연결된 메모리를 포함하되, 상기 메모리는, 상기 프로세서가, 냉장고에 보관 중인 음식을 포함하는 이미지가 상기 통신부를 통하여 수신됨에 따라, 상기 음식과 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하고, 상기 제1 사용자 인터페이스를 이용하여 상기 음식과 상기 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 상기 조리 기기가 서로 매칭된 매칭 정보를 생성하고, 상기 매치된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하고, 상기 제2 사용자 인터페이스를 이용하여 상기 음식과 상기 조리 기기를 매칭하는 사용자 입력에 따라, 상기 조리 기기의 동작을 제어하는 기능 또는 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행하도록 설정된 적어도 하나의 명령어들을 저장한다.
본 개시의 실시 예에 따른 서버는, 음식을 포함하는 이미지를 요청하는 요청 명령이 사용자 단말로부터 수신됨에 따라, 상기 요청 명령을 상기 사용자 단말에 대응되는 상기 냉장고에게 전송하는 데이터 송신부, 상기 요청 명령의 전송에 기반하여, 상기 음식을 포함하는 이미지를 상기 냉장고로부터 수신하는 데이터 수신부, 상기 음식 및 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스 관련 정보를 생성하는 데이터 처리부, 상기 생성된 제1 사용자 인터페이스 관련 정보를 상기 사용자 단말에게 전송하는 상기 데이터 송신부, 상기 제1 사용자 인터페이스 관련 정보에 기반하여 상기 음식과 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 상기 조리 기기가 서로 매칭된 매칭 정보를 생성하는 상기 데이터 처리부, 상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스 관련 정보를 생성하는 상기 데이터 처리부, 상기 생성된 제2 사용자 인터페이스 관련 정보를 상기 사용자 단말에게 전송하는 상기 데이터 송신부, 및 상기 제2 사용자 인터페이스 관련 정보에 기반하여 상기 음식과 매칭된 조리 기기의 동작을 설정하는 사용자 입력에 따라, 상기 조리 기기의 동작을 제어하는 제어 명령을 상기 조리 기기로 전송하거나 또는 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 상기 냉장고로 전송하는 상기 데이터 송신부를 포함한다.
본 개시의 실시 예에 따른 서버는, 주기적으로 또는 이벤트 발생 시에 냉장고에 포함된 음식을 포함하는 이미지 및 복수 개의 조리 기기들에 대한 조리 기기 정보를 수신하는 인식용 데이터 입력부, 상기 음식 이미지 및 상기 조리 기기 정보를, 인공 지능 알고리즘을 이용하여 조리 기기를 결정하도록 학습된 학습 모델에 적용하여, 상기 복수 개의 조리 기기들 중에서 상기 이미지에 포함된 음식을 조리할 조리 기기 및 상기 음식의 조리를 위한 가이드 정보를 결정하는 학습 모델 적용부, 및 상기 음식 및 상기 음식을 조리할 조리 기기가 매칭된 매칭 정보, 및 상기 가이드 정보를 상기 냉장고에게 전송하는 인식 결과 제공부를 포함한다.
본 개시에 따르면, 냉장고의 디스플레이부를 통하여 음식을 조리할 조리 기기로 이동시키도록 가이드하는 사용자 인터페이스가 표시됨으로써, 냉장고의 사용자가 음식을 조리하기에 적합한 조리 기기를 결정하는데 도움이 될 수 있다.
또한, 냉장고의 디스플레이부를 통하여 음식을 조리할 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스가 표시됨으로써, 조리 기기의 동작 제어에 익숙하지 않은 사용자가 냉장고가 제공하는 가이드에 따라 음식을 용이하게 조리하는 것이 가능하게 된다.
또한, 조리 기기의 동작 제어에 익숙한 사용자가, 선제적으로 조리 기기의 동작 및 이를 제공할 시간을 설정할 수 있어서, 조리 기기의 동작 제어에 익숙하지 않은 사용자가 음식 섭취 시간에 맞추어 조리 가이드를 제공 받는 것이 가능하게 된다.
또한, 사용자 단말의 사용자는 원거리에서 음식을 섭취할 사용자(예로, 댁 내의 가족)를 위하여 조리 기기를 제어하거나 또는 조리 기기의 동작을 제어하기 위한 가이드 정보를 제공하는 것이 가능하여, 음식 조리법을 제공하는 사용자의 편의성 및 심리적 안정감이 크게 향상될 수 있다.
도 1a 내지 도 1c는, 본 개시의 다양한 실시예에 따른 냉장고를 포함하는 시스템을 나타낸다.
도 2 내지 도 5는, 본 개시의 다양한 실시예에 따른 사용자 단말 및 냉장고를 포함하는 시스템의 동작을 나타낸다.
도 6a 및 도 6b, 본 개시의 다양한 실시예에 따른 사용자 단말의 사용자 인터페이스를 나타낸다.
도 7 내지 도 8b는 본 개시의 다양한 실시예에 따른 냉장고의 사용자 인터페이스를 나타낸다.
도 9는, 본 개시의 다양한 실시예에 따른 냉장고의 동작을 나타낸다.
도 10은, 본 개시의 다양한 실시예에 따른 냉장고의 사용자 인터페이스를 나타낸다.
도 11은, 본 개시의 다양한 실시예에 따른 사용자 단말의 흐름도이다.
도 12 및 도 13은, 본 개시의 다양한 실시예에 따른 냉장고의 흐름도이다.
도 14 및 도 15는, 본 개시의 다양한 실시예에 따른 서버의 흐름도이다.
도 16a는, 본 개시의 다양한 실시예에 따른 냉장고의 사시도이다.
도 16b는, 본 개시의 다양한 실시예에 따른 모든 도어를 개방한 냉장고의 개략적인 정면도이다.
도 17은, 본 개시의 다양한 실시예에 따른 냉장고의 개략적인 블럭도이다.
도 18은, 본 개시의 다양한 실시예에 따른, 네트워크 환경 내의 사용자 단말의 블럭도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 개시에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 개시의 실시예에 따른 촬영 장치를 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
본 개시의 실시예에 따른 어플리케이션(application)은 컴퓨터용 OS(Operating System) 또는 모바일 OS 위에서 실행되어 사용자가 사용하는 소프트웨어를 의미한다. 예를 들어, 어플리케이션은 웹 브라우저(web browser), 카메라 어플리케이션, 모바일 결제(mobile payment) 어플리케이션(또는, 전자 결제 어플리케이션, 결제 어플리케이션), 포토 앨범(photo album) 어플리케이션, 워드 프로세서(word processor), 스프레드 시트(spread sheet), 연락처(contacts) 어플리케이션, 캘린더(calendar) 어플리케이션, 메모(memo) 어플리케이션, 알람(alarm) 어플리케이션, SNS(Social Network System) 어플리케이션, 통화 어플리케이션(call), 게임 장터(game store), 게임 어플리케이션(game), 채팅(chatting) 어플리케이션, 지도(Map) 어플리케이션, 뮤직 플레이어(music player) 또는 비디오 플레이어(video player) 등을 포함할 수 있다.
본 개시의 실시예에 따른 어플리케이션은 냉장고 또는 냉장고와 무선 또는 유선으로 연결되는 외부 장치(예를 들어, 웨어러블 장치, 서버 등)에서 실행되는 소프트웨어를 의미할 수 있다. 또한, 본 개시의 실시예에 따른 어플리케이션은 수신되는 사용자 입력에 대응하여 냉장고에서 실행되는 소프트웨어를 의미할 수 있다.
본 개시의 실시예에서, '사용자 입력'은 예를 들어, 사용자의 버튼(또는 키) 선택, 사용자의 버튼(또는 키)의 눌림(또는, 클릭), 사용자의 소프트 버튼(또는 소프트 키) 터치, 사용자에 의해 터치 스크린에서 수신(또는, 검출)되는 터치(또는, 호버링 같은 비 접촉 포함), 사용자에 의해 터치 스크린에서 수신(또는, 검출)되는 터치 제스처(또는, 호버링 같은 비 접촉 포함, 사용자의 음성, 사용자의 출현(presence, 예를 들어, 사용자가 카메라 인식 범위 내 나타남), 또는 사용자의 모션을 포함하는 용어로 사용될 수 있다. 또한, '버튼(또는 키)의 선택'은 버튼(또는 키)의 눌림(또는, 클릭) 또는 소프트 버튼(또는 소프트 키)의 터치를 의미하는 용어로 사용될 수 있다.
본 개시의 실시예에서, '음식'은 식재료, 조리된 음식, 식기에 담겨 있는 음식, 인스턴트 음식 또는 냉동 상태의 음식 등을 포함할 수 있다.
본 개시의 실시예에서, '사용자 인터페이스'는 본 개시의 전자 장치(예로, 냉장고, 사용자 단말, 조리 기기)와 사용자가 소통을 위한 매개체로서 사용자 인터페이스는 사용자 입력을 받거나 및/또는 사용자에게 정보를 제공하는 인터페이스가 될 수 있다. 사용자 인터페이스는, 예로, 문자 사용자 인터페이스, 그래픽 사용자 인터페이스 또는 오디오 사용자 인터페이스를 포함할 수 있다.
도 1a 내지 도 1c는 본 개시의 다양한 실시예에 따른 냉장고를 포함하는 시스템을 나타내는 도면이다.
도 1a에서, 시스템(1)은 냉장고(10) 및 사용자 단말(20)을 포함할 수 있다. 시스템(1)에서 냉장고(10) 및 사용자 단말(20)은 서로 통신 연결될 수 있다. 냉장고(10) 및 사용자 단말(20)은 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다. 여기서, 서로 통신 연결된다는 것은, 근거리 통신 기술로 직접 연결되거나 또는 제3 중계기(M)를 통하여 통신 연결되는 것을 포함할 수 있다. 제3 중계기는, 예로, 기지국, 허브, 엑세스 포인트, 게이트웨이, 스위치, 릴레이 서버 및/또는 중계 서버 중 적어도 하나를 포함할 수 있다.
다양한 실시예로, 도 1a에서, 사용자 단말(20)은 본 개시의 다양한 실시예를 수행하기 위한 어플리케이션이 미리 설치된 판매된 상태일 수 있다. 또는, 도 1a에서, 사용자 단말(20)의 사용자는 어플리케이션 서버(예로, 구글 스토어, 앱 스토어 등)로부터 본 개시의 다양한 실시예를 수행하기 위한 어플리케이션을 다운로드하여 사용자 단말(20)에 설치할 수 있다.
이러한 상황에서, 음식을 포함하는 이미지가 수신되면, 사용자 단말(20)의 프로세서는 음식과 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스가 표시되도록 사용자 단말(20)의 디스플레이부를 제어할 수 있다. 제1 사용자 인터페이스를 이용하여 음식과 조리 기기를 매칭하는 사용자 입력에 따라, 사용자 단말(20)의 프로세서는 음식과 조리 기기가 매칭된 매칭 정보를 생성할 수 있다.
또한, 사용자 단말(20)의 프로세서는 매칭된 조리 기기의 동작을 제어할 수 있는 제2 사용자 인터페이스가 표시되도록 사용자 단말(20)의 디스플레이부를 제어할 수 있다. 제2 사용자 인터페이스를 이용하여 매칭된 조리 기기의 동작을 설정하는 사용자 입력에 따라, 사용자 단말(20)의 프로세서는 조리 기기의 동작을 제어하는 기능 및 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행할 수 있다. 예로, 사용자 단말(20)의 프로세서는 조리 기기의 동작을 제어하기 위한 가이드 정보를 통신 연결된 냉장고(10)에게 전송하도록 사용자 단말(20)의 통신부를 제어할 수 있다. 가이드 정보를 수신한 냉장고(10)의 프로세서는 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스를 표시하도록 냉장고(10)의 디스플레이부를 제어할 수 있다.
도 1b에서, 시스템(2)은 복수의 냉장고들(10a, 10b, 10c), 복수의 사용자 단말들(20a, 20b, 20c) 및 플랫폼 서버(40)를 포함할 수 있다.
도 1b에서, 복수의 냉장고들(10a, 10b, 10c), 복수의 사용자 단말들(20a, 20b, 20c) 및 플랫폼 서버(40) 중 적어도 하나는 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다. 여기서, 서로 통신 연결된다는 것은, 근거리 통신 기술로 직접 연결되거나 또는 제3 중계기(예로, 도 1a의 중계기(M))를 통하여 통신 연결되는 것을 포함할 수 있다.
도 1b에서, 복수의 냉장고들(10a, 10b, 10c) 각각의 제조 업체, 판매 업체 또는 운영 업체는 플랫폼 서버(40)로 본 개시의 다양한 실시예를 수행하기 위한 어플리케이션을 제공할 수 있다. 플랫폼 서버(40)의 제조 업체, 판매 업체 또는 운영 업체는 플랫폼 서버(40)에 제공 받은 어플리케이션을 설치할 수 있다. 이 때, 플랫폼 서버(40)의 판매 업체 또는 운영 업체는, 복수의 냉장고들(10a, 10b, 10c) 중 적어도 하나의 제조 업체, 판매 업체 또는 운영 업체와 동일할 수 있다. 플랫폼 서버(40)는 클라우드 서버 또는 하나 이상의 서버(또는, 장치)로 구성될 수 있다.
이러한 상황에서, 복수의 사용자 단말들(20a, 20b, 20c) 중 적어도 하나(20a)는 음식을 포함하는 음식 이미지를 요청하는 요청 명령을 플랫폼 서버(40)에게 전송할 수 있다.
플랫폼 서버(40)의 데이터 수신부는 요청 명령을 수신할 수 있다. 플랫폼 서버(40)의 데이터 처리부는 요청 명령을 전송한 사용자 단말(20a)에 대응되는 냉장고(10a)를 검색할 수 있다. 예로, 데이터 처리부는 사용자 단말(20a)의 그룹 식별자와 동일한 그룹 식별자를 가지는 냉장고(10a)를 검색할 수 있다. 플랫폼 서버(40)의 데이터 송신부는 음식 이미지를 요청하는 요청 명령을 복수 개의 냉장고들(10a,10b,10c) 중 검색된 냉장고(10a)에게 전송할 수 있다. 플랫폼 서버(40)의 데이터 수신부는, 요청 명령의 전송에 기반하여, 검색된 냉장고(100a)에 보관 중인 음식을 포함하는 이미지 및 검색된 냉장고(10a) 근처의 복수의 조리 기기들에 대한 조리 기기 정보를 수신할 수 있다. 플랫폼 서버(40)의 데이터 처리부는 수신된 이미지 및 이미지에 포함된 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스 관련 정보를 생성할 수 있다. 플랫폼 서버(40)의 데이터 송신부는 제1 사용자 인터페이스 관련 정보를, 음식 이미지를 요청하는 요청 명령을 전송한 사용자 단말(20a)에게 전송할 수 있다.
사용자 단말(20a)은 제1 사용자 인터페이스 관련 정보를 렌더링하여 음식과 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 디스플레이부를 통하여 표시할 수 있다. 사용자 단말(20a)에 표시된 제1 사용자 인터페이스를 이용하여 음식과 조리 기기를 매칭하는 사용자 입력에 따라, 플랫폼 서버(40)의 데이터 처리부는 음식과 조리 기기가 매칭된 매칭 정보를 생성할 수 있다.
플랫폼 서버(40)의 데이터 처리부는 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스 관련 정보를 생성할 수 있다. 플랫폼 서버(40)의 데이터 송신부는 생성된 제2 사용자 인터페이스 관련 정보를 사용자 단말(20a)에게 전송할 수 있다. 다양한 실시예로, 플랫폼 서버(40)의 데이터 처리부는 제1 사용자 인터페이스 관련 정보에 기반하여, 음식이 이동된 것을 알리는 알림 정보가 냉장고(10a) 또는 조리 기기로부터 수신됨에 따라, 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스 관련 정보를 생성할 수 있다.
사용자 단말(20a)은 제2 사용자 인터페이스 관련 정보를 렌더링하여 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 디스플레이부를 통하여 표시할 수 있다. 사용자 단말(20a)에 표시된 제2 사용자 인터페이스를 이용하여 조리 기기의 동작을 설정하는 사용자 입력에 따라, 플랫폼 서버(40)의 데이터 송신부는 조리 기기의 동작을 제어하는 제어 명령을 조리 기기로 전송할 수 있다. 또는, 데이터 송신부는 조리 기기의 동작을 제어하기 위한 가이드 정보를 냉장고(10a)에게 전송할 수 있다. 가이드 정보를 수신한 냉장고(10a)의 프로세서는 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스를 표시하도록 냉장고(10a)의 디스플레이부를 제어할 수 있다.
도 1c는, 시스템(3)은 냉장고(10) 및 인공 지능(Artificial Intelligence, AI) 서버(50)를 포함할 수 있다. 인공 지능 서버(50)는, 예로, 인공 지능 알고리즘을 이용하여 학습된 학습 모델을 포함하는 서버가 될 수 있다. 냉장고(10) 및 인공 지능 서버(50) 중 적어도 하나는 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다. 여기서, 서로 통신 연결된다는 것은, 근거리 통신 기술로 직접 연결되거나 또는 제3 중계기(예로, 도 1a의 중계기(M))를 통하여 통신 연결되는 것을 포함할 수 있다. 인공 지능 서버는, 예로, 인간 수준의 지능을 구현하는 인공 지능 시스템을 포함한다. 인공 지능 시스템은 기존의 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자의 취향을 더욱 정확하게 이해할 수 있게 된다. 인공지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류하여 학습하는 알고리즘 기술이다. 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다
인공 지능 서버(50)는 데이터 학습 서버(51) 및 데이터 인식 서버(52) 중 적어도 하나로 구성될 수 있다. 데이터 학습 서버(51) 및 데이터 인식 서버(52)는 하나 또는 그 이상의 서버로 구현될 수 있다. 데이터 학습 서버(51) 및 데이터 인식 서버(52)가 물리적으로 분리된 경우, 데이터 학습 서버(51) 및 데이터 인식 서버(52)는 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다.
데이터 학습 서버(51)의 학습용 데이터 입력부(51-1)는 상황 판단에 필요한 데이터를 획득할 수 있다. 예로, 학습용 데이터 입력부(51-1)는 음식을 포함하는 이미지, 음식을 조리할 조리 기기 정보, 음식의 조리를 위한 조리 기기의 가이드 정보를 학습용 데이터로서 획득할 수 있다. 조리 기기의 가이드 정보는, 예로, 음식의 제조사가 제공하는 조리 정보, 요리사가 제공하는 음식의 조리 정보, 음식을 조리한 경함이 있는 다른 사용자가 제공하는 음식의 조리 정보를 포함할 수 있다.
데이터 학습 서버(51)의 모델 학습부(51-2)는 상황 판단에 이용되는 데이터 인식 모델을 상기 학습용 데이터 및 인공 지능 알고리즘을 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터를 입력 받아 미리 구축된 모델일 수 있다. 다른 예로, 데이터 인식 모델은 빅데이터를 이용하여 미리 구축된 텍스트 분석 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다. 학습 결과로서, 모델 학습부(51-2)는 조리 기기를 결정하도록 학습된 학습 모델을 생성할 수 있다.
또한, 데이터 인식 모델이 학습되면, 데이터 학습 서버(51)의 학습 모델 저장부(51-3)는 학습된 데이터 인식 모델을 저장할 수 있다. 학습 모델 저장부(51-3)는 학습된 데이터 인식 모델을 인공 지능 서버(50)의 메모리에 저장할 수 있다. 또는, 학습 모델 저장부(51-3)는 학습된 데이터 인식 모델을 인공 지능 서버(50)와 근거리 또는 원거리 네트워크로 연결되는 서버(미도시)의 메모리에 저장할 수도 있다.
데이터 인식 서버(52)의 인식용 데이터 입력부(52-1)는 상황 판단에 필요한 인식용 데이터를 획득할 수 있다. 인식용 데이터는, 예로, 냉장고(10)에 포함된 음식을 포함하는 음식 이미지 및 복수 개의 조리 기기들에 대한 조리 기기 정보를 포함할 수 있다. 복수 개의 조리 기기들에 대한 조리 정보는, 예로, 냉장고(10)가 위치한 댁 내에 존재하는 복수 개의 조리 기기들에 대한 조리 정보일 수 있다. 인식용 데이터 입력부(52-1)는 주기적으로 또는 이벤트 발생 시에 음식 이미지 및 복수 개의 조리 기기들에 대한 조리 기기 정보를 수신할 수 있다. 이 때, 음식 이미지 및 복수 개의 조리 기기들에 대한 조리 기기 정보 중 적어도 하나는 미리 수신되어 메모리에 저장된 상태일 수도 있다.,주기적으로 수신되는 시간은, 예로, 아침 식사 시간 전(5시 내지 7시 사이), 점심 식사 시간(11시 내지 1시 사이) 또는 저녁 식사 시간 전(5시 내지 7시 사이))이 될 수 있다. 또한, 이벤트 발생 시는, 냉장고(10)의 도어의 개방에 따라 발생되는 이벤트 신호, 냉장고(10) 전면에 사용자의 인식에 따른 이벤트 신호 또는 사용자 설정한 시간에 따른 이벤트 신호가 발생되는 상황이 될 수 있다.
데이터 인식 서버(52)의 학습 모델 적용부(52-2)는 데이터 학습 서버(51)에 의하여 학습된 조리 기기를 결정하도록 학습된 학습 모델을 이용하여, 복수 개의 조리 기기 중에서 음식을 조리할 수 있는 조리 기기 및 음식의 조리를 위한 가이드 정보 중 적어도 하나를 결정할 수 있다. 예로, 학습 모델 적용부(52-2)는 인식용 데이터 입력부(52-1)가 음식 이미지 및 조리 기기 정보를 상기 학습 모델에 적용하여, 복수 개의 조리 기기들 중에서 음식을 조리할 조리 기기 및 음식의 조리를 위한 가이드 정보를 결정할 수 있다.
데이터 인식 서버(52)의 인식 결과 제공부(52-3)는 음식 및 학습 모델에 의하여 결정된 매칭 정보, 음식의 조리를 위한 가이드 정보를 냉장고(10)에게 전송할 수 있다.
이하 설명될 냉장고(10)의 프로세서(3110), 통신부(3120), 디스플레이부(3170) 및 메모리(3190)는, 후술할 도 17의 냉장고(10)의 프로세서(3110), 통신부(3120), 디스플레이부(3170), 및 메모리(3190)에 각각 대응될 수 있다.
또한, 사용자 단말(20)의 프로세서(4120), 디스플레이부(4160), 통신부(4190) 및 메모리(4130)는, 후술할 도 18의 사용자 단말(20)의 프로세서(3110), 통신부(3120), 디스플레이부(3170), 및 메모리(3190)에 각각 대응될 수 있다.
도 2 및 도 3의 시스템은 전술한 도 1a 내지 도 1c의 시스템 중 적어도 하나에 대응되는 시스템일 수 있다.
도 2의 시스템에서, 냉장고(10), 사용자 단말(20) 및 조리 기기(30) 중 적어도 하나는 근거리 네트워크 또는 원거리 네트워크를 통하여 서로 통신 연결될 수 있다. 여기서, 서로 통신 연결된다는 것은, 직접 근거리 통신 기술로 직접 연결되거나 또는 제3 중계기를 통하여 통신 연결되는 것을 포함할 수 있다.
도 2는 본 개시의 다양한 실시예에 따른 사용자 단말 및 냉장고를 포함하는 시스템의 동작을 나타낸다.
예로, 도 2의 (a), (c), (f)는, 댁 내의 사용자(11)가 냉장고(10)를 이용하는 환경을 나타내고, 도 2의 (b), (d), (e)는, 댁 외의 사용자(21)가 사용자 단말(20)을 이용하는 환경을 나타낸다. 예로, 도 2의 (a), (c), (f)는 댁 내에서 음식 조리에 미숙한 남편(또는, 아내, 자녀들)이 사용자(11)로서 냉장고(10)을 이용하는 상황을 나타내고, 도 2의 (b), (d), (e)는 댁 외에서 음식 조리에 능숙한 아내(또는, 남편)가 사용자(21)로서 사용자 단말(20)을 이용하는 상황을 나타낸다.
도 2의 (a)에서, 냉장고(10)의 프로세서(3110)는 냉장고(10)의 저장실에 보관 중인 음식을 촬영하도록 냉장고(10)의 카메라(3150)(예로, 냉장고(10)의 내부 카메라)를 제어할 수 있다. 프로세서(3110)는 촬영된 적어도 하나의 음식을 포함하는 음식 이미지(201)가 사용자 단말(20)에게 전송되도록 통신부(3120)를 제어할 수 있다.
도 2의 (b)에서, 사용자 단말(20)의 프로세서(4120)는, 음식 이미지(201)가 수신되면, 음식 이미지(201)에 포함된 음식과 조리 기기(30)을 매칭할 수 있는 사용자 인터페이스(203)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 도 2의 (b)에서, 사용자 인터페이스(203)을 통하여 음식과 조리 기기(30)를 매칭하는 사용자 입력이 감지되면, 프로세서(4120)는 음식과 적어도 하나의 조리 기기가 서로 매칭된 매칭 정보를 생성할 수 있다. 예로, 도 2의 (b)에서, 음식 이미지(201)에 포함된 음식 객체(205)을 조리 기기 객체(207)로 드래그하는 사용자 입력이 감지되면, 프로세서(4120)는 음식과 조리 기기가 서로 매칭된 매칭 정보(209)를 생성할 수 있다. 또는, 적어도 하나의 조리 기기 객체(207)를 음식 이미지에 포함된 음식(201)으로 드래그하는 사용자 입력이 감지되면, 프로세서(4120)는 음식과 조리 기기(30)가 서로 매칭된 매칭 정보(209)를 생성할 수 있다. 상세한 예로, 프로세서(4120)는 냄비의 국 또는 냉동 음식을 전자레인지(30)와 매칭하는 사용자 입력에 따라, 음식과 전자레인지(30)가 서로 매칭된 매칭 정보(209)를 생성할 수 있다. 매칭 정보(209)가 생성되면, 프로세서(4120)는 생성된 매칭 정보(209)를 냉장고(10)에게 전송하도록 통신부(4190)를 제어할 수 있다.
도 2의 (c)에서, 매칭 정보(209)가 수신되면, 냉장고(10)의 프로세서(3110)는 수신된 매칭 정보(209)에 기반하여, 사용자(11)에게 냉장고(10)에 보관 중인 음식을 조리 기기(30)로 이동시킬 것을 가이드하는 사용자 인터페이스(211)를 표시하도록 디스플레이부(4160)를 제어할 수 있다.
도 2의 (c)에서, 냉장고(10)의 사용자(11)는 사용자 인터페이스(211)를 통한 가이드에 기반하여 냉장고(10)에 보관 중인 음식을 조리 기기(30)로 이동시킬 수 있다. 예로, 음식이 냉동 식품인 경우, 냉장고(10)의 사용자(11)는 음식을 해동하기 위한 조리 기기(예로, 전자레인지, 오븐 등)로 음식을 이동시킬 수 있다. 음식이 조리를 위하여 이동되면, 사용자 단말(20)은 음식이 조리를 위하여 이동된 것을 알리는 알림 정보(213)를 수신할 수 있다.
예로, 냉장고(10)에서 음식이 인출되면, 냉장고(10)의 프로세서(3110)는 사용자 단말(20)에게 알림 정보(213-1)를 전송하도록 통신부(3120)를 제어할 수 있다. 다른 예로, 조리 기기(30)로 음식이 삽입되거나 또는 거치되면, 조리 기기(30)가 알림 정보(213-2)를 사용자 단말(20)에게 전송할 수 있다. 또 다른 예로, 냉장고(10)에 외부 카메라가 구비된 경우, 냉장고(10)의 프로세서(3110)는 외부 카메라를 통하여 촬영된 이미지를 인식하여 음식이 조리 기기로 이동되는지를 식별할 수 있다. 음식이 조리 기기로 이동된 것으로 식별되면, 프로세서(3110)는 알림 정보(213-1)를 사용자 단말(20)에게 전송하도록 통신부(3120)를 제어할 수 있다. 또 다른 예로, 냉장고(10)의 외부 카메라 또는 주변의 카메라(미도시)가 촬영된 이미지를 이미지 분석 서버(미도시)에 전송할 수 있다. 이미지 분석 서버에서 분석 결과, 음식이 조리 기기로 이동된 것으로 분석되면, 이미지 분석 서버는 알림 정보를 사용자 단말(20)에게 직접 전송하거나, 냉장고(10)를 통하여 사용자 단말(20)에게 전송할 수 있다.
알림 정보(213)가 수신되면, 사용자 단말(20)의 프로세서(4120)는 조리 기기(30)의 동작을 제어하는 기능 및 조리 기기(30)의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행할 수 있다.
예로, 도 2의 (d)와 같이, 사용자 단말(20)의 프로세서(4120)는 음식의 이동된 것을 알리는 알림 메시지를 포함하는 사용자 인터페이스(215)를 표시하도록 디스플레이부(4160)를 제어할 수 있다.
다음으로, 도 2의 (e)와 같이, 사용자 단말(20)의 프로세서(4120)는 조리 기기(30)의 동작을 설정할 수 있는 사용자 인터페이스(217)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 사용자 인터페이스(217)는, 예로, 조리 모드, 조리 시간, 조리 제어, 조리 시작 및 조리 취소 중 적어도 하나를 포함할 수 있다. 사용자 인터페이스(217)을 통하여 조리 기기의 동작을 설정하는 사용자 입력이 감지되면, 사용자 단말(20)의 프로세서(4120)는 조리 기기(30)의 제어 명령(219) 또는 조리 기기(30)의 동작을 제어하기 위한 가이드 정보(221)를 외부 장치로 전송하도록 통신부(4190)를 제어할 수 있다. 예로, 프로세서(4120)는 제어 명령(219)을 조리 기기(30)에게 전송하도록 통신부(4190)를 제어할 수 있다. 또는, 프로세서(4120)는 조리 기기의 동작을 제어하기 위한 가이드 정보(221)를 냉장고(10)에게 전송하도록 통신부(4190)를 제어할 수 있다.
다양한 실시 예에 따르면, 도 2의 (d) 과정이 생략되고, 도 2의 (e) 과정이 수행될 수도 있다. 즉, 알림 정보(213)가 수신되면, 사용자 단말(20)은 조리 기기(30)를 제어하거나 또는 조리 기기의 동작을 설정할 수 있는 사용자 인터페이스(217)를 표시하도록 디스플레이부(4160)를 제어할 수 있다.
도 2의 (f)에서, 제어 명령(219)이 수신되면, 조리 기기(30)는 제어 명령에 따라 음식의 조리를 시작할 수 있다. 또는, 가이드 정보(221)가 수신되면, 냉장고(10)의 프로세서(3110)는 조리 기기의 동작을 가이드하는 사용자 인터페이스(223)를 표시하도록 디스플레이부(3170)를 제어할 수 있다.
본 개시에 따르면, 사용자 단말(20)의 사용자(21)가 원거리에서 냉장고(10)의 사용자(11)가 음식을 적절히 조리할 수 있도록 가이드하는 것이 가능하다. 또한, 냉장고(10)의 사용자(11)가 음식을 조리하기 위한 액션을 수행할 때마다, 액션의 수행 과정을 사용자 단말(20)의 사용자(21)가 확인하고 가이드하는 것이 가능하다.
도 3은 본 개시의 다양한 실시예에 따른 사용자 단말 및 냉장고를 포함하는 시스템의 동작을 나타낸다.
도 3의 (a) 과정은 전술한 도 2의 (a) 과정에 대응되어 중복되는 설명은 생략한다. 예로, 도 3의 (a), (d), (e)는, 댁 내의 사용자(11)가 냉장고(10)를 이용하는 환경을 나타내고, 도 3의 (b), (c)는, 댁 외의 사용자(21)가 사용자 단말(20)을 이용하는 환경을 나타낸다.
도 3의 (b)에서, 냉장고(10)로부터 음식 이미지(201)가 수신되면, 사용자 단말(20)의 프로세서(4120)는 음식 이미지(201)에 포함된 음식과 조리 기기(30)을 매칭할 수 있는 사용자 인터페이스(203)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 사용자(21)는 사용자 인터페이스(203)를 통하여 음식과 조리 기기(30)를 매칭하는 사용자 입력을 수행할 수 있다. 또는, 사용자(21)는 매칭하는 상기 사용자 입력을 수행 후, 매칭하는 입력의 완료를 위한 사용자 입력을 더 수행할 수 있다.
사용자 입력이 감지되면, 도 3의 (c)와 같이, 사용자 단말(20)의 프로세서(4120)는 조리 기기(30)의 동작을 설정할 수 있는 사용자 인터페이스(217)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 사용자(21)는 사용자 인터페이스(217)을 통하여 조리 기기의 동작을 설정하는 사용자 입력을 수행할 수 있다. 또는, 사용자(21)는 상기 설정하는 사용자 입력을 수행 후, 설정하는 입력의 완료를 위한 사용자 입력을 더 수행할 수 있다.
사용자 입력이 감지되면, 사용자 단말(20)의 프로세서(4120)는 음식과 적어도 하나의 조리 기기(30)가 서로 매칭된 매칭 정보를 생성할 수 있다. 또한, 프로세서(4120)는 조리 기기(30)의 동작을 가이드하기 위한 가이드 정보를 생성할 수 있다. 이 때, 매칭 정보는 도 3의 (b)에서 사용자 입력이 수행된 후, 도 3의 (c)의 사용자 인터페이스(217)가 표시되기 전에 선제적으로 생성될 수도 있다.
다음으로, 사용자 단말(20)의 프로세서(4120)는 조리 기기(30)의 동작을 제어하는 기능 및 조리 기기(30)의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행할 수 있다.
예로, 사용자 단말(20)의 프로세서(4120)는 제어 명령(219)을 조리 기기(30)에게 전송하도록 통신부(4190)를 제어할 수 있다. 또는, 프로세서(4120)는 조리 기기의 동작을 제어하기 위한 가이드 정보(301)를 냉장고(10)에게 전송하도록 통신부(4190)를 제어할 수 있다. 이 때, 가이드 정보(301)는 매칭 정보를 포함할 수도 있다. 다양한 실시 예로, 가이드 정보(301)는 매칭 정보 및 가이드 정보에 기반하여, 조리 기기(30)를 이용하여 음식의 조리 방법을 안내하는 시각 정보 및/또는 청각 정보를 더 포함할 수도 있다.
도 3의 (d)에서, 냉장고(10)는 가이드 정보(301)를 수신할 수 있다. 냉장고(10)의 프로세서(3110)는 가이드 정보(301)에 기반하여, 조리 기기(30)의 동작을 제어하도록 가이드하는 사용자 인터페이스(303)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 냉장고(10)의 사용자(11)는 사용자 인터페이스(303)를 참조하여, 음식을 조리할 수 있다. 예로, 사용자(11)는 사용자 인터페이스(303)에 포함된 정보에 기반하여, 음식을 냉장고(10)로부터 인출하고, 인출된 음식을 조리 기기(30)로 이동하여, 조리 기기(30)를 온 시키고, 음식이 준비된 조리 기기(300)를 동작시킬 수 있다.
다양한 실시 예로, 도 3의 (e)와 같이, 가이드 정보(301)에 기반하여, 냉장고(10)가 조리 기기(30)의 동작을 직접 제어할 수도 있다. 예로, 사용자(11)의 조리가 용이하도록, 냉장고(10)는 조리 기기(30)의 제어 명령(예로, 조리 기기(30)를 온(on) 시키는 웨이크 업(wake up) 명령)(305)을 조리 기기(30)로 전송하도록 통신부(3120)를 제어할 수 있다. 또는, 냉장고(10)는 가이드 정보(301)에 기반하여 조리 기기(30)의 조리 모드 및/또는 조리 시간을 설정하는 제어 명령(305)이 조리 기기로 전송되도록 통신부(3120)를 제어할 수도 있다. 또는, 냉장고(10)는 일정 시간이 되면, 가이드 정보(301)에 기반한 제어 명령이 조리 기기(30)로 전송되도록 통신부(3120)를 제어할 수 있다. 이 때, 일정 시간은 사용자에 의하여 사용자 단말(20) 또는 냉장고(10)를 통하여 미리 설정될 수 있다. 일정 시간은, 예로, 사용자의 식사 시간 또는 간식 시간에 대응되도록 설정될 수 있다.
도 4는 본 개시의 다양한 실시예에 따른 전자 장치 및 냉장고를 포함하는 시스템의 동작을 나타낸다.
도 4에서, 냉장고(10)의 프로세서(3110)는 냉장고(10)에 보관 중인 음식 및 적어도 하나의 조리 기기(30)를 매칭할 수 있는 사용자 인터페이스(401)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 예로, 냉장고(10)의 프로세서(3110)는 조리 기기의 동작 설정할 수 있는 어플리케이션의 실행 단축 아이콘을 포함하는 홈 화면(미도시)을 표시하도록 디스플레이부(3170)를 제어할 수 있다. 단축 아이콘을 선택하는 사용자 입력이 수신되면, 냉장고(10)의 프로세서(3110)는 음식 및 적어도 하나의 조리 기기(30)를 매칭할 수 있는 사용자 인터페이스(401)를 표시하도록 디스플레이부(3170)를 제어할 수 있다.
도 4의 (a)에서, 냉장고(10)는 사용자 인터페이스(401)를 통하여 상기 음식과 적어도 하나의 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 적어도 하나의 조리 기기가 서로 매칭된 매칭 정보를 생성할 수 있다.
다음으로, 도 4의 (b)에서, 냉장고(10)는 조리 기기(30)의 동작을 설정할 수 있는 사용자 인터페이스(403)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 도 4의 (b)에서, 사용자 인터페이스(403)을 통하여 조리 기기의 동작을 설정하는 사용자 입력이 감지되면, 냉장고(10)의 프로세서(3110)는 조리 기기(30)의 동작을 제어하는 제어 명령 또는 조리 기기(30)의 동작의 제어에 필요한 가이드 정보를 생성할 수 있다.
다음으로, 도 4의 (c)에서, 냉장고(10)는 조리 기기(30)로 제어 명령을 전송할 시간 또는 디스플레이부(3170)를 통하여 가이드 정보를 제공할 시간을 설정할 수 있는 사용자 인터페이스(405)를 표시하도록 디스플레이부(3170)를 제어할 수 있다.
이후, 설정된 시간이 되면, 도 4의 (d)와 같이, 냉장고(10)의 프로세서(3110)는 조리 기기의 동작을 제어하는 기능 및 조리 기기의 동작을 제어하기 위한 가이드를 제공하는 기능 중 적어도 하나를 수행할 수 있다. 예로, 설정된 시간이 되면, 냉장고(10)의 프로세서(3110)는 조리 기기(30)의 동작을 제어하도록 가이드하는 사용자 인터페이스(407)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 또는, 설정된 시간이 되면, 냉장고(10)의 프로세서(3110)는 조리 기기(30)의 동작을 제어하는 제어 명령(409)을 조리 기기(30)로 전송할 수 있다.
도 5는 본 개시의 다양한 실시예에 따른 사용자 단말 및 냉장고를 포함하는 시스템의 동작을 나타낸다.
도 5에서, 냉장고(10)는 이벤트 신호 발생 시 또는 주기적으로 냉장고(10)에 보관 중인 음식을 촬영할 수 있다.
예로, 냉장고(10)의 도어의 개방에 따른 이벤트 신호가 발생되거나, 냉장고(10) 전면에 사용자의 인식에 따른 이벤트 신호가 발생되거나, 사용자 단말(20)로부터 음식 이미지 요청 신호가 수신되거나, 또는 음식의 조리를 위한 가이드 정보의 제공 시간이 되면, 냉장고(10)는 저장실에 보관 중인 음식을 촬영할 수 있다. 또는, 냉장고(10)는 주기적으로(예로, 아침 식사 시간 전(5시 내지 7시 사이), 점심 식사 시간(11시 내지 1시 사이) 또는 저녁 식사 시간 전(5시 내지 7시 사이)) 냉장고(10)의 저장실)에 보관 중인 음식을 촬영하여 냉장고(10)의 메모리(3190)에 미리 저장할 수 있다. 한편, 냉장고(10) 외에, 제3의 저장실(예로, 음식 창고, 주방 선반 등)(401)에 보관 중인 음식이 촬영될 수도 있다. 이 때, 제3의 저장실(401)에는 카메라가 구비되어, 카메라가 주기적 또는 이벤트 발생 시에 제3의 저장실(401)에 보관 중인 음식을 촬영할 수 있다.
이 경우, 도 5의 (a)와 같이, 냉장고(10)에 보관 중인 음식을 촬영한 음식 이미지(201) 및 제3의 저장실(401)에 보관 중인 음식을 촬영한 음식 이미지(403)가 각각 사용자 단말(20)에게 전송될 수 있다.
예로, 이벤트 신호 발생 시, 냉장고(10)의 프로세서(3110)는 저장실에 보관 중인 음식을 포함하는 음식 이미지(201)가 사용자 단말(20)에게 전송되도록 통신부(3120)를 제어할 수 있다. 또한, 이벤트 신호 발생 시, 제3 저장실(401)에 카메라를 포함하는 장치는 제3의 저장실(401)에 보관 중인 음식을 촬영한 음식 이미지(403)를 사용자 단말(20)에게 전송할 수 있다.
음식 이미지들(201,403)을 수신한 사용자 단말(20)의 프로세서(4120)는 수신한 음식 이미지들(201,403)에 포함된 음식과 적어도 하나의 조리 기기를 매칭할 수 있는 사용자 인터페이스(501)를 표시할 수 있다. 사용자 인터페이스(501)는, 예로, 전술한 도 2 및 도 3의 사용자 인터페이스(203), 도 4의 사용자 인터페이스(401)에 대응될 수 있다.
다른 예로, 도 5의 (b)와 같이, 냉장고(10)가 제3의 저장실(401)에 보관 중인 음식을 촬영한 음식 이미지(403)를 수신하고, 냉장고(10)에 보관 중인 음식을 촬영한 음식 이미지(201)와 수신한 이미지(403)를 함께 사용자 단말(20)에게 전송할 수도 있다.
예로, 이벤트 신호 발생 시, 제3 저장실(401)에 카메라를 포함하는 장치는 제3의 저장실(401)에 보관 중인 음식을 촬영한 음식 이미지(403)가 사용자 단말(20)에게 전송되도록 통신부를 제어할 수 있다. 음식 이미지(403)가 수신되면, 냉장고(10)의 프로세서(3110)는 냉장고(10)에 보관 중인 음식을 촬영한 음식 이미지(201)와 수신한 이미지(403)를 결합하여 전체 음식 이미지(405)를 생성할 수 있다. 그리고, 냉장고(10)의 프로세서(3110)는 전체 음식 이미지(405)가 사용자 단말(20)에게 전송되도록 통신부(3120)를 제어할 수 있다.
전체 음식 이미지(405)를 수신한 사용자 단말(20)의 프로세서(4120)는 전체 음식 이미지(405)에 포함된 음식과 적어도 하나의 조리 기기를 매칭할 수 있는 사용자 인터페이스(503)를 표시할 수 있다. 사용자 인터페이스(503)는, 예로, 전술한 도 2 및 도 3의 사용자 인터페이스(203), 도 4의 사용자 인터페이스(401)에 대응될 수 있다.
도 6a 및 도 6b 본 개시의 다양한 실시예에 따른 사용자 단말의 사용자 인터페이스를 나타낸다.
도 6a에서, 사용자 단말(20)의 프로세서(4120)는 냉장고(10)에 보관 중인 음식(603)과 복수의 조리 기기들(300a,300b,300c)을 매칭할 수 있는 사용자 인터페이스(601)를 표시하도록 디스플레이부(4160)를 제어할 수 있다.
예로, 사용자 단말(20)의 프로세서(4120)는 일 측에는 냉장고(10)에 보관 중인 음식(603)을 포함하는 음식 이미지를 표시하고, 타 측에는 음식(603)과 매칭 가능한 복수의 조리 기기들을 표시하도록 디스플레이부(4160)를 제어할 수 있다. 복수의 조리 기기들은, 예로, 냉장고(10)와 동일한 장소(예로, 냉장고(10)가 위치한 댁 내)의 조리 기기들이 될 수 있다.
이 경우, 사용자 단말(20)의 사용자(21)가 음식 이미지에서 일 음식(603)을 선택하면, 사용자 단말(20)의 프로세서(4120)는 복수의 조리 기기들 중에서 음식과 매칭 가능한 적어도 하나의 조리 기기를 선별하여 표시하도록 디스플레이부(4160)를 제어할 수 있다. 예로, 사용자 단말(20)의 프로세서(4120)는 룰 기반 또는 인공 지능 알고리즘을 이용하여, 댁 내의 조리 기기들 중에서 선택된 음식(603)과 매칭 가능한 적어도 하나의 조리 기기(300a,300b,300c)를 결정할 수 있다. 다양한 실시예로, 사용자 단말(20)의 프로세서(4120)는 음식(603)과 관련된 부가 정보(예로, 음식(603)의 제조사가 제공하는 조리 정보, 요리사가 제공하는 음식의 조리 정보, 음식을 조리한 경험이 있는 다른 사용자가 제공하는 음식의 조리 정보)를 이용하여 복수의 조리 기기들 중에서 음식과 매칭 가능한 적어도 하나의 조리 기기를 결정할 수도 있다.
사용자 단말(20)의 프로세서(4120)는 결정된 적어도 하나의 조리 기기(300a,300b,300c)를 포함하는 사용자 인터페이스(601)를 표시하도록 디스플레이부(4160)를 제어할 수 있다.
이러한 상황에서, 사용자(21)는 사용자 인터페이스(601)를 통하여 음식(603)과 복수 개의 조리 기기들(300a,300b,300c)을 각각 매칭할 수 있다. 예로, 도 6a의 (a) 내지 (c)와 같이, 사용자(21)는 음식(603)과 제1 조리 기기(300a), 제2 조리 기기(300b) 및 제3 조리 기기(300c)를 순차적으로 매칭할 수 있다. 이에, 도 6a의 (d)와 같이, 사용자 단말(20)은 음식(603)이 매칭된 복수 개 조리 기기들(300a,300b,300c) 각각의 조리 순서를 표시하는 사용자 인터페이스(605)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 도 6a의 (d)에서, 사용자 인터페이스(605)를 통하여 사용자(21)는 복수 개의 조리 기기들(300a,300b,300c) 각각의 조리 순서를 변경할 수도 있다. 예로, 제2 매칭 정보 UI(609)를 제1 매칭 정보 UI(607)의 위치로 드래그하여 매칭된 복수 개 조리 기기들(300a,300b,300c) 각각의 조리 순서를 변경할 수 있다.
다음으로, 사용자가 각각의 매칭 정보를 선택함에 따라, 프로세서(4120)는 매칭 정보에 포함된 조리 기기의 동작을 설정할 수 있는 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 다른 예로, 도 6a의 (a) 내지 (c)에서, 사용자가 음식(603)과 복수 개의 조리 기기들(300a,300b,300c) 중 일 조리 기기를 매칭할 때마다, 프로세서(4120)는 매칭된 조리 기기의 동작을 설정할 수 있는 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(4160)를 제어할 수도 있다.
다른 예로, 도 6b에서, 사용자 단말(20)의 프로세서(4120)는 냉장고(10)에 복수 개의 음식들(613,615,617)과 복수 개의 조리 기기들(300a,300b,300c) 각각을 매칭할 수 있는 사용자 인터페이스(611)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 복수의 조리 기기들은, 예로, 냉장고(10)와 동일한 장소(예로, 냉장고(10)가 위치한 댁 내)의 조리 기기들이 될 수 있다.
이러한 상황에서, 사용자 단말(20)의 사용자(21)는 복수 개의 음식들(613,615,617)과 복수 개의 조리 기기들(300a,300b,300c) 각각을 매칭할 수 있다. 예로, 도 6b의 (a)에서, 사용자(21)는 제1 음식(613)과 제2 조리 기기(300e)를 매칭시키고, 도 6b의 (b)에서, 제2 음식(615)과 제1 조리 기기(300d)를 매칭시키고, 도 6b의 (c)에서, 제3 음식(617)과 제3 조리 기기(300f)를 매칭시킬 수 있다. 이에 따라, 도 6b의 (d)와 같이, 사용자 단말(20)은 복수 개의 음식들(613,615,617) 각각이 매칭된 복수 개 조리 기기들(300d,300e,300f)의 조리 순서를 표시하는 사용자 인터페이스(619)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 도 6b의 (d)에서, 사용자 인터페이스(619)를 통하여 사용자(21)는 복수 개의 조리 기기들(300d,300e,300f) 각각의 조리 순서를 변경할 수 있다. 예로, 제2 매칭 정보 UI(623)를 제1 매칭 정보 UI(621)의 위치로 드래그하여 매칭된 복수 개 조리 기기들(300d,300e,300f) 각각의 조리 순서를 변경할 수 있다.
다음으로, 사용자가 각각의 매칭 정보를 선택함에 따라, 프로세서(4120)는 매칭 정보에 포함된 조리 기기의 동작을 설정할 수 있는 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(4160)를 제어할 수 있다. 다른 예로, 도 6b의 (a) 내지 (c)에서, 사용자가 복수 개의 음식들(613,615,617) 중 일 음식과 복수 개의 조리 기기들(300d,300e,300f) 중 일 조리 기기를 매칭할 때마다, 프로세서(4120)는 매칭된 조리 기기의 동작을 설정할 수 있는 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(4160)를 제어할 수도 있다.
도 6a 및 도 6b에서, 조리 순서가 결정되면, 사용자 단말(20)은 조리 순서에 따라 조리 기기의 동작을 제어하는 기능 또는 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행할 수 있다. 예로, 사용자 단말(20)은 조리 순서에 따라 조리 기기의 제어 명령을 조리 기기로 전송할 수 있다. 또는, 사용자 단말(20)은 조리 순서에 따라 조리 기기의 동작을 제어하기 위한 가이드 정보를 순차적으로 냉장고(10)에게 전송할 수 있다. 예로, 복수의 조리 기기들 중 일 조리 기기로 음식이 이동된 것을 알리는 알림 정보가 수신되거나, 또는 상기 일 조리 기기에서 음식의 조리가 완료된 것을 알리는 알림 정보가 수신되면, 사용자 단말(20)은 제어 명령을 다음 순서의 조리 기기로 전송하도록 통신부(4190)를 제어하거나, 조리를 위한 가이드 정보를 다음 순서의 조리 기기 또는 냉장고(10)에게 전송할 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 냉장고의 사용자 인터페이스를 나타낸다.
본 개시의 실시 예에 따라, 사용자 단말(20) 또는 냉장고(10)를 이용하여, 냉장고(10)에 저장된 음식과 조리 기기가 서로 매칭되고, 매칭된 조리 기기의 동작이 설정될 수 있다. 이 경우, 도 7과 같이, 냉장고(10)의 프로세서(3110)는 매칭 정보(703) 및 매칭된 조리 기기의 동작을 가이드하는 가이드 정보(705)를 포함하는 사용자 인터페이스(701)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 이 때, 매칭 정보(703)는, 예로, 음식과 조리 기기가 매칭된 정보이고, 가이드 정보(705)는, 예로, 각각의 음식 마다 조리 기기를 이용한 조리 시간 및 조리 모드 정보를 포함할 수 있다.
또한, 냉장고(10)의 프로세서(3110)는 음식을 섭취할 복수의 사용자들(707) 각각에 대한, 매칭 정보(703) 및 가이드 정보(705)를 포함하는 사용자 인터페이스(701)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 예로, 도 7의 709는, 음식을 섭취할 사용자에게 냄비의 음식을 전자레인지(또는, 오븐)를 이용하여 140도의 온도 모드로 2분간 조리하라는 것을 나타낼 수 있다.
도 8a 및 도 8b는 본 개시의 다양한 실시예에 따른 냉장고의 사용자 인터페이스를 나타낸다.
본 개시의 실시 예에 따라, 시간 별(예로, 날짜, 아침/점심/저녁)로 구분되어 냉장고(10)에 저장된 음식과 조리 기기가 서로 매칭되고, 매칭된 조리 기기의 동작이 설정될 수 있다. 예로, 사용자 단말(20) 또는 냉장고(10)를 이용하여 복수 개의 음식들과 복수 개의 조리 기기가 서로 매칭되고, 매칭된 복수 개의 조리 기기 각각의 동작이 설정될 수 있다. 이 경우, 매칭 정보 및 조리를 위한 가이드 정보 들 중 일부를 그룹핑하여 섭취할 시간을 지정할 수 있다.
도 8a에서, 냉장고(10)의 프로세서(3110)는 시간 별로, 매칭 정보 및 조리를 위한 가이드 정보 중 적어도 하나를 포함하는 사용자 인터페이스(801)를 표시하도록 디스플레이부(3170)를 제어할 수 있다.
예로, 도 8a의 803은, 음식을 섭취할 사용자에게 3월 1일 아침에는, 접시의 음식을 가스렌지를 이용하여 조리하고, 3월 1일 저녁에는, 냄비의 음식을 오븐을 이용하여 조리하라는 것을 나타낼 수 있다. 이 때, 일 매칭 정보 UI(805)를 선택하는 사용자 입력에 따라, 냉장고(10)의 프로세서(3110)는 매칭 정보에 포함된 조리 기기의 동작을 가이드하거나 기 설정된 조리 기기의 동작을 변경하는 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(3170)를 제어할 수도 있다.
다양한 실시예로, 도 8b와 같이, 냉장고(10)의 프로세서(3110)는 시간 별로 매칭 정보 및 조리를 위한 가이드 정보를 포함하는 사용자 인터페이스로서 캘린더 형태의 사용자 인터페이스(811)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 이 경우, 캘린더의 날짜 칸에는, 매칭 정보 및 조리를 위한 가이드 정보 중 적어도 하나를 대표하는 식별 정보(예로, 아이콘, 그래픽 등)(813)이 표시될 수 있다. 이 때, 캘린더의 날짜 칸 또는 식별 정보(813)를 선택하는 사용자 입력에 따라, 냉장고(10)의 프로세서(3110)는 선택된 날짜 또는 식별 정보에 대응되는 조리 기기(30)를 제어하는 제어 명령을 전송하거나, 또는 조리 기기(30)의 제어를 가이드하는 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(3170)를 제어할 수도 있다.
도 9는 본 개시의 다양한 실시예에 따른 냉장고의 동작을 나타낸다.
도 9의 (a)에서, 냉장고(10)의 사용자(11)가 냉장고(10)의 전면에 위치하면, 냉장고(10)는 전방에 위치하는 사용자를 검출할 수 있다.
이를 위하여, 냉장고(10)는 전방에 위치하는 사용자를 검출하는 사용자 접근 검출부(907)를 포함할 수 있다. 사용자 접근 검출부(907)는 도어 전면에 위치하는 마이크, 설정 각도로 기울어진 전면 카메라, 및 근접 센서 중 하나를 포함할 수 있다. 또한, 사용자 접근 검출부(907)는 도어 전면에 마이크, 설정 각도로 기울어진 전면 카메라, 및 근접 센서의 조합을 포함할 수 있다.
냉장고(10)의 프로세서(3110)는 사용자 접근 검출부(907)를 이용하여 사용자의 냉장고 접근을 검출할 수 있다. 예로, 마이크를 통하여 사용자 음성이 수신되면, 프로세서(3110)는 수신된 음성을 인식하여 사용자를 구분(또는, 인증)할 수 있다.
다른 예로, 설정 각도로 기울어진 전면 카메라는 사용자의 냉장고 전방에 출현(또는, 사용자의 움직임(motion), presence)을 촬영할 수 있다. 프로세서(3110)는 촬영된 이미지(예를 들어, 얼굴)를 인식하여 사용자를 구분(또는, 인증)할 수 있다. 근접 센서는 냉장고(10) 전방에서 사용자의 접근을 검출할 수 있다.
사용자 접근 검출부(907)는 하나의 센서를 통해 사용자 접근을 검출하거나 또는 복수인 센서의 조합을 통해 사용자 접근을 검출할 수 있다. 또한, 사용자 접근 검출부(907)는 하나의 센서를 통해 접근한 사용자를 구분(예를 들어, 마이크 또는 카메라를 통해)하거나 또는 복수인 센서의 조합을 통해 접근한 사용자를 구분(예를 들어, 근접 센서 및 카메라의 조합, 근접 센서 및 마이크의 조합 등)할 수 있다.
사용자 접근 검출부(907)는 사용자 접근의 검출에 대응되는 전기적 신호를 프로세서(3110)로 출력할 수 있다. 또한, 사용자 접근 검출부(907)는 사용자 접근의 검출에 대응되는 전기적 신호를 메모리(3190)로 출력할 수 있다.
사용자 접근 검출부(907)에 의하여 사용자가 인식되면, 도 9의 (b)와 같이, 냉장고(10)는 복수 개의 조리 정보들 중 인식된 사용자(11)에 대응되는 조리 정보들(903,905)이 하이라이트된 사용자 인터페이스(901)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 이 때, 조리 정보는, 본 개시의 실시 예에 따른, 냉장고(10)에 저장된 음식과 조리 기기를 서로 매칭된 매칭 정보를 포함할 수 있다. 또는, 조리 정보는, 본 개시의 실시 예에 따른, 매칭된 조리 기기의 제어를 위한 가이드 정보를 포함할 수 있다.
다양한 실시예로, 조리 정보들(903,905)이 하이라이트 되었다는 것은, 인식된 사용자(11)에 대응되는 조리 정보들(903,905)이 다른 조리 정보들과 다른 음영, 다른 색으로 표시되거나, 마킹 표시 등이 된 것을 포함할 수 있다. 다양한 실시 예로, 냉장고(10)는 복수 개의 조리 정보들 중 인식된 사용자(11)에 대응되는 조리 정보들(903,905)만 표시된 사용자 인터페이스(미도시)를 표시하도록 디스플레이부(3170)를 제어할 수도 있다.
도 9의 (c)에서, 조리 정보들(903,905) 중 일 조리 정보(903)를 선택하는 사용자 입력이 수신되면, 냉장고(10)의 프로세서(3110)는 조리 정보의 내용을 사운드로 제공할 수 있다. 이 때, 조리 정보가 사운드로 제공 중인 것을 나타내는 아이콘(907)이 사용자 인터페이스(901)에 함께 표시될 수도 있다. 또는, 냉장고(10)의 프로세서(3110)는 조리 정보와 관련된 상세 내용을 표시하도록 디스플레이부(3170)를 제어할 수 있다.
도 10은, 본 개시의 다양한 실시예에 따른 냉장고의 사용자 인터페이스를 나타낸다.
도 10에서, 냉장고(10)는 냉장고(10)에 보관 중인 음식들을 포함하는 음식 이미지를 표시하도록 디스플레이부(3170)를 제어할 수 있다.
본 개시의 실시 예에 따라 음식과 조리 기기가 서로 매칭된 경우, 냉장고(10)의 프로세서(3110)는 음식 이미지에 포함된 음식들 중 조리 기기가 매칭된 음식들(1003,1005)을 하이라이트하는 사용자 인터페이스(1001)를 표시하도록 디스플레이부(3170)를 제어할 수 있다. 이 때, 냉장고(10)의 프로세서(3110)는 조리 기기가 매칭된 음식들(1003,1005) 각각에 매칭된 조리 기기를 나타내는 식별자들(또는, 아이콘)(1007,1009)을 함께 표시하도록 디스플레이부(3170)를 제어할 수 있다.
다양한 실시예로, 식별자들(1007,1009) 중 일 식별자를 선택하는 사용자 입력이 수신되면, 냉장고(10)의 프로세서(3110)는 선택된 식별자에 대응되는 조리 기기의 제어를 위한 가이드 정보를 표시하도록 디스플레이부(3170)를 제어할 수 있다.
도 11은, 본 개시의 다양한 실시예에 따른 사용자 단말의 흐름도이다.
동작 1101에서, 사용자 단말(20)은 음식을 포함하는 이미지가 수신됨에 따라, 음식과 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 표시할 수 있다. 예로, 음식을 포함하는 이미지는, 음식을 보관한 냉장고 또는 음식을 보관한 저장소에서 촬영된 이미지일 수 있다.
동작 1103에서, 사용자 단말(20)은 상기 제1 사용자 인터페이스를 이용하여 음식과 조리 기기를 매칭하는 사용자 입력이 감지되는지를 판단할 수 있다.
사용자 입력이 감지되는 경우(1103-Y), 동작 1105에서, 사용자 입력에 따라, 사용자 단말(20)은 음식과 조리 기기가 서로 매칭된 매칭 정보를 생성할 수 있다.
동작 1107에서, 사용자 단말(20)은 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시할 수 있다.
동작 1109에서, 사용자 단말(20)은 제2 사용자 인터페이스를 이용하여 매칭된 조리 기기의 동작을 설정하는 사용자 입력이 감지되는지를 판단할 수 있다.
사용자 입력이 감지되는 경우(1109-Y), 동작 1111에서, 사용자 입력에 따라, 사용자 단말(20)은 조리 기기의 동작을 제어하는 기능 및 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행할 수 있다. 예로, 사용자 단말(20)은 제어 기기의 동작을 제어하는 제어 명령을 조리 기기에게 전송할 수 있다. 또는, 사용자 단말(20)은 가이드 정보를, 조리 기기 또는 상기 음식을 보관하는 냉장고에게 전송할 수 있다.
다양한 실시예로, 사용자 단말(20)은 생성된 매칭 정보를 냉장고(10)에게 전송할 수 있다. 이 때, 사용자 단말(20)은 매칭 정보의 전송에 기반하여, 음식이 이동된 것을 알리는 알림 정보가, 음식을 보관한 냉장고(10) 또는 조리 기기로부터 수신됨에 따라, 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시할 수 있다. 이 때, 사용자 단말(20)은 알림 정보가 수신됨에 따라, 음식이 이동된 것을 알리는 알림 메시지를 표시할 수 있다.
다양한 실시예로, 사용자 단말(20)은 복수의 조리 기기들 중에서 음식과 매칭 가능한 적어도 하나의 조리 기기를 선별할 수 있다. 다음으로, 사용자 단말(20)은 음식과 결정된 적어도 하나의 조리 기기를 포함하는 사용자 인터페이스를 표시할 수 있다.
다양한 실시예로, 사용자 단말(20)은 복수 개의 음식들과 복수 개의 조리 기기들을 매칭할 수 있는 사용자 인터페이스를 표시할 수 있다. 또한, 사용자 단말(20)은 매칭된 상기 복수 개의 음식과 상기 복수 개의 조리 기기들 각각의 조리 순서를 변경할 수 있는 사용자 인터페이스를 표시할 수 있다.
도 12는, 본 개시의 다양한 실시예에 따른 냉장고의 흐름도이다.
동작 1201에서, 냉장고(10)는 저장실에 보관 중인 음식을 촬영할 수 있다.
동작 1203에서, 냉장고(10)은 촬영된 음식을 포함하는 이미지를 사용자 단말(20)에게 전송할 수 있다. 예로, 냉장고(10)는 근거리 네트워크 또는 원거리 네트워크를 통하여 사용자 단말(20)에게 전송할 수 있다.
동작 1205에서, 냉장고(10)는 상기 이미지의 전송에 기반하여, 이미지에 포함된 음식과 조리 기기가 매칭된 매칭 정보가 수신되는지를 판단할 수 있다.
매칭 정보가 수신되는 경우(1205-Y), 동작 1207에서, 냉장고(10)는 매칭 정보에 기반하여 음식을 음식과 매칭된 조리 기기로 이동시키도록 가이드하는 사용자 인터페이스를 표시할 수 있다.
다양한 실시예로, 냉장고(10)는 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스를 표시할 수 있다.
다양한 실시 예로, 냉장고(10)는 조리 기기의 동작을 제어하는 제어 명령을 조리 기기에게 전송할 수 있다.
다양한 실시 예로, 가이드에 기반하여 음식이 냉장고(10)로부터 인출됨에 따라, 냉장고(10)는 음식이 이동된 것을 알리는 알림 정보를 사용자 단말에게 전송할 수 있다.
도 13은, 본 개시의 다양한 실시예에 따른 냉장고의 흐름도이다.
동작 1301에서, 냉장고(10)는 저장실에 보관 중인 음식을 촬영할 수 있다.
동작 1303에서, 냉장고(10)는 촬영된 음식과 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 표시할 수 있다.
동작 1305에서, 냉장고(10)는 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시할 수 있다.
동작 1307에서, 냉장고(10)는 조리 기기의 설정 동작에 따라, 음식과 매칭된 조리 기기의 동작을 제어하거나 또는 매칭된 조리 기기의 동작을 제어하기 위한 가이드 정보를 제공할 시간을 설정하는 제3 사용자 인터페이스를 표시할 수 있다.
다양한 실시예로, 설정된 시간이 되면, 냉장고(10)는 조리 기기의 동작을 제어하는 제어 명령을 조리 기기로 전송할 수 있다.
다양한 실시예로, 설정된 시간이 되면, 냉장고(10)는 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스를 표시할 수 있다.
도 14는, 본 개시의 다양한 실시예에 따른 서버의 흐름도이다.
동작 1401에서, 서버(40)는 음식을 포함하는 이미지를 요청하는 요청 명령이 사용자 단말(20)로부터 수신되는지를 판단할 수 있다.
요청 명령이 수신되는 경우(1401-Y), 동작 1403에서, 서버(40)는 요청 명령을 사용자 단말(20)에 대응되는 냉장고(10)로 전송할 수 있다.
요청 명령의 전송에 기반하여, 동작 1405에서, 서버(40)는 음식을 포함하는 이미지가 냉장고(10)로부터 수신되는지를 판단할 수 있다.
음식을 포함하는 이미지가 수신되는 경우(1405-Y), 동작 1407에서, 서버(40)는 음식 및 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스 관련 정보를 생성할 수 있다.
동작 1409에서, 서버(40)는 생성된 제1 사용자 인터페이스 관련 정보를 사용자 단말(20)에게 전송할 수 있다.
제1 사용자 인터페이스 관련 정보의 전송에 기반하여, 동작 1411에서, 서버(40)는 음식과 조리 기기를 매칭하는 사용자 입력 정보가 사용자 단말(20)로부터 수신되는지를 판단할 수 있다.
사용자 입력 정보가 수신되는 경우(1411-Y), 동작 1413에서, 서버(40)는 음식과 조리 기기가 서로 매칭된 매칭 정보를 생성할 수 있다.
동작 1415에서, 서버(40)는 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스 관련 정보를 생성할 수 있다. 예로, 제1 사용자 인터페이스 관련 정보에 기반하여, 음식이 이동된 것을 알리는 알림 정보가 수신됨에 따라, 서버(40)는 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스 관련 정보를 생성할 수 있다.
동작 1417에서, 서버(40)는 생성된 제2 사용자 인터페이스 관련 정보를 사용자 단말(20)에게 전송할 수 있다.
제2 사용자 인터페이스 관련 정보 정보의 전송에 기반하여, 동작 1419에서, 서버(40)는 음식과 매칭된 조리 기기의 동작을 설정하는 사용자 입력 정보가 사용자 단말(20)로부터 수신되는지를 판단할 수 있다.
사용자 입력 정보가 수신되는 경우(1419-Y), 동작 1421에서, 서버(40)는 조리 기기의 동작을 제어하는 제어 명령을 조리 기기로 전송하거나 또는 조리 기기의 동작을 제어하기 위한 가이드 정보를 냉장고(10)에게 전송할 수 있다.
도 15는, 본 개시의 다양한 실시예에 따른 서버의 흐름도이다.
동작 1501에서, 서버(50)는 주기적으로 또는 이벤트 발생 시에 냉장고에 포함된 음식을 포함하는 이미지 및 복수 개의 조리 기기들에 대한 조리 기기 정보를 수신할 수 있다.
동작 1503에서, 서버(50)는 이미지 및 상기 복수 개의 조리 기기들에 대한 조리 기기 정보를, 인공 지능 알고리즘을 이용하여 조리 기기를 결정하도록 학습된 학습 모델에 적용하여, 복수 개의 조리 기기들 중에서 이미지에 포함된 음식을 조리할 조리 기기 및 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 결정할 수 있다.
동작 1505에서, 서버(50)는 음식 및 음식을 조리할 조리 기기가 매칭된 매칭 정보, 및 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 냉장고(10)에게 전송할 수 있다.
도 16a는 본 개시의 실시예에 따른 전면 카메라 및 디스플레이를 가지는 냉장고를 나타내는 개략적인 사시도이다. 도 16b는 본 개시의 실시예에 따른 모든 도어를 개방한 냉장고를 나타내는 개략적인 정면도이다.
도 16a 및 도 16b를 참조하면, 냉장고(10)는 본체(3010), 저장실(3011, 3012, 3013), 도어(3020, 3030, 3040, 3050) 및 각 도어(3020 내지 3050)를 본체(3010)에 연결하는 힌지(3060)를 포함한다. 복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 콘텐트를 표시하는 디스플레이(또는, 터치 스크린, 3170)가 위치할 수 있다.
복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 카메라(또는, 전면 카메라)가 위치할 수 있다. 전면 카메라(미도시)에 인접(예를 들어, 반경 500 ㎜ 이내)하여 근접 센서부(미도시)가 위치할 수 있다. 또한, 복수의 도어 중 적어도 하나의 도어(예를 들어, 우측 도어(3030) 및 좌측 도어(3020) 중 적어도 하나)에 마이크(미도시)가 위치할 수 있다.
냉장고(10)는 저장실과 도어의 형태에 따라 그 종류가 구분될 수 있다. TMP(top mounted freezer)형 냉장고는 파티션(또는, 격벽)에 의해 상하로 구획되는 저장실의 상측에 형성되는 냉동실 및 저장실의 하측에 형성되는 냉장실을 포함한다. BMF(bottom mounted freezer)형 냉장고는 파티션에 의해 상하로 구획되는 저장실의 상측에 형성되는 냉장실 및 저장실의 하측에 형성되는 냉동실을 포함한다.
SBS(side by side)형 냉장고는 파티션에 의해 좌우로 구획되는 저장실의 일 측에 형성되는 냉동실 및 저장실의 타 측에 형성되는 냉장실을 포함한다. FDR(french door refrigerator)형 냉장고는 파티션에 의해 상하로 구획되는 저장실의 상측에 형성되는 냉장실 및 저장실의 하측에 형성되는 냉동실을 포함하고, 한 쌍의 도어에 의해 상측의 냉장실이 개폐될 수 있다. 또한, FDR형 냉장고는 상측 냉장실 및 하측 냉동실 모두 각각 한 쌍의 도어에 의해 개폐될 수도 있다.
본체(3010)는 저장실(3011 내지 3013)을 형성하는 내부 케이스(inner case, 도시되지 아니함), 냉장고의 외관을 형성하는 외부 케이스(outer case, 도시되지 아니함) 및 내부 케이스와 외부 케이스 사이에서 온도 차이를 유지하는 단열재(insulator, 도시되지 아니함)를 포함한다. 단열재는 저장실(3011 내지 3013) 내부의 냉기에 대한 외부 유출을 방지하고, 외부 온기의 저장실(3011 내지 3013) 내부 유입을 방지할 수 있다.
본체(3010)는 저장실(3011 내지 3013)에 냉기를 공급하는 냉기 공급 유닛을 포함한다. 냉기 공급 유닛은 냉매를 압축하는 압축기(compressor, 3181, 도 2 참조), 응축기(condenser, 도시되지 아니함), 팽창 밸브(expansion value, 도시되지 아니함), 증발기(evaporator, 도시되지 아니함) 및 파이프를 포함할 수 있다.
저장실(3011 내지 3013)은 파티션(3014)으로 구분된다. 저장실(3011 내지 3013)은 아래의 냉동 저장실(3012, 3013, 이하에서는 "냉동실"로 칭함)과 냉동실(3012, 3013)의 위에 있는 냉장 저장실(3011, 이하에서는 "냉장실"로 칭함)로 구분된다. 저장실(3012)은 영상(예를 들어, 7℃ 내지 0℃ 사이) 또는 영하(예를 들어 -1℃ 내지 -5℃ 사이)의 온도로 설정되어 물, 음료(beverage), 식재료, 냉장 또는 냉동 식품을 수납할 수 있다. 물 또는 음료는 음료 용기에 수납될 수 있다.
파티션(3014)으로 구분되는 저장실(3011 내지 3013) 중 냉장실(3011)은 하나 또는 복수의 선반(3015) 및 하나 또는 복수의 저장함(storage box, 3016)을 포함할 수 있다.
냉장실(3011)은 저장실(3011)의 일측(예를 들어, 왼쪽)의 제1 도어(3020) 및 제1 도어(3020)에 인접하고 저장실(3011)의 타측(예를 들어, 오른쪽)에 위치하는 제2 도어(3030)와 결합된다. 제1 도어(3020), 및/또는 제2 도어(3030)는 각각의 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면을 개폐(예를 들어, 결합 또는 분리)할 수 있다. 제1 도어(3020)는 제2 도어(3030)의 회전 방향과 반대로 회전하여 저장실(3011)을 개폐할 수 있다. 제1 도어(3020) 및 제2 도어(3030)는 상호 위치가 변경될 수 있다.
제1 도어(3020)는 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면 일부(예를 들어, 저장실(3011)의 전면의 35 내지 70% 사이)를 개폐한다.
제1 도어(3020)의 전면(예를 들어, + y 축 방향)에 물, 얼음 또는 탄산수(sparkling water)를 제공하는 디스펜서 및/또는 파지 가능한 손잡이(3021)가 위치할 수 있다.
제2 도어(3030)는 힌지(3060)에 의해 설정된 각도(예를 들어 300° 이하)로 회전하여 저장실(3011)의 전면 일부(예를 들어, 저장실(3011)의 전면의 35 내지 70% 사이)를 개폐한다. 제2 도어(3030)은 파지 가능한 손잡이(3031)를 포함할 수 있다. 제1 도어(3020)의 손잡이(3021) 및 제2 도어(3030)의 손잡이(3031)는 저장실(3011)의 중심 영역을 기준으로 좌측 및 우측으로 이격되게 위치한다.
제2 도어(3030)의 전면(예를 들어, + y 축 방향)에 냉장고(10)의 기능 및 저장된 설정을 표시 가능하고, 사용자의 입력(예를 들어, 터치 또는 버튼(미도시)의 선택)을 수신 가능하고, 어플리케이션(또는, 위젯 포함) 화면을 표시(또는, 실행)가능한 디스플레이(또는, 터치 스크린, 3170)가 위치할 수 있다. 버튼은 디스플레이와 포함되거나 또는 디스플레이와 별개일 수 있다. 버튼은 터치 스크린에 표시되는 버튼, 터치 버튼, 또는, 물리 버튼일 수 있다.
야채 칸(3011d1, 3011d2)은 저장실(3011)의 아래에 위치한다. 야채 칸(3011d1, 3011d2)은 전방(예를 들어, y 축 방향)으로 인출(예를 들어, 슬라이딩, 또는 롤링)될 수 있다.
저장실(3012)은 일 측에 도어(3040)를 가질 수 있다. 저장실(3013)은 일 측에 도어(3050)를 가질 수 있다. 저장실(3012, 3013)은 하나의 저장실(예를 들어, 저장실(3011)처럼)로 합쳐질 수 있다. 하나의 저장실은 저장실(3011)처럼 왼쪽 및 오른쪽에 각각 도어를 가질 수 있다. 또한, 냉장고는 서랍을 가질 수 있다.
도 17은, 본 개시의 실시예에 따른 냉장고를 나타내는 개략적인 블럭도이다.
도 17을 참조하면, 냉장고(10)는 통신부(3120)를 이용하여 외부 장치와 기능적으로 연결될 수 있다. 외부 장치는 사용자 단말(20), 플랫폼 서버(40), 인공 지능 서버(50) 또는 조리 기기(30) 중 적어도 하나를 포함할 수 있다.
냉장고(10)는 통신부(3120)을 통해 냉장고의 동작(예를 들어, 각 저장실 온도 조절 등)에 대응되는 동작 정보, 또는, 냉장고(10)의 상태(예를 들어, 정상, 비정상 등)에 대응되는 상태 정보를 외부 장치로 송신하거나 또는 외부 장치로부터 제어 정보(예를 들어, 냉장고(10)의 급속 냉동에 대응되는 제어 명령 등)를 수신할 수 있다.
냉장고(10)는 프로세서(3110), 통신부(3120), 카메라(3150), 센서부(3160), 디스플레이부(3170), 구동부(3180), 메모리(3190) 및 전원 공급부(3195)를 포함할 수 있다.
프로세서(3110)(또는, 제어부)는 하나 또는 복수 개의 프로세서로 구성될 수도 있다. 또한, 프로세서(3110)는 냉장고(10)의 제어를 위한 제어 프로그램이 저장된 롬을 포함하는 비-휘발성 메모리 및 냉장고(10)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 냉장고(10)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램을 포함하는 휘발성 메모리를 포함할 수 있다. 램은 외부에서부터 수신되는 제어 정보, 냉장고(10)의 동작 정보, 또는, 냉장고(10)의 상태 정보에 대한 저장 영역으로 사용될 수 있다.
프로세서(3110)는 냉장고(10)의 전반적인 동작 및 냉장고(10)의 내부 구성 요소들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(3110)는 전원 공급부(3195)를 이용하여 내부 구성 요소들에게 공급되는 전원을 제어한다.
프로세서(3110)는 통신부(3120), 카메라(3150), 센서부(3160), 디스플레이부(3170), 구동부(3180), 메모리(3190) 및 전원 공급부(3195)를 제어할 수 있다.
본 개시의 실시예에서, 상기 프로세서(3110)는 카메라에 의해 촬영된 음식을 포함하는 음식 이미지를 메모리(3190)에 저장할 수 있다. 또한, 프로세서(3110)는 상기 음식 이미지에 대응되는 음식 이름을 상기 디스플레이(3170)에 표시하도록 제어할 수 있다.
본 개시의 다른 실시예에서, 상기 프로세서(3110)는 상기 음식 이미지에 대응되는 음식 이름을 상기 디스플레이(3170)에 표시하도록 제어할 수 있다.
본 개시의 실시예에서 '냉장고의 프로세서'라는 용어는 프로세서(3110), 롬(미도시) 및 램(미도시)을 포함하는 의미일 수 있다. 또한, '냉장고의 프로세서'는 프로세서(3110)를 의미할 수도 있다.
통신부(3120)는 프로세서(3110)의 제어에 의해 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망, 무선랜 통신망, 또는, 근거리 통신망을 통해 외부 장치와 연결할 수 있다. 무선랜 통신은 프로세서(3110)의 제어에 의해 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 예를 들어, 와이-파이(Wi-Fi) 통신을 포함할 수 있다. 근거리 통신은 블루투스(bluetooth) 통신, 블루투스 저 에너지(bluetooth low energy) 통신, 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband) 통신, 마그네틱 보안 전송(MST) 통신 및/또는 NFC 통신 등을 포함할 수 있다. 본 개시의 다양한 실시예에서 '통신부'라는 용어는 이동 통신, 무선랜 통신 및/또는 근거리 통신을 통해 외부 장치와 연결할 수 있다.
카메라(3150)는 프로세서(3110)의 제어에 의해 정지 이미지 또는 동영상을 촬영할 수 있다. 카메라(3150)는 음식의 등록 및/또는 음식의 관리를 위해 정지 이미지 또는 동영상을 촬영할 수 있다. 카메라(3150)는 프로세서(3110)의 제어에 의해 사용자의 홍채(iris)를 촬영할 수 있다. 카메라(3150)는 냉장고(10)의 전면에 위치하는 전면 카메라 및 냉장고(10)의 내부에 위치하는 내부 카메라를 포함한다. 또한, 전면 카메라의 일 측에 사용자의 홍채를 촬영하는 홍채 촬영 카메라가 위치할 수도 있다.
전면 카메라는 냉장고(10)의 도어 전면(또는, 표면)을 기준으로 전방(예를 들어, + y 축 방향)으로 설정 각도(예를 들어 85° 이하)로 기울어질 수 있다. 상술된 설정 각도는 75° 이하이고, 35° 이상일 수 있다. 또한, 상술된 설정 각도는 65° 이하이고, 15° 이상일 수 있다.
전면 카메라 및 실내 카메라 중 하나는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시)을 포함할 수 있다. 또한, 냉장고(10)의 전면에 홍채 촬영에 필요한 보조 광원(예를 들어, 홍채 인식용 LED, 도시되지 아니함)이 위치할 수 있다.
전면 카메라는 하나 또는 복수일 수 있다. 실내 카메라는 저장실의 넓이에 따라 저장실(3011 내지 3013)을 대면하는 도어(3020 내지 3050)의 배면에 하나 또는 복수 개 위치할 수 있다. 예를 들어, 실내 카메라는 저장실(3011)에 대면하는 도어(3020, 3030)의 배면에 하나 또는 복수 개 위치할 수 있다. 실내 카메라는 저장실(3012)에 대면하는 도어(3040)의 배면에 하나 또는 복수 개 위치할 수 있다. 또한, 실내 카메라는 저장실(3013)에 대면하는 도어(3050)의 배면에 하나 또는 복수 개 위치할 수 있다.
프로세서(3110)는 전면 카메라 및 실내 카메라 중 하나를 통해 촬영된 이미지를 메모리(3190)에 저장하도록 제어할 수 있다.
센서부(3160)는 하나 또는 복수의 센서를 통해 냉장고(10)의 주위 상태(예를 들어, 조도 등) 및/또는 냉장고(10)의 내부 상태(예를 들어, 저장실 온도 등)를 검출할 수 있다.
센서부(3160)는 사용자의 냉장고(10)에 대한 접근 여부를 검출하는 근접 센서부, 냉장고(10)의 저장실(예를 들어, 냉동실, 냉장실, 채소 칸 등)의 온도를 검출하는 하나 또는 복수의 온도 센서부 중 적어도 하나를 포함할 수 있다. 또한, 디스플레이부(3170)의 밝기 변경에 대응되는 냉장고(10) 주변의 빛의 양을 검출하는 조도 센서부를 포함할 수 있다. 센서부(3160) 중 근접 센서부 및 조도 센서부 중 하나는 냉장고(10)의 도어 전면에 위치할 수 있다. 또한, 온도 센서부는 저장실에 대응하여 실내에 위치할 수 있다.
센서부(3160)에 포함되는 센서 종류는 냉장고(10)의 성능에 따라 추가, 변경, 또는, 삭제될 수 있다는 것은 해당 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 수 있다.
디스플레이부(3170)은 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 콘텐트 보기, 또는, 모바일 결제를 포함하는 전자 결제 등)에 대응되는 GUI(graphical user interface)를 제공(또는, 표시)할 수 있다. 본 개시의 실시예에서 디스플레이부(3170)는 터치 스크린을 포함하는 의미일 수 있다.
터치 스크린은 디스플레이 패널 및 터치 패널(172)이 일체형(예를 들어, 인-셀(in-cell) 방식 터치 스크린, 또는 온-셀(on-cell) 방식 터치 스크린)으로 구현될 수 있다.
터치 스크린은 사용자 입력을 수신하는 에지 터치 패널 및 화면 표시를 위한 에지 디스플레이 패널을 포함할 수 있다. 에지 터치 패널 및 에지 디스플레이 패널도 상술된 일체형으로 구현될 수 있다.
터치 스크린은 홈 화면 또는 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 터치 스크린 컨트롤러로 각각 전송할 수 있다. 터치 스크린은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 펜(예를 들어, 스타일러스, 도시되지 아니함)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다.
본 개시의 실시예에 따른 터치 스크린은 결정된 음식의 저장실 내 저장 위치 표시에 대응되는 시각 피드백을 출력할 수 있다.
구동부(3180)는 프로세서(3110)의 제어에 따라 동작하는 압축기(3181), 팬(3182), 필터(3183) 및 히터(3184) 중 적어도 하나를 포함할 수 있다. 구동부(3180)는 조명(또는, 냄새 탈취기를 더 포함할 수 있다.
압축기(3181)는 프로세서(3110)의 제어에 의해 냉동 사이클의 작동 유체인 냉매를 압축한다. 냉동 사이클은 압축기(3181)에 의해 압축된 기체 상태의 냉매를 액체 상태의 냉매로 변환하는 응축기, 액체 상태의 냉매를 감압하는 팽창기 및 감압된 액체 상태의 냉매를 기화시키는 증발기를 포함한다. 프로세서(3110)는 액체 상태인 냉매의 기화를 통해 저장실에 온도를 제어할 수 있다. 또한, 냉장고(10)는 펠티어 효과(peltier effect)를 이용하는 펠티어 소자, 자기 열 효과(magnetocaloric effect)를 이용하는 자기 냉각 장치를 통해 저장실의 온도를 제어할 수도 있다.
팬(3182)은 프로세서(3110)의 제어에 의해 외부 공기를 순환시킬 수 있다. 냉각 사이클에 의해 뜨거워진 공기는 외부 공기를 통해 열 교환되어 냉각될 수 있다.
공기 청정부(3183)는 프로세서(3110)의 제어에 의해 저장실 내 부유하거나 또는, 부착된 세균을 살균(또는, 제거)할 수 있다. 공기 청정부(3183)는 이온 살균 청정부를 포함할 수 있다.
히터(3184)는 프로세서(3110)의 제어에 의해 발생되는 서리를 제거한다. 히터(3184)는 제상 히터를 포함할 수 있다.
메모리(또는, 저장부)(3190)는 프로세서(3110)의 제어에 의해 구성 요소의 동작에 대응되게 입/출력되는 신호 또는 데이터(예를 들어, 음식 관리(또는, 음식 인식)에 대응되는)를 저장할 수 있다. 메모리(190)는 냉장고(10) 또는 프로세서(3110)의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션(예를 들어, 음식 관리 어플리케이션, 또는, 음식 인식 어플리케이션 등)과 관련된 GUI(graphical user interface), GUI에 대응되는 이미지들, 사용자 정보, 문서, 데이터 베이스들 또는 관련 데이터들을 저장할 수 있다.
메모리(190)는 카메라(3150)에서 촬영된 음식 이미지(또는, 동영상)를 저장할 수 있다. 음식 이미지는 디스플레이(3170)에 표시되는 하나 또는 복수의 이미지 및 메모리(3190)에 저장되는 하나 또는 복수의 이미지에 대응되는 이진 파일(binary file)을 포함하는 의미일 수 있다. 또한, 메모리(3190)는 촬영된 음식 이미지(또는, 동영상)의 비교에 대응되는 다양한 종류의 비교 음식 이미지를 저장할 수 있다. 다양한 종류의 비교 음식 이미지는 음식 종류별로 많은(예를 들어, 수십 장 내지 수백 장) 음식 이미지를 포함할 수 있다. 촬영된 음식 이미지(또는, 동영상)가 당근인 경우, 비교 음식 이미지는 다양한 당근 모양, 크기, 컬러, 세쳑 상태, 또는, 포장 여부 등의 당근 이미지 등을 포함할 수 있다.
메모리(3190)는 촬영된 음식 이미지를 인식(또는, 구분)하기 위해 음식 인식에 대응되는 다양한 훈련 데이터(training data)를 저장할 수 있다. 예를 들어, 당근을 인식하기 위해 다양한 당근 모양, 크기, 컬러, 세쳑 상태, 또는, 포장 여부 등의 당근 이미지가 훈련 데이터로 메모리(3190)에 저장될 수 있다. 과일 뿐만 아니라, 야채, 육류, 어류 등 사용자가 먹거나 마시거나 조리 가능한 음식에 대응되는 훈련 데이터가 메모리(3190)에 저장될 수 있다. 또한, 메모리(3190)는 촬영된 음식 이미지를 인식하는 학습 모델을 저장할 수 있다.
메모리(3190)는 카메라(3150)에서 촬영된 음식 이미지(또는, 동영상), 촬영된 음식 이미지에서 식별될 음식을 머신 러닝(machine learning)을 통해 구분하는 음식 인식 어플리케이션(또는, 음식 인식 알고리즘을 이용하는 별도 어플리케이션)을 저장할 수 있다. 메모리(3190)는 음식 인식 어플리케이션의 전부, 외부 장치(예를 들어, 서버 또는 휴대 장치)에 음식 인식 어플리케이션의 일부 및 메모리(3190)에 음식 인식 어플리케이션의 일부가 각각 저장될 수 있다. 또한, 음식 인식에 대응되는 훈련 데이터는 메모리(3190)에 일부, 또는, 외부 장치(예를 들어, 서버 또는 휴대 장치)에 일부 저장될 수도 있다. 프로세서(3110)는 음식 인식 어플리케이션을 이용하여 카메라(3150)에서 촬영된 음식 이미지에서 음식을 인식(또는, 구분)할 수 있다.
본 개시의 실시예로, 메모리(3190)는, 프로세서(3110)가, 저장실에 보관 중인 음식을 촬영하도록 카메라(3150)를 제어하고, 촬영된 음식을 포함하는 이미지를 사용자 단말(20)에게 전송하도록 통신부(3120)를 제어하고, 이미지의 전송에 기반하여, 이미지에 포함된 음식과 조리 기기가 매칭된 매칭 정보가 수신됨에 따라, 매칭 정보에 기반하여 음식을 조리 기기로 이동시키도록 가이드하는 사용자 인터페이스를 표시하도록 디스플레이부(3170)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 다른 실시예로, 메모리(3190)는, 프로세서(3110)가, 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스를 표시하도록 디스플레이부(3170)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 다른 실시예로, 메모리(3190)는, 프로세서(3110)가, 조리 기기의 동작을 제어하는 제어 명령을 상기 조리 기기에게 전송하도록 통신부(3120)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 다른 실시예로, 메모리(3190)는, 프로세서(3110)가, 가이드에 기반하여 음식이 냉장고(10)로부터 인출됨에 따라, 음식이 이동된 것을 알리는 알림 정보를 사용자 단말(20)에게 전송하도록 통신부(3120)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 다른 실시예로, 메모리(3190)는, 프로세서(3110)가, 촬영된 음식과 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 표시하도록 디스플레이부(3170)를 제어하고, 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시하도록 디스플레이부(3170)를 제어하고, 설정된 동작에 따라, 매칭된 조리 기기의 동작을 제어하거나 또는 매칭된 조리 기기의 동작을 제어하기 위한 가이드 정보를 제공할 시간을 설정하는 제3 사용자 인터페이스를 표시하도록 디스플레이부(3170)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 다른 실시예로, 메모리(3190)는, 프로세서(3110)가, 설정된 시간이 되면, 조리 기기의 동작을 제어하는 제어 명령을 조리 기기로 전송하도록 통신부(3120)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 다른 실시예로, 메모리(3190)는, 프로세서(3110)가, 설정된 시간이 되면, 상기 조리 기기의 동작을 제어하도록 가이드하는 사용자 인터페이스를 표시하도록 디스플레이부(3170)를 제어하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
본 개시의 실시예에서 '메모리'라는 용어는 프로세서(3110) 내 롬, 램 또는 냉장고(10)의 슬롯(slot, 도시되지 아니함)에 장착 가능한 메모리 카드(예를 들어, micro SD 카드 등, 도시되지 아니함)를 포함한다. 메모리(3190)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(3195)는 프로세서(3110)의 제어에 의해 냉장고(10)의 구성 요소에게 전원을 공급할 수 있다. 전원 공급부(3195)는 프로세서(3110)의 제어에 의해 전원 코드를 통해 외부의 전원 소스에서부터 입력되는 전원을 냉장고(10)의 각 구성 요소들에게 공급할 수 있다.
전술한 냉장고(10)의 구성 요소들은 냉장고(10)의 성능에 대응하여 적어도 하나의 구성 요소가 추가, 삭제, 또는, 변경될 수 있다는 것은 해당 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 수 있다.
도 18은, 다양한 실시예들에 따른, 네트워크 환경(4100) 내의 사용자 단말(20)의 블럭도이다. 도 18을 참조하면, 네트워크 환경(4100)에서 사용자 단말(20)는 제 1 네트워크(4198)(예: 근거리 무선 통신)를 통하여 외부 장치(4102)와 통신하거나, 또는 제 2 네트워크(4199)(예: 원거리 무선 통신)를 통하여 외부 장치(4104) 또는 서버(4108)와 통신할 수 있다. 외부 장치(4102,4104)는, 예로, 본 개시의 냉장고(10) 또는 조리 기기가 될 수 있다. 서버(4108)는, 예로, 본 개시의 플랫폼 서버(40) 또는 인공 지능 서버(50)가 될 수 있다.
일 실시예에 따르면, 사용자 단말(20)는 서버(4108)를 통하여 전자 장치(4104)와 통신할 수 있다. 일 실시예에 따르면, 사용자 단말(20)는 프로세서(4120), 메모리(4130), 입력 장치(4150), 음향 출력 장치(4155), 디스플레이부(4160), 오디오 모듈(4170), 센서 모듈(4176), 인터페이스(4177), 카메라 모듈(4180), 전력 관리 모듈(4188), 배터리(4189), 통신부(4190), 가입자 식별 모듈(4196), 및 안테나 모듈(4197)을 포함할 수 있다. 어떤 실시예에서는, 사용자 단말(20)에는, 이 구성요소들 중 적어도 하나(예: 디스플레이부(4160) 또는 카메라 모듈(4180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 디스플레이부(4160)(예: 디스플레이)에 임베디드된 센서 모듈(4176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(4120)는, 예를 들면, 소프트웨어(예: 프로그램(4140))를 구동하여 프로세서(4120)에 연결된 사용자 단말(20)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(4120)는 다른 구성요소(예: 센서 모듈(4176) 또는 통신부(4190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(4132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(4134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(4120)는 메인 프로세서(4121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(4121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(4123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(4123)는 메인 프로세서(4121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(4123)는, 예를 들면, 메인 프로세서(4121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(4121)를 대신하여, 또는 메인 프로세서(4121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(4121)와 함께, 사용자 단말(20)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이부(4160), 센서 모듈(4176), 또는 통신부(4190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(4123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(4180) 또는 통신부(4190))의 일부 구성 요소로서 구현될 수 있다.
메모리(4130)는, 사용자 단말(20)의 적어도 하나의 구성요소(예: 프로세서(4120) 또는 센서모듈(4176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(4140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(4130)는, 휘발성 메모리(4132) 또는 비휘발성 메모리(4134)를 포함할 수 있다.
프로그램(4140)은 메모리(4130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(4142), 미들 웨어(4144) 또는 어플리케이션(4146)을 포함할 수 있다.
본 개시의 실시예로, 메모리(4130)는 프로세서(4120)가, 냉장고에 보관 중인 음식을 포함하는 이미지가 통신부(4190)를 통하여 수신됨에 따라, 음식과 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스를 표시하도록 디스플레이부(4160)를 제어하고, 제1 사용자 인터페이스를 이용하여 음식과 조리 기기를 매칭하는 사용자 입력에 따라, 음식과 상기 조리 기기가 서로 매칭된 매칭 정보를 생성하고, 매치된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스를 표시하도록 디스플레이부(4160)를 제어하고, 제2 사용자 인터페이스를 이용하여 음식과 상기 조리 기기를 매칭하는 사용자 입력에 따라, 조리 기기의 동작을 제어하는 기능 및 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를 수행하도록 설정된 적어도 하나의 명령어들을 저장할 수 있다.
입력 장치(4150)는, 사용자 단말(20)의 구성요소(예: 프로세서(4120))에 사용될 명령 또는 데이터를 사용자 단말(20)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(4155)는 음향 신호를 사용자 단말(20)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
디스플레이부(4160)는 사용자 단말(20)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이부(4160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(4170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(4170)은, 입력 장치(4150)를 통해 소리를 획득하거나, 음향 출력 장치(4155), 또는 사용자 단말(20)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 외부 장치(4102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(4176)은 사용자 단말(20)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(4176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(4177)는 외부 전자 장치(예: 외부 장치(4102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(4177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(4178)는 사용자 단말(20)와 외부 전자 장치(예: 외부 장치(4102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
카메라 모듈(4180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(4180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(4188)은 사용자 단말(20)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(4189)는 사용자 단말(20)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신부(4190)은 사용자 단말(20)와 외부 전자 장치(예: 외부 장치(4102), 외부 장치(4104), 또는 서버(4108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(4190)은 프로세서(4120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신부(4190)은 무선 통신 모듈(4192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(4194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(4198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(4199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신부(4190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시예에 따르면, 무선 통신 모듈(4192)은 가입자 식별 모듈(4196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 사용자 단말(20)를 구별 및 인증할 수 있다.
안테나 모듈(4197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신부(4190)(예: 무선 통신 모듈(4192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(4199)에 연결된 서버(4108)를 통해서 사용자 단말(20)와 외부 장치(4104)간에 송신 또는 수신될 수 있다. 외부 장치(4102, 4104) 각각은 사용자 단말(20)와 동일한 또는 다른 종류의 장치일 수 있다. 외부 장치(4102,4104)는, 예로, 본 개시의 냉장고(10) 또는 조리 기기가 될 수 있다. 서버(4108)는, 예로, 본 개시의 플랫폼 서버(40) 또는 인공 지능 서버(50)가 될 수 있다.
일 실시예에 따르면, 사용자 단말(20)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일 실시예에 따르면, 사용자 단말(20)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 사용자 단말(20)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 사용자 단말(20)로 전달할 수 있다. 사용자 단말(20)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 개시에 개시된 다양한 실시예들에 따른 사용자 단말(20)은 다양한 형태의 장치가 될 수 있다. 사용자 단말(20)은, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 개시를 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 개시에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 개시에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 냉장고(10), 사용자 단말(20), 조리 기기(30), 플랫폼 서버(40) 및 인공 지능 서버(50)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM)) 또는 유/무선 네트워크를 통하여 전송 가능한 프로그램을 포함할 수 있다. 예로, 컴퓨터 프로그램 제품은 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다. 본 개시의 기기(예로, 냉장고(10), 사용자 단말(20), 조리 기기(30), 플랫폼 서버(40) 또는 인공 지능 서버(50))은 어플리케이션 스토어를 통하여 컴퓨터 프로그램 제품을 다운로드 받아 설치하고, 다운로드된 컴퓨터 프로그램 제품을 이용하여 전술한 본 개시의 다양한 실시예를 수행할 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 음식을 포함하는 이미지가 수신됨에 따라, 상기 음식과 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스가 표시되도록 제어하는 동작;
    상기 제1 사용자 인터페이스를 이용하여 상기 음식과 상기 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 상기 조리 기기가 서로 매칭된 매칭 정보가 생성되도록 제어하는 동작;
    상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스가 표시되도록 제어하는 동작; 및
    상기 제2 사용자 인터페이스를 이용하여 상기 조리 기기의 동작을 설정하는 사용자 입력에 따라, 상기 조리 기기의 동작을 제어하는 기능 및 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나가 수행되도록 제어하는 동작을 포함하는,
    사용자 단말의 기능 수행 방법.
  2. 제1항에 있어서,
    상기 조리 기기의 동작을 제어하는 기능은,
    상기 조리 기기의 동작을 제어하는 제어 명령이 상기 조리 기기에게 전송되도록 제어하는 동작을 포함하는,
    사용자 단말의 기능 수행 방법.
  3. 제1항에 있어서,
    상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능은,
    상기 가이드 정보가, 상기 조리 기기 또는 상기 음식을 보관하는 냉장고에게 전송되도록 제어하는 동작을 포함하는,
    사용자 단말의 기능 수행 방법.
  4. 제1항에 있어서,
    상기 음식을 포함하는 이미지는,
    상기 음식을 보관한 냉장고 또는 상기 음식을 보관한 저장소에서 촬영된 이미지인,
    사용자 단말의 기능 수행 방법.
  5. 제1항에 있어서,
    상기 방법은,
    상기 생성된 매칭 정보가 냉장고에게 전송되도록 제어하는 동작을 더 포함하고,
    상기 제2 사용자 인터페이스가 표시되도록 제어하는 동작은,
    상기 매칭 정보의 전송에 기반하여, 상기 음식이 이동된 것을 알리는 알림 정보가 상기 음식을 보관한 냉장고 또는 상기 조리 기기로부터 수신됨에 따라, 상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스가 표시되도록 제어하는 동작을 포함하는,
    사용자 단말의 기능 수행 방법.
  6. 제5항에 있어서,
    상기 방법은,
    상기 알림 정보가 수신됨에 따라, 상기 음식이 이동된 것을 알리는 알림 메시지가 표시되도록 제어하는 동작을 더 포함하는,
    사용자 단말의 기능 수행 방법.
  7. 제1항에 있어서,
    상기 방법은,
    복수의 조리 기기들 중에서 상기 음식과 매칭 가능한 적어도 하나의 조리 기기를 결정하는 동작을 더 포함하고,
    상기 제1 사용자 인터페이스가 표시되도록 제어하는 동작은,
    상기 음식과 상기 결정된 적어도 하나의 조리 기기를 포함하는 상기 제1 사용자 인터페이스가 표시되도록 제어하는 동작을 포함하는,
    사용자 단말의 기능 수행 방법.
  8. 제1항에 있어서,
    상기 제1 사용자 인터페이스가 표시되도록 제어하는 동작은,
    복수 개의 음식들과 복수 개의 조리 기기들을 매칭할 수 있는 사용자 인터페이스가 표시되도록 제어하는 동작; 및
    매칭된 상기 복수 개의 음식과 상기 복수 개의 조리 기기들 각각의 조리 순서를 변경할 수 있는 사용자 인터페이스가 표시되도록 제어하는 동작을 포함하는,
    사용자 단말의 기능 수행 방법.
  9. 음식을 포함하는 이미지를 요청하는 요청 명령이 사용자 단말로부터 수신됨에 따라, 상기 요청 명령을 상기 사용자 단말에 대응되는 냉장고에게 전송하는 데이터 송신부;
    상기 요청 명령의 전송에 기반하여, 상기 음식을 포함하는 이미지를 상기 냉장고로부터 수신하는 데이터 수신부; 및
    상기 음식 및 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스 관련 정보를 생성하는 데이터 처리부를 포함하되,
    상기 데이터 처리부는,
    상기 데이터 송신부를 통해 상기 생성된 제1 사용자 인터페이스 관련 정보를 상기 사용자 단말에게 전송하고
    상기 제1 사용자 인터페이스 관련 정보에 기반하여 상기 음식과 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 상기 조리 기기가 서로 매칭된 매칭 정보를 생성하고,
    상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스 관련 정보를 생성하고,
    상기 데이터 송신부를 통해 상기 생성된 제2 사용자 인터페이스 관련 정보를 상기 사용자 단말에게 전송하고,
    상기 제2 사용자 인터페이스 관련 정보에 기반하여 상기 조리 기기의 동작을 설정하는 사용자 입력에 따라, 상기 조리 기기의 동작을 제어하는 제어 명령을 상기 조리 기기에게 전송하거나 또는 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 상기 냉장고에게 전송하는,
    서버.
  10. 제9항에 있어서,
    상기 데이터 처리부는,
    상기 음식이 상기 조리 기기로 이동된 것을 알리는 알림 정보가 수신됨에 따라, 상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 상기 제2 사용자 인터페이스 관련 정보를 생성하는,
    서버.
  11. 음식을 포함하는 이미지가 수신됨에 따라, 상기 음식과 상기 음식을 조리할 조리 기기를 매칭할 수 있는 제1 사용자 인터페이스가 표시되도록 제어하는 동작;
    상기 제1 사용자 인터페이스를 이용하여 상기 음식과 상기 조리 기기를 매칭하는 사용자 입력에 따라, 상기 음식과 상기 조리 기기가 서로 매칭된 매칭 정보가 생성되도록 제어하는 동작;
    상기 음식과 매칭된 조리 기기의 동작을 설정할 수 있는 제2 사용자 인터페이스가 표시되도록 제어하는 동작; 및
    상기 제2 사용자 인터페이스를 이용하여 상기 조리 기기의 동작을 설정하는 사용자 입력에 따라, 상기 조리 기기의 동작을 제어하는 기능 및 상기 조리 기기의 동작을 제어하기 위한 가이드 정보를 전송하는 기능 중 적어도 하나를, 컴퓨터의 프로세서가 수행하도록 설정된 적어도 하나의 명령어를 포함하는 상기 컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품.
  12. 디스플레이부;
    음식을 보관하는 저장실;
    상기 저장실의 온도를 감지하는 온도 감지부;
    상기 저장실로 냉기를 공급하는 냉각부;
    상기 저장실에 보관된 음식을 촬영하는 카메라;
    사용자 단말과 통신 가능한 통신부;
    상기 디스플레이부, 상기 온도 감지부, 상기 냉각부, 상기 냉각부 및 상기 통신부와 전기적으로 연결된 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 전기적으로 연결된 메모리를 포함하되,
    상기 메모리는, 상기 프로세서가,
    상기 저장실에 보관 중인 음식을 촬영하도록 상기 카메라를 제어하고,
    상기 촬영된 음식을 포함하는 이미지를 사용자 단말에게 전송하도록 상기 통신부를 제어하고,
    상기 이미지의 전송에 기반하여, 상기 이미지에 포함된 음식과 조리 기기가 매칭된 매칭 정보가 수신됨에 따라, 상기 수신된 매칭 정보에 기반하여 상기 음식을 상기 음식과 매칭된 조리 기기로 이동시키도록 가이드하는 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하도록 설정된 적어도 하나의 명령어들을 저장하는,
    냉장고.
  13. 제12항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 음식과 매칭된 조리 기기의 동작을 사용자에게 가이드하는 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하도록 설정된 적어도 하나의 명령어들을 저장하는,
    냉장고.
  14. 제12항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 음식과 매칭된 조리 기기의 동작을 제어하는 제어 명령을 상기 조리 기기에게 전송하도록 상기 통신부를 제어하도록 설정된 적어도 하나의 명령어들을 저장하는,
    냉장고.
  15. 제12항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 가이드에 기반하여 상기 음식이 상기 냉장고로부터 인출됨에 따라, 상기 음식이 이동된 것을 알리는 알림 정보를 상기 사용자 단말에게 전송하도록 상기 통신부를 제어하도록 설정된 적어도 하나의 명령어들을 저장하는,
    냉장고.
PCT/KR2018/005179 2018-04-13 2018-05-04 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법 WO2019198865A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18914821.6A EP3748570A4 (en) 2018-04-13 2018-05-04 REFRIGERATOR AND METHOD FOR DISPLAYING A USER INTERFACE ON THE REFRIGERATOR, USER END DEVICE AND METHOD FOR EXECUTING A FUNCTION IN A USER END DEVICE
US17/046,935 US11954626B2 (en) 2018-04-13 2018-05-04 Refrigerator and method for displaying user interface on refrigerator, user terminal, and method for performing function in user terminal
CN201880092241.XA CN112005268B (zh) 2018-04-13 2018-05-04 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0043575 2018-04-13
KR1020180043575A KR102619663B1 (ko) 2018-04-13 2018-04-13 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법

Publications (1)

Publication Number Publication Date
WO2019198865A1 true WO2019198865A1 (ko) 2019-10-17

Family

ID=68164403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005179 WO2019198865A1 (ko) 2018-04-13 2018-05-04 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법

Country Status (5)

Country Link
US (1) US11954626B2 (ko)
EP (1) EP3748570A4 (ko)
KR (1) KR102619663B1 (ko)
CN (1) CN112005268B (ko)
WO (1) WO2019198865A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
CN112629113B (zh) * 2020-12-24 2021-11-05 珠海格力电器股份有限公司 冰箱
CN112629148A (zh) * 2020-12-29 2021-04-09 西安邮电大学 一种冰箱食物储存时长监测系统
CN116671069A (zh) 2021-04-12 2023-08-29 三星电子株式会社 家用电器及其控制方法
KR20220141121A (ko) * 2021-04-12 2022-10-19 삼성전자주식회사 가전 기기 및 그 제어 방법
CN113378637B (zh) * 2021-05-11 2022-05-17 宁波方太厨具有限公司 基于用户烹饪动作预测的厨电设备控制方法
US11800068B1 (en) * 2022-04-07 2023-10-24 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for conserving energy at the same
CN116222137A (zh) * 2022-12-20 2023-06-06 珠海格力电器股份有限公司 冰箱内食物解冻方法、模组、电子设备及可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150048529A (ko) * 2013-10-28 2015-05-07 엘지전자 주식회사 이동 단말기의 레시피 정보 생성방법
US20160381742A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Technologies for controlling cooking appliances using shared cooking recipes
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법
JP2017533481A (ja) * 2015-08-18 2017-11-09 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． 情報生成方法、情報生成装置、コンピュータプログラム及びコンピュータ読み取り可能な記憶媒体
KR101830660B1 (ko) * 2016-01-29 2018-02-21 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200164614Y1 (ko) * 1999-07-28 2000-02-15 박지헌 가정용 컴퓨터와 통신하여 저장중인 음식 재료의 종류를 파악하여 조리 가능한 음식물 종류 및 조리 방법을 제공하는 기능을 가지며, 냉장고의 상태를 파악하고, 냉장고 저장물 및 생활용품 목록을 원거리에 위치한 사용자에게 전송할 수 있는기능을 가진 컴퓨터와 결합된 냉장고 시스템
KR20010054983A (ko) * 1999-12-08 2001-07-02 김수희 메뉴와 요리방법을 알려주는 냉장고
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2002236798A (ja) 2001-02-13 2002-08-23 Matsushita Refrig Co Ltd 冷蔵庫の食品管理装置及び食品管理方法
JP2002243335A (ja) 2001-02-21 2002-08-28 Toshiba Corp 食品保存庫、ホームネットワーク装置、携帯情報端末、食品情報提供サーバ、献立情報提供サーバ及び保存庫内収納情報提供サーバ
JP2003004367A (ja) 2001-06-21 2003-01-08 Nisshin Seifun Group Inc 冷蔵庫用食品賞味期限管理装置
KR100677269B1 (ko) 2005-03-15 2007-02-02 엘지전자 주식회사 카메라가 구비된 냉장고
KR20070005808A (ko) 2005-07-06 2007-01-10 삼성전자주식회사 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법
KR20070078939A (ko) 2006-01-31 2007-08-03 박성미 주방 관리 장치 및 이를 이용한 식품 관리 방법
CN101126571A (zh) * 2006-08-17 2008-02-20 泰州乐金电子冷机有限公司 提供烹饪信息的电冰箱
KR20080037129A (ko) * 2006-10-25 2008-04-30 주식회사 케이티 인터넷을 이용한 요리추천 방법 및 그 시스템
KR20110007663A (ko) 2009-07-17 2011-01-25 (주)브이아이지 리더기를 이용한 엘시디에 의한 냉장고 내용물 확인 장치
KR101717520B1 (ko) * 2010-02-25 2017-03-17 엘지전자 주식회사 단말기 및 그 제어 방법
KR101779418B1 (ko) * 2010-02-25 2017-09-18 엘지전자 주식회사 단말기 및 그 제어 방법
KR20140133337A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 음식의 조리 정보를 제공하는 시스템 및 방법
WO2015029334A1 (ja) * 2013-08-28 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、プログラム、端末装置及び情報提供システムにおける情報提供方法
WO2015029333A1 (ja) * 2013-08-28 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、プログラム、端末装置及び情報提供システムにおける情報提供方法
KR20150124155A (ko) * 2014-04-28 2015-11-05 삼성전자주식회사 냉장고 및 그 제어방법
KR20160000931A (ko) 2014-06-25 2016-01-06 (주)한국크레딕라이프 냉장고에 보관되는 식품을 사물인터넷(IoT)을 통해 관리하는 시스템 및 이에 관한 냉장고
CN105630844A (zh) * 2014-11-18 2016-06-01 博西华家用电器有限公司 基于图片提供烹饪方案的系统及其方法
KR102223627B1 (ko) * 2015-09-03 2021-03-05 삼성전자주식회사 냉장고
KR20170076992A (ko) * 2015-12-26 2017-07-05 삼성전자주식회사 냉장고
KR101798616B1 (ko) 2016-02-03 2017-11-16 주식회사 원더풀플랫폼 레시피 제공 방법 및 이를 실행하는 서버
WO2017135742A1 (ko) 2016-02-03 2017-08-10 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법, 식재료를 이용한 레시피 제공 방법 및 이를 실행하는 서버, 식재료를 이용한 창작 레시피 생성방법
CN106773859B (zh) * 2016-12-28 2019-08-23 九阳股份有限公司 一种智能烹饪控制方法
CN106931700B (zh) * 2017-03-08 2019-12-13 合肥美的智能科技有限公司 推荐菜谱及推荐烹饪的方法、系统及冰箱
KR102327848B1 (ko) 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
TWM549892U (zh) * 2017-06-23 2017-10-01 National Chin-Yi Univ Of Technology 料理資訊平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150048529A (ko) * 2013-10-28 2015-05-07 엘지전자 주식회사 이동 단말기의 레시피 정보 생성방법
US20160381742A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Technologies for controlling cooking appliances using shared cooking recipes
JP2017533481A (ja) * 2015-08-18 2017-11-09 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． 情報生成方法、情報生成装置、コンピュータプログラム及びコンピュータ読み取り可能な記憶媒体
KR101830660B1 (ko) * 2016-01-29 2018-02-21 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3748570A4 *

Also Published As

Publication number Publication date
EP3748570A4 (en) 2021-03-03
KR20190119966A (ko) 2019-10-23
US20210048242A1 (en) 2021-02-18
KR102619663B1 (ko) 2023-12-29
CN112005268A (zh) 2020-11-27
CN112005268B (zh) 2024-03-19
US11954626B2 (en) 2024-04-09
EP3748570A1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
WO2019198865A1 (ko) 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
WO2018212493A1 (en) Refrigerator and method of food management thereof
WO2019240432A1 (en) Refrigerator, server and method of controlling thereof
WO2020060380A1 (en) Refrigerator and method of controlling thereof
WO2020060090A1 (en) Method and system for providing information related to state of object in refrigerator
WO2018182217A1 (en) Method for adaptive authentication and electronic device supporting the same
WO2018182357A1 (en) Data learning server and method for generating and using learning model thereof
WO2017090947A1 (en) Question and answer processing method and electronic device for supporting the same
WO2017082543A1 (en) Electronic device and method for controlling the same
WO2017078366A1 (ko) 복수의 디스플레이들을 포함하는 전자 장치 및 그 동작 방법
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
EP3411634A1 (en) Data learning server and method for generating and using learning model thereof
WO2014092451A1 (en) Information search method and device and computer readable recording medium thereof
WO2020085665A1 (en) Method and system for providing information about objects in refrigerator
WO2018084576A1 (en) Electronic device and controlling method thereof
WO2016122158A1 (en) Image processing method and electronic device for supporting the same
WO2019146942A1 (ko) 전자 장치 및 그의 제어방법
WO2015167283A1 (en) Method, electronic device, and storage medium for providing service
WO2021085930A1 (ko) 전자 장치 및 그 제어 방법
WO2019004659A1 (en) DISPLAY CONTROL METHOD AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2017095082A1 (ko) 오디오 제공 방법 및 그 장치
WO2017196013A1 (en) Electronic device and method for providing content
WO2020141809A1 (ko) 가전 기기 및 그 제어 방법
WO2020141788A1 (en) Home appliance and control method thereof
WO2019135670A2 (ko) 냉장고 및 냉장고의 물품 관리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18914821

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018914821

Country of ref document: EP

Effective date: 20200901

NENP Non-entry into the national phase

Ref country code: DE