WO2023149592A1 - 인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템 - Google Patents

인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템 Download PDF

Info

Publication number
WO2023149592A1
WO2023149592A1 PCT/KR2022/001862 KR2022001862W WO2023149592A1 WO 2023149592 A1 WO2023149592 A1 WO 2023149592A1 KR 2022001862 W KR2022001862 W KR 2022001862W WO 2023149592 A1 WO2023149592 A1 WO 2023149592A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
food
cooking
recipe
artificial intelligence
Prior art date
Application number
PCT/KR2022/001862
Other languages
English (en)
French (fr)
Inventor
김은숙
최호영
권태정
강태구
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/001862 priority Critical patent/WO2023149592A1/ko
Publication of WO2023149592A1 publication Critical patent/WO2023149592A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]

Definitions

  • the present invention relates to a smart home cooking system using an artificial intelligence device.
  • AI artificial intelligence
  • These smart home systems include not only home appliances such as TVs, air conditioners or refrigerators, but also energy consuming devices such as water, electricity, air conditioning and heating, and security devices such as door locks and surveillance cameras (CCTV). It can refer to a technology that monitors and controls a device by connecting it to a communication network.
  • the artificial intelligence device can increase the user's convenience by learning the user's situation and the user's taste and providing a result according to the user's situation and request according to the learned result.
  • An object of the present invention is to solve the above problems and other problems, and to provide a smart home cooking system that can more smoothly support a user's food cooking by applying the smart home system to food cooking. The purpose.
  • the present invention recommends foods that the user may prefer based on the user's taste or current situation according to the learning result, and cooks the smart home cooking according to the recipe and the recipe so that the user can cook the recommended food.
  • An object of the present invention is to provide an artificial intelligence device of the smart home cooking system capable of controlling at least one cooking appliance connected through the system and a control method of the artificial intelligence device.
  • a smart home cooking system identifies at least one cooking appliance configured to cook ingredients and a user's voice command, and It is formed to control the cooking appliance to cook ingredients according to the identified voice command, learns the user's preferred food and the user's preferred food type according to the user's food cooking history, and upon the user's request, the learned Based on the result, an artificial intelligence device for detecting at least one food recipe according to the user's preferred food or the user's preferred type among a plurality of pre-stored recipes and providing the detected at least one food recipe to the user as a recommended food recipe. It is characterized by including.
  • the artificial intelligence device learns the user's preferred food by detecting at least one food cooked at a predetermined frequency or more according to the user's food cooking history, and the food cooked at a predetermined frequency or more. Characterized in that the user learns the type of food preferred by the user based on the type and ingredients of the food.
  • the smart home cooking system further includes a storage device for storing the ingredients, and the artificial intelligence device communicates with the storage device and ingredients received from the storage device through a communication connection. It is characterized in that at least one of the plurality of recipes is detected by further reflecting the information and the detected at least one recipe is provided to the user as the recommended food recipe.
  • the ingredient information includes information on the remaining amount of ingredients included in the storage device, and the artificial intelligence device, based on the remaining amount information of the ingredients, among the foods corresponding to the plurality of recipes. It is characterized in that cookable foods are extracted and a recipe of at least one of the extracted foods is provided to the user as the recommended food recipe.
  • the artificial intelligence device extracts the cookable food based on the food material when the food material is stored in the storage device in a predetermined amount or more, and the predetermined amount is based on the user's food cooking history. Characterized in that it is determined according to the learned food amount.
  • the storage device further includes a sensor for detecting a ripening state or freshness of the food material, and the artificial intelligence device transmits food ingredient information including the ripening state or freshness of the food material according to a detection result of the sensor. It is characterized by transmitting to.
  • the artificial intelligence device sets differently the use priority corresponding to the aging state or freshness of the food ingredient included in the food ingredient information according to the type of stored food ingredient, and based on the use priority It is characterized in that at least one of a plurality of recipes is detected and the detected at least one recipe is provided as the recommended food recipe.
  • the artificial intelligence device when the remaining amount information of the food material is less than a preset minimum stock amount, notifies notification information notifying the user that the remaining amount of the food ingredient is insufficient, and when there is a user's selection, the amount of the food ingredient It is characterized by proceeding with a purchase process for purchase.
  • the artificial intelligence device calculates the average consumption amount according to the frequency of use of the food material for a preset period of time, and calculates the minimum stockpile amount by adding a preset margin value to the calculated average consumption amount.
  • the artificial intelligence device detects the user's preferred food ingredient according to the frequency of use among the food ingredients stored in the storage device, and compares the remaining amount with the minimum stock amount only for the detected preferred food ingredient. It is characterized by determining whether there is a shortage through.
  • the artificial intelligence device may include a communication unit that performs a communication connection with the at least one cooking appliance, the plurality of recipes stored in a reproducible form, and user preferences learned according to the user's food cooking history.
  • a memory for storing customizing data including food and the user's preferred food type and control information for controlling the cooking appliance; an input unit including a microphone for receiving a user's voice command; and one selected from among the plurality of recipes.
  • an artificial intelligence unit Based on a display unit that outputs one recipe, an artificial intelligence unit that learns the user's preferred food and the user's preferred food type according to the user's food cooking history, and the user's customizing data identified through the voice command.
  • control the display unit to reproduce the retrieved recipe, and transmit a control signal according to the reproduction state of the recipe to the cooking device so that food is cooked according to the reproduction state of the recipe
  • control the display unit to reproduce the retrieved recipe, and transmit a control signal according to the reproduction state of the recipe to the cooking device so that food is cooked according to the reproduction state of the recipe
  • the controller temporarily pauses the reproduction of the recipe when a process requiring direct cooking by the user is reproduced while the recipe is being reproduced, and cooks the food until the user's direct cooking is completed. It is characterized in that the heating power level at which the cooking appliance heats the food is lowered so that the cooking standby temperature according to the state is maintained.
  • the cooking standby temperature is a temperature lower than a predetermined level or higher than the temperature at which the food is cooked, and the level of heat lowered for the cooking standby temperature increases as the temperature at which the food is cooked increases. to be characterized.
  • control unit detects a user's request for reproduction of additional content related to the user's direct cooking when a process requiring the user's direct cooking is reproduced while the recipe is being reproduced.
  • additional content is reproduced on at least a part of the display unit while maintaining a paused state.
  • control unit displays a graphic object corresponding to the additional content on one area of the display unit when playback of the recipe is paused, and the user's input to the graphic object is If it is authorized, it is characterized in that it is determined that there is a user's request for reproduction of the additional content.
  • control unit determines whether a process requiring direct cooking by the user has been completed through a conversation interaction with the user, and if the process requiring direct cooking by the user has been completed, The paused recipe may be subsequently reproduced and the heating power level of the cooking appliance controlled according to the cooking standby temperature may be restored.
  • the recipe is characterized in that video content or slide-type content in which images showing cooking contents for each cooking process are sequentially output one by one whenever a time specified in each image elapses.
  • the communication unit further includes an Internet module that performs a communication connection with a preset external server, and the control unit searches for a recipe according to a user's request from the external server, and the retrieved recipe, It is characterized in that it is added to a plurality of pre-stored recipes.
  • a control method of an artificial intelligence device of a smart home cooking system including at least one cooking appliance according to an embodiment of the present invention is stored in a form capable of being reproduced.
  • Searching for a recipe according to a user's request from among a plurality of recipes, and connecting communication with any one cooking device capable of cooking food according to the retrieved recipe among at least one cooking device included in the smart home cooking system The step of reproducing the searched recipe, the step of controlling the communication-connected cooking appliance so that food is cooked according to the reproduction state of the recipe, and the process of requiring direct cooking by the user while reproducing the recipe.
  • Whether or not a process requiring direct cooking is completed is characterized in that it is determined through a conversation interaction with a user.
  • the recipe according to the user's request is a recipe for at least one food determined based on the user's preferred food learned according to the user's food cooking history and the user's preferred food type. .
  • a smart home cooking system including an artificial intelligence device and a control method of the artificial intelligence device according to the present invention will be described as follows.
  • the artificial intelligence device of the smart home cooking system provides a recipe related to food selected by a user as video content, and the selected food is displayed according to a playback state of the video content. It allows the cooking appliance to be cooked to be controlled. Therefore, there is an effect that the selected food can be cooked simply by dropping cooking ingredients according to a recipe provided as a video without the user needing to directly control the cooking device.
  • the artificial intelligence device of the smart home cooking system recommends suitable food according to the result of learning the user's taste or the user's current situation or the state of the food material, and provides a recipe for the recommended food.
  • the user can more easily cook food suitable for the user's taste or the user's situation.
  • FIG. 1 is an exemplary view showing an example of a smart home cooking system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the structure of an artificial intelligence device of a smart home cooking system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operation process in which the artificial intelligence device shown in FIG. 2 supports cooking of food according to a user's request.
  • FIG. 4 is an exemplary diagram illustrating an example of controlling the progress of a cooking procedure according to a user's direct cooking progress state when entering a user cooking procedure among the operation processes of FIG. 3 .
  • FIG. 5 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention provides a recipe for a specific food according to a result of analyzing a user's request.
  • FIG. 6 is a flowchart illustrating an operation process of recommending at least one food to a user according to a result of learning the user's taste among the operation processes of FIG. 5 .
  • FIG. 7 is a flowchart illustrating an operation process of recommending at least one food according to the freshness of stored ingredients to a user among the operation processes of FIG. 5 .
  • FIG. 8 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention provides related content related to a specific cooking process during cooking.
  • FIG. 9 is an exemplary diagram illustrating an example in which related content related to a specific cooking process is provided during cooking according to the operation process of FIG. 8 .
  • FIG. 10 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention controls a grain dispenser so that grains are discharged and called based on a result learned from a user.
  • FIG. 11 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention proceeds to purchase food ingredients with insufficient remaining amount based on the detected storage amount of food ingredients.
  • FIG. 1 is an exemplary view showing an example of a smart home cooking system according to an embodiment of the present invention.
  • the smart home cooking system includes an artificial intelligence device 10 and a plurality of electric devices 11, 12, 13, 14, 15).
  • the plurality of electronic devices may be devices for cooking food.
  • the plurality of electronic devices may be devices capable of cooking food by heating food ingredients, such as an induction stove 12 or an oven 13 .
  • the plurality of electronic devices may be devices related to preparing ingredients for cooking food (rice), such as the grain dispenser 11 .
  • the device for directly cooking the food and the device related to discharging the ingredients for cooking the food will be referred to as a device related to cooking food, that is, a cooking device.
  • some of the plurality of electronic devices may be storage devices for storing food ingredients.
  • the storage device may be a refrigerator 14 or other food storage unit 15 .
  • the food storage 15 is a device for storing food ingredients by freezing or refrigerating, and may be a kimchi refrigerator for storing kimchi or a meat fresher for storing meat or fish.
  • the artificial intelligence device 10 may be connected to at least one cooking appliance and at least one storage appliance.
  • the artificial intelligence device 10 may be connected to the plurality of cooking devices or storage devices through a preset communication method.
  • the artificial intelligence device 10 may be wirelessly connected to the plurality of cooking appliances or storage appliances using preset short-range communication.
  • the artificial intelligence device 10 may perform wireless communication with a preset external server through a network, receive data from a preset external server, or perform a search through a connected network.
  • the artificial intelligence device 10 may include an artificial intelligence unit that processes information through artificial intelligence technology.
  • the artificial intelligence unit may include a natural language processing (NLP) component for processing a natural language in order to process information requested from a user.
  • NLP natural language processing
  • voice information collected from the speaker is understood and analyzed through the NLP component, and information requested by the speaker as voice according to the analysis result may be determined based on pre-stored information. Accordingly, the artificial intelligence unit may receive the user's voice command and identify the user's request included in the received voice command.
  • the artificial intelligence unit may perform learning based on information sensed from the user, such as surrounding environment information or user voice information, and may process the identified user's request based on the performed learning. In this case, when there are a plurality of users, the artificial intelligence unit may classify and identify each user. To this end, the artificial intelligence device 10 may have a camera, and through the camera, it is possible to identify a speaker who uttered a voice command. Alternatively, the artificial intelligence unit 180 may analyze characteristics of a received voice and identify a speaker based on the analyzed voice characteristics (eg, tone, intonation, pronunciation, etc.). In addition, various information related to the recognized user request from the identified speaker may be learned as 'personalized data' related to the user, that is, customizing data.
  • information sensed from the user such as surrounding environment information or user voice information
  • the 'personalized data' learned by the artificial intelligence device 10 is a series of requests related to requests received from the user, such as the identified speaker's preferred food taste and specific food preference time. may contain all of the data.
  • the artificial intelligence unit 180 may learn the user's preferred taste of food based on the learning result of the cooked food according to the user's request. Also, based on the time at which the user's request for cooking the specific food is received, information about the time the user prefers the specific food may be learned. In addition, based on the amount of food according to the user's request, information about the amount of food preferred by the user may be learned. And this learning data may be stored as personalized data corresponding to the identified speaker.
  • the artificial intelligence device 10 may store various control information for controlling at least one connected device. Accordingly, the artificial intelligence device 10 may determine an operation of at least one of the connected devices based on a result of information processing by the artificial intelligence unit 180, and the determined operation is performed based on control information corresponding to the determined operation. The at least one connected device may be controlled to be executed.
  • FIG. 2 is a block diagram showing the structure of the artificial intelligence device 10 of the smart home cooking system according to an embodiment of the present invention.
  • the artificial intelligence device 10 includes a communication unit 110, an input unit 120, an output unit 160, a memory 170, a control unit 100, and an artificial intelligence unit. (180).
  • the components shown in FIG. 2 are not essential to implement the artificial intelligence device 10, so the artificial intelligence device 10 described in this specification includes more or fewer components than the components listed above. can have
  • the communication unit 110 is one or more modules that enable wireless communication between the artificial intelligence device 10 and a plurality of other electronic devices or between the artificial intelligence device 10 and an external server. can include Also, the communication unit 110 may include one or more modules that connect the artificial intelligence device 10 to one or more networks.
  • the communication unit 110 may include at least one of a wireless internet module 111 and a short distance communication module 112 .
  • the wireless Internet module 111 refers to a module for wireless Internet access, and may be built into or external to the artificial intelligence device 10.
  • the wireless Internet module 111 is configured to transmit and receive radio signals in a communication network according to wireless Internet technologies.
  • Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc., and the wireless Internet module ( 111) transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above.
  • the short-range communication module 112 is for short-range communication, and includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Short-range communication may be supported using at least one of near field communication (NFC), wireless-fidelity (Wi-Fi), Wi-Fi Direct, and wireless universal serial bus (USB) technologies.
  • the short-range communication module 112 may support wireless communication between the artificial intelligence device 10 and a wireless communication system and between the artificial intelligence device 10 and other devices through wireless area networks.
  • the input unit 120 may include a microphone 121 for inputting an audio signal and a user input unit 122 having various keys for receiving information from a user. Voice data collected by the input unit 120 or key data input through the user input unit 122 may be analyzed and processed as a user's control command.
  • the output unit 160 is for generating an output related to sight, hearing, or touch, and may include at least one of a display unit 161 and a sound output unit 162.
  • the display unit 161 may display (output) information processed by the artificial intelligence device 10 .
  • the display unit 161 may display execution screen information of an application program driven by the artificial intelligence device 10 or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information.
  • UI User Interface
  • GUI Graphic User Interface
  • the display unit 161 may have a mutual layer structure or integrally formed with the touch sensor, thereby realizing a touch screen.
  • a touch screen may function as a user input unit 121 providing an input interface between the artificial intelligence device 10 and the user and provide an output interface between the artificial intelligence device 10 and the user.
  • the audio output unit 162 may output various audio data received from the communication unit 110 or stored in the memory 170 .
  • the sound output unit 162 also outputs sound signals related to functions performed by the artificial intelligence device 10 (eg, video recipe play, recipe guide).
  • the sound output unit 162 may include a receiver, a speaker, a buzzer, and the like.
  • the memory 170 may temporarily store data supporting various functions of the artificial intelligence device 10 and input/output data.
  • the memory 170 includes a plurality of application programs (application programs or applications) running in the artificial intelligence device 10, data for the operation of the artificial intelligence device 10, instructions, and the artificial intelligence unit 180. It may store data for the operation of (eg, at least one algorithm information for machine learning, etc.).
  • control information capable of driving other connected electronic devices and controlling functions executed in the other connected electronic devices may be stored.
  • At least some of these application programs, control information, and data may be downloaded from an external server through wireless communication.
  • at least some of these application programs may exist on the artificial intelligence device 10 from the factory for basic functions of the artificial intelligence device 10.
  • the application program may be stored in the memory 170, installed on the artificial intelligence device 10, and driven by the control unit 100 to perform the operation (or function) of the artificial intelligence device 10. there is.
  • the memory 170 may store recipe information related to a plurality of foods.
  • the recipe information may be video content including visual information and auditory information about the cooking process of the corresponding food.
  • the recipe information is classified and stored according to preset classification criteria such as corresponding food types (stew, soup, stir-fry, etc.) or food ingredients (beef, pork, fish, etc.) to form a database (recipe database 171) can do.
  • the recipe database 171 may be provided in the memory 170 from the time the artificial intelligence device 10 is shipped, and may be formed to further include recipe information received from an external server connected through a network.
  • the memory 170 may store data received from other electronic devices connected to the artificial intelligence device 10 .
  • the memory 170 may store data related to ingredients provided from the connected storage device.
  • ingredient data may be stored in a preset area of the memory 170, and may include information on the freshness of ingredients detected by each storage device and the remaining amount of each ingredient.
  • a region on the memory 170 in which information related to the food ingredient is stored will be referred to as a food ingredient information storage unit 172 .
  • the artificial intelligence unit 180 may store a series of information related to the identified user's request as personalized data, which is learning data for learning about the identified speaker. It has been mentioned that there are Accordingly, the memory 170 may store personalized data, that is, customizing data, in a preset area (customizing information storage unit 173).
  • the artificial intelligence device 10 can be connected to electronic devices including a plurality of cooking appliances and storage devices, and can control the plurality of connected electronic devices.
  • the artificial intelligence device 10 may identify other connected electronic devices, and control information capable of controlling the identified electronic devices from the identified electronic devices or a preset external server. can receive them.
  • the received control information may be stored in one area of the preset memory 170 .
  • control information related to some electronic devices may already be stored in the memory 170 at the time the artificial intelligence unit 180 is shipped.
  • a region of the memory 170 in which control information for controlling the plurality of different electronic devices is stored will be referred to as a control information storage unit 174 .
  • the artificial intelligence unit 180 serves to process information based on artificial intelligence technology, and includes one or more modules that perform at least one of information learning, information reasoning, information perception, and natural language processing. can include
  • the artificial intelligence unit 180 uses machine running technology to obtain a vast amount of information, such as information stored in the memory 170, environment information around the artificial intelligence device 10, and information stored in an external storage capable of communication. (Big data, big data) can perform at least one of learning, reasoning, and processing. And the artificial intelligence unit 180 predicts (or infers) the function of at least one executable artificial intelligence device 10 using the information learned using the machine learning technology, and the at least one predicted function Among them, the artificial intelligence device 10 may be controlled so that the most feasible function is executed.
  • Big data big data
  • the artificial intelligence unit 180 predicts (or infers) the function of at least one executable artificial intelligence device 10 using the information learned using the machine learning technology, and the at least one predicted function Among them, the artificial intelligence device 10 may be controlled so that the most feasible function is executed.
  • machine learning technology is a technology that collects and learns large-scale information based on at least one algorithm, and determines and predicts information based on the learned information.
  • Learning of information is an operation of identifying characteristics, rules, criteria, etc. of information, quantifying the relationship between information and predicting new data using quantified patterns.
  • the algorithms used by these machine learning technologies can be algorithms based on statistics, for example, decision trees that use the tree structure as a predictive model, artificial algorithms that mimic the structure and function of neural networks in living things.
  • Neural networks genetic programming based on biological evolution algorithms, clustering that distributes observed examples into subsets called clusters, Monte Carlo that calculates function values as probabilities through randomly extracted random numbers method (Monter carlo method) and the like.
  • deep learning technology is a technology that performs at least one of learning, judgment, and processing of information using an artificial neural network algorithm.
  • An artificial neural network may have a structure that connects layers and transmits data between layers.
  • This deep learning technology can learn a vast amount of information through an artificial neural network using a graphic processing unit (GPU) optimized for parallel computation.
  • GPU graphic processing unit
  • the artificial intelligence unit 180 collects (sensing) signals, data, information, etc. input or output from components of the artificial intelligence device 10 in order to collect a vast amount of information for applying machine learning technology. , monitoring, extraction, detection, reception).
  • the artificial intelligence unit 180 may collect (sensing, monitoring, extracting, detecting, and receiving) data and information stored in an external storage (eg, cloud server) connected through communication. More specifically, information collection may be understood as a term including an operation of sensing information through a sensor, extracting information stored in the memory 160, or receiving information from an external storage through communication.
  • the artificial intelligence unit 180 may recognize a user request identified from the user's voice through the input unit 120 .
  • the artificial intelligence unit 180 may receive wireless signals and wireless data through the communication unit 110 .
  • the artificial intelligence unit 180 collects a vast amount of information in real time in the background, learns it, and processes the information in an appropriate form (eg, knowledge graph, command policy, personalized database, conversation engine, etc.) into memory. (170).
  • the artificial intelligence unit 180 transmits a control command for controlling the components of the artificial intelligence device 10 or executing a predicted operation to the control unit 100 based on information learned using machine learning technology.
  • the control unit 100 controls the communication unit 110 of the artificial intelligence device 10 based on the control command, so that at least one connected cooking appliance is related to cooking according to the result of recognizing the user's request according to the learned result. You can control the execution of the action.
  • the artificial intelligence unit 180 analyzes history information related to the specific action or request through machine learning technology, and updates the previously learned information based on this analysis information can be performed. Accordingly, the artificial intelligence unit 180 may improve the accuracy of information prediction.
  • the artificial intelligence unit 180 and the control unit 100 may be understood as the same component.
  • the functions performed by the control unit 100 described in this specification can be expressed as being performed by the artificial intelligence unit 180, and the control unit 100 is named the artificial intelligence unit 180 or, conversely, the artificial intelligence unit 180.
  • the intelligence unit 180 may also be referred to as the control unit 100.
  • the artificial intelligence unit 180 and the control unit 100 may be understood as separate components.
  • the artificial intelligence unit 180 and the control unit 100 may perform various controls on the artificial intelligence device 10 through data exchange with each other.
  • the control unit 100 may perform at least one function on the artificial intelligence device 10 or control at least one of the components of the artificial intelligence device 10 based on the result derived from the artificial intelligence unit 180. there is.
  • the artificial intelligence unit 180 may also operate under the control of the control unit 100 .
  • control unit 100 controls general operations of the artificial intelligence device 10 in addition to operations related to the artificial intelligence unit 180 .
  • the control unit 100 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 170.
  • controller 100 may control at least some of the components described in FIG. 2 in order to drive an application program stored in the memory 170 .
  • control unit 100 may combine and operate at least two or more of the components included in the artificial intelligence device 10 to drive the application program.
  • FIG. 3 is a flowchart illustrating an operation process in which the artificial intelligence device shown in FIG. 2 supports cooking of food according to a user's request.
  • the control unit 100 of the artificial intelligence device 10 identifies the received voice command through natural language processing (NLP),
  • NLP natural language processing
  • the user's request may be identified through a dialog method through the natural language processing.
  • a recipe for the determined food may be searched (S400).
  • the controller 100 may search for a recipe of the food included in the identified voice command.
  • the control unit 100 determines the food requested by the user based on the user's pre-learned data identified through the voice command, that is, the customizing data, and determines the food requested by the user. You can search for food recipes.
  • step S400 if the recipe of food requested by the user through the voice command is not included in the recipe database 171, the controller 100 may search for the recipe of the food requested by the user through the network.
  • the controller 100 may access a preset external server, and may search for a food recipe requested by the user through the external server. And the searched recipe can be added to the recipe database 171.
  • the controller 100 may detect a cooking appliance for cooking food according to the user's request based on the recipe searched in step S400.
  • a communication connection with the detected cooking appliance may be performed (S302).
  • the controller 100 may determine whether the food corresponding to the retrieved recipe is cooked in an oven or induction based on the retrieved recipe. In this case, the controller 100 may determine the cooking appliance based on the type of food or information on the cooking appliance included in the recipe. Alternatively, the cooking appliance may be determined based on a processing result of the artificial intelligence unit 180 analyzing the retrieved recipe.
  • the controller 100 may select which cooking appliance to use to cook food from the user. Alternatively, the controller 100 may select one of the cooking appliances based on the operating states of the plurality of cooking appliances. For example, as a result of performing a communication connection to all of the plurality of cooking appliances, the control unit 100 selects one of the cooking appliances that can be connected by communication when communication is connected to only one of the cooking appliances (that is, when control of one cooking appliance is not possible). You can choose your device. Alternatively, as a result of communication connection to all of the plurality of cooking appliances, if one cooking appliance is already in operation (ie, cooking another food), another cooking appliance capable of cooking may be selected. In this case, a communication connection may be maintained with the selected cooking appliance.
  • the controller 100 may output the searched recipe (S304).
  • the recipe may be video contents showing a cooking process of a specific food as a video.
  • images showing cooking contents for each process of cooking the specific food may be slide-type content in which images are sequentially outputted one by one whenever a time designated for each image elapses.
  • recipes provided in the form of videos or slides will be referred to as recipe contents.
  • step S304 when the recipe content is reproduced according to the output, the controller 100 controls the cooking device found in step S302 to cook food ingredients according to the cooking process of the recipe content being reproduced. It can (S306).
  • the controller 100 performs a cooking process corresponding to the reproduction state of the recipe contents Accordingly, the induction cooker in which the container is disposed may be driven so that the container is heated.
  • the controller 100 may check whether the cooking appliance is in a state capable of cooking food through a communication connection with the cooking appliance selected in step S302 before controlling the cooking appliance in step S306. For example, in the case of a cooking appliance having a sealed entrance, such as an oven, if the entrance is not sealed, it is possible to determine that the oven is in a state in which cooking is not possible based on information received from the oven, and inform the user that the current cooking appliance is Notification information indicating that cooking is not possible may be output.
  • a sealed entrance such as an oven
  • controller 100 may confirm to the user whether or not to start cooking before controlling the cooking appliance in step S306.
  • the controller 100 may confirm to the user whether or not to start cooking before controlling the cooking appliance in step S306.
  • by controlling the cooking appliance to start cooking when there is a user's confirmation it is possible to prevent a case in which only the cooking appliance is operated before the container is placed or the ingredients and water are dropped.
  • the controller 100 of the artificial intelligence device 10 may control the cooking appliance so that the cooking temperature is automatically adjusted according to the cooking process related to the specific food.
  • direct cooking by the user such as preparing or dropping ingredients added while food is being cooked, may be necessary.
  • the artificial intelligence device 10 of the smart home cooking system when reproducing recipe contents of food according to the user's request, determines whether the user has entered a cooking process requiring direct cooking. It can be done (S308).
  • the recipe contents may be contents in which information of a time corresponding to a user's direct cooking process is previously included. That is, the recipe content may be content including information about a specific time when a user's direct cooking is required (eg, tag information).
  • control unit 100 may determine that the user has entered a process requiring direct cooking when the time specified by the tag information arrives while recipe content is being reproduced.
  • notification information may be output to notify the user that direct cooking by the user is required.
  • the controller 100 may determine whether or not the user has entered a process requiring direct cooking based on the analysis result of the artificial intelligence unit 180 for the reproduced recipe content.
  • the artificial intelligence unit 180 is a voice order requesting a user's operation from voice information of the recipe content being played, for example, a request for dropping a specific material or preparing a material (for example, a request to cut or cut a material). ) is detected, it may be determined that the current cooking process has entered the user cooking process.
  • the artificial intelligence unit 180 may determine that the user cooking process has entered when the output recipe content is about a cooking process different from the cooking process of the cooking appliance. For example, when the cooking appliance is an induction cooker, it may be determined that the current cooking process has entered the user cooking process when heating of the cooking appliance and other cooking processes are output.
  • the artificial intelligence unit 180 may analyze video content or still images (slides) being played, and based on the analyzed result, the process of cutting or trimming materials such as carrots or radishes or the process of dropping materials, It can be determined as a process requiring direct cooking by the user. In this case, the artificial intelligence unit 180 may be in a state in which learning has been performed to recognize images of cutting or cutting various ingredients or images of materials being dropped into containers as a user cooking process different from a cooking process using a cooking appliance. .
  • the controller 100 may control reproduction of recipe contents through user's interactive interaction. To this end, the controller 100 may first temporarily stop reproduction of recipe contents (pause state), and maintain a cooking standby temperature determined according to a current cooking state of food (S310).
  • the cooking standby temperature may be lower than a temperature at which food is currently cooked by a preset level or more. For example, if the temperature at which food is currently cooked is in a state of being cooked with a heat power corresponding to the fifth level, the controller 100 controls the induction to cook the current food at a third level of heat power that is two levels lower than the heat power level at which the food is currently cooked. You can keep cooking. This is to lower the heating temperature so that the current cooking state is maintained as it is during the time required for the user's direct cooking process and to prevent the food being cooked from cooling below a certain temperature.
  • a temperature level lowered for the cooking standby temperature may be determined differently according to a temperature at which food is currently cooked.
  • the lowered temperature level may increase as the cooking temperature increases. That is, if the current cooking temperature is a high temperature above a certain level, the controller 100 can lower the level of heat by 2 levels from the current level so that the food does not burn or the soup is too reduced while the user's direct cooking process is in progress. . On the other hand, if the current cooking temperature is lower than a certain level, the controller 100 may maintain a minimum temperature at which the food does not cool down while the user's direct cooking process is in progress. Therefore, the firepower level can be lowered by only one level from the current firepower level.
  • the cooking standby temperature may be determined through a conversation interaction with the user.
  • the control unit 100 may notify the user of the reduced heat power level to maintain the cooking standby temperature through the sound output unit 162, and maintain the reduced heat power level or change the heat power level through a conversation with the user. can be changed
  • the controller 100 may check whether the user cooking process has been completed (S312). To this end, the controller 100 may inquire whether the user has completed the cooking process through dialogue interaction with the user, and may determine whether or not the user cooking process has been completed according to the user's answer. In addition, if the user cooking process is completed as a result of the check in step S312, the controller 100 may continuously reproduce the recipe contents and control the cooking appliance to restore the cooking temperature according to the current reproduction state of the recipe contents (S314). Therefore, in the case where the cooking appliance is controlled such that the heating power is lowered by 2 levels to maintain the cooking temperature in step S310, the control unit 100 may restore the heating power level again while entering step S312. Accordingly, the heat level may rise again to the fifth level, and the recipe content may then be reproduced.
  • the controller 100 may determine whether cooking of the food searched in step S300 has been completed (S316). For example, the controller 100 may determine that cooking of the food is completed when all of the recipe contents have been reproduced. Alternatively, the controller 100 may determine that the cooking of the food is completed when the completion of cooking is confirmed by the user.
  • step S316 if the cooking of the food is not completed, the control unit 100 proceeds to step S306 again to perform the process of controlling the cooking appliance according to the playback state of the recipe contents again. Then, proceeding to step S308, it may be determined whether or not a user cooking process has been entered. In this case, if it is determined that the user has not entered the cooking process in step S308, the control unit 100 may proceed to step S308 again to control the cooking appliance according to the reproduction state of the recipe contents.
  • the cooking appliance is controlled according to the playback status of the recipe contents, and when the user enters the cooking process during cooking, the process of maintaining the cooking standby temperature until the user's direct cooking is completed, This may be done repeatedly until the cooking of the food is completed.
  • the controller 100 may turn off the power of the cooking appliance (S318).
  • the controller 100 may determine whether or not the power of the cooking appliance can be turned off before turning off the power, and may turn off the power of the cooking appliance according to the determination result.
  • whether or not the power of the cooking appliance can be turned off may be determined through a user's conversational interaction. Therefore, if the user wants additional cooking for the food currently being cooked even though all of the recipe contents have been reproduced, the controller 100 may continue additional cooking by controlling the cooking appliance according to the user's request. When the additional cooking according to the user's request is completed, the controller 100 can turn off the power of the cooking appliance.
  • whether or not the power of the cooking appliance can be turned off may be determined according to a state of the cooking appliance. For example, when a container is disposed inside the cooking appliance, the controller 100 may determine that the cooking appliance cannot be turned off. Then, the controller 100 may request the user to discharge the container, and when the container is discharged, the power of the cooking appliance may be turned off.
  • FIG. 4 is an exemplary diagram illustrating an example of controlling the progress of a cooking procedure according to a user's direct cooking progress state when entering a user cooking procedure among the operation processes of FIG. 3 .
  • FIG. 4(a) illustrates an example in which a portion of recipe contents corresponding to a cooking process requesting a user to drop ingredients through the display unit 161 is reproduced.
  • the controller 100 of the artificial intelligence device 10 may determine that a process of cooking food in the current cooking appliance is a process requiring direct cooking by the user according to the playback state of the recipe contents. For example, as shown in (a) of FIG. 4, when voice information requesting to drop a specific material is output, the controller 100 determines that the user has entered a process requiring direct cooking based on the output voice information. can
  • control unit 100 may temporarily stop reproduction of the recipe content as shown in (b) of FIG. 4 .
  • the heating power level of the cooking appliance may be lowered to maintain the cooking standby temperature, and notification information notifying the user of the lowering of the heating power level may be output.
  • the notification information may be output through the audio output unit 162 of the artificial intelligence device 10 in the form of voice information, as shown in (b) of FIG. 4 .
  • the controller 100 may check whether or not to resume reproduction of the recipe content through a conversation interaction with the user. That is, as shown in (c) of FIG. 4, when the user utters a voice command indicating that the direct cooking process has been completed, the controller 100 receives and analyzes the user's voice command so that the user can directly cook the food directly. It can be recognized that a response indicating completion of the process has been uttered. Accordingly, as shown in (c) of FIG. 4 , the cooking temperature may be restored and the recipe contents output through the display unit 161 may be subsequently reproduced.
  • the artificial intelligence device 10 has been described in which a recipe of a specific food is searched for and reproduced with recipe contents of the searched food according to a user's request.
  • the controller 100 may recommend at least one food to the user based on a learning result for the identified user or the current state of food ingredients.
  • FIG. 5 is a flowchart illustrating an operation process in which the artificial intelligence device 10 according to an embodiment of the present invention provides a recipe for a specific food according to a result of analyzing a user's request.
  • the control unit 100 of the artificial intelligence device 10 when a user's request related to a food recipe is received in step S300 of FIG. 3, the received request , For example, the user's voice command detected through the microphone 121 may be analyzed (eg, natural language analysis) (S500). According to the analysis result, it may be determined whether the detected user's request refers to a specific food (S502).
  • S500 natural language analysis
  • step S500 if the user's request received in step S500 includes the name of a specific food, the controller 100 may determine that the user has requested a recipe related to the specific food. Then, the controller 100 may search for a recipe of the specific food determined to be requested by the user. Then, proceeding to step S302 of FIG. 3, the process after step S302 may be performed.
  • the controller 100 may determine whether the user's request received in step S500 includes information related to a specific point in time.
  • the user's request includes information on a specific point in time, such as 'yesterday' or 'last 11 days'
  • the user's cooking history related to the specific point in time may be searched.
  • a food specified by a user's request may be determined from a cooking history related to the specific time point, and a recipe for the determined food may be searched. Then, proceeding to step S302 of FIG. 3, the process after step S302 may be performed.
  • step S502 if the user's request to cook food does not include information indicating a specific food, such as 'Recommend delicious food!', the controller 100 First, it is possible to perform a communication connection with food storage devices (S504).
  • information related to the stored food material hereinafter referred to as food material information
  • the ingredient information may include a variety of information related to the ingredient, including the remaining amount of the ingredient.
  • the food storage devices connected to the artificial intelligence device 10 in step S504 may be electronic devices having not only a basic function of storing food materials but also various functions specialized for the food materials being stored.
  • the food storage device connectable to the artificial intelligence device 10 may be an electronic device specialized for storing a specific type of food material.
  • the kimchi refrigerator may include a function of detecting the ripening state of the stored kimchi as a function specialized for storing the kimchi.
  • the kimchi refrigerator may include a maturity sensor capable of detecting the ripening state of the stored kimchi, and further include information on the ripening state of the kimchi detected as a result of the detection of the ripeness sensor in addition to information on the remaining amount of kimchi.
  • the meat freshness is a function specialized for storing meat, and may include a function of detecting the freshness of the stored meat.
  • the freshness of the meat may include a freshness sensor capable of detecting the freshness of the stored meat, such as an optical sensor, and information on the freshness of the meat detected as a result of the detection of the freshness sensor may be further provided along with information on the remaining amount of meat. Including ingredient information may be transmitted to the artificial intelligence device 10 in step S506.
  • the artificial intelligence device 10 may generate a list of foods that can be cooked with currently stored foods based on the food ingredient information received in step S506. And, based on the created food list, at least one food may be recommended to the user as a recommended food (S508).
  • the control unit 100 of the artificial intelligence device 10 may detect ingredients stored in the connected ingredient storage device based on the received ingredient information. Based on the recipes of the foods stored in the memory 170, all ingredients corresponding to the main ingredients of each food may be detected as foods stored in the food storage device. That is, the controller 100 may detect foods that can be cooked with the ingredients currently stored in the food storage device based on the ingredients currently stored in the food storage device and the main ingredients of each food according to a recipe. In addition, the list of detected foods may be output on the display unit 161 as a list of recommended foods.
  • the controller 100 may receive a user's selection on the recommended food list output in step S508.
  • a recipe for any one food selected by the user from among the foods included in the recommended food list may be searched (S510).
  • the process after step S300 of FIG. 3 may be performed.
  • the controller 100 may extract at least one food that meets a predetermined condition from the food list generated in step S508 and output it as a recommended food list.
  • the predetermined condition may be a user's preferred food taste learned according to a history of food cooked by the user through the artificial intelligence device 10 .
  • the preset condition may be a state of ingredients currently stored in each ingredient storage device.
  • FIG. 6 is a flowchart illustrating an operation process of recommending at least one food to a user according to a result of learning the user's taste as described above.
  • step S508 of FIG. 5 when step S508 of FIG. 5 is performed, the control unit 100 of the artificial intelligence device 10 according to an embodiment of the present invention first utters a voice command.
  • a user can be identified (S600). And it is possible to search the stored customizing data for the identified user (S602).
  • the customizing data refers to personalized data learned about the currently identified user, and may be data learned such as the type of food preferred by the user and food ingredients.
  • the customizing data is learned according to the history of food cooked by the user through the artificial intelligence device 10, and according to the food the user has cooked and the frequency of cooking the food, the food the user prefers, the user Preferred food types and food ingredients may be the learned data.
  • control unit 100 can learn the food that has been cooked more frequently as the user's preferred food, and learn the preferred food type and food ingredients as the user's preferred food type and food ingredients. can Therefore, the controller 100 can learn not only the user's preferred food, but also the user's preferred food type (eg, soup, stew, stir-fry, etc.) and food ingredients (eg, pork, beef, fish, etc.). . Further, the user's customizing data may include not only the user's preferred food determined according to the learning result, but also the user's preferred food type and food ingredient information.
  • the user's customizing data may include not only the user's preferred food determined according to the learning result, but also the user's preferred food type and food ingredient information.
  • control unit 100 controls not only the user's preferred food identified by the currently received voice command, but also the user's preferred food type, that is, the user's preferred food type and food, based on the customized data retrieved in step S602.
  • the material can be determined (S604).
  • the controller 100 detects currently cookable foods based on the food ingredient information received from each food storage device in step S506 of FIG. It can (S606). In this case, as described above, when all of the cookable foods corresponding to the main ingredients of the food according to the recipe stored in the memory 170 are stored in the food storage device in a certain amount or more, the control unit 100 controls the corresponding recipe. Food corresponding to may be detected as currently cookable food.
  • the predetermined amount may be determined according to the amount of food learned according to the history of food cooked by the user through the artificial intelligence device 10 .
  • the control unit 100 controls the food corresponding to the recipe only when the amount of ingredients corresponding to three servings or more of the ingredients corresponding to the main ingredients of the recipe is stored. Food can be detected as currently cookable food.
  • the learned amount of food information may be information included in the identified user's customizing data.
  • step S606 when a list of foods that can be cooked is detected, the controller 100 recommends at least one food from the list of foods that can be cooked based on the user's preferred food and the user's preferred food type determined in step S604. It can be determined by food (S608).
  • the controller 100 may determine at least one food as a recommended food according to a preset priority among the cookable foods. For example, the control unit 100 may set the user's preferred food as the highest priority, and then set the priority in the order of food type and food ingredient.
  • the controller 100 may first extract a food corresponding to the at least one user's preferred food. Also, the controller 100 may extract at least one food corresponding to a food type preferred by the user based on the type and ingredients of each food included in each recipe of the cookable food.
  • the controller 100 may determine a recommended food from each of the foods extracted according to the user's preferred food and the food extracted according to the user's preferred food type. For example, when the limit number of recommended foods is 4, the controller 100 may determine two foods that the user has a high preference (frequently cooked) among the foods extracted according to the user's preferred foods as the recommended foods. . Also, the controller 100 may determine two foods having a higher priority (eg, food extracted according to the preferred food type) among the foods extracted according to the user's preferred food type as recommended foods.
  • the controller 100 may output foods determined as recommended foods on the display unit 161 (S610). Further, the controller 100 may proceed to step S510 of FIG. 5 to receive a user's selection of any one of the output recommended foods, and may search for a recipe for the selected one of the recommended foods.
  • the controller 100 may provide at least one recommended food to the user based on the state of each food ingredient currently stored in the food storage device.
  • FIG. 7 is a flowchart illustrating an operation process of recommending at least one food to a user according to the freshness of stored ingredients.
  • control unit 100 of the artificial intelligence device 10 may first check the freshness information of the food ingredient based on the received food ingredient information (S700). And based on the extracted freshness, it is possible to determine the priority of using each ingredient (S702).
  • control unit 100 may determine the priority of use based on the freshness of ingredients having a freshness level of at least a certain level. In this case, it may be determined that the food ingredients having a freshness level of less than a certain level are spoiled, and notification information notifying the user that the food ingredients have gone bad may be output.
  • the control unit 100 may set a lower priority for use as the freshness is higher, and set a higher priority for use as the freshness is lower.
  • the controller 100 may detect food that can be cooked with ingredients having a high usage priority based on the usage priority determined for each food ingredient (S704).
  • the control unit 100 controls the corresponding recipe.
  • Food corresponding to may be detected as currently cookable food.
  • the controller 100 may detect, as the cookable food, a food including at least one of the ingredients having the highest use priority and corresponding to the main ingredient of the food according to the recipe.
  • controller 100 may output the foods determined as recommended foods on the display unit 161 (S706). Further, the controller 100 may proceed to step S510 of FIG. 5 to receive a user's selection of any one of the output recommended foods, and may search for a recipe for the selected one of the recommended foods.
  • the use priority is set higher as the freshness of the ingredients is lower, and the use priority is set lower as the freshness is higher. It goes without saying that the use priority may be set lower as the freshness is lower. In this case, the higher the priority of use, the fresher the food, so the food may have the best taste when cooking.
  • control unit 100 may differently set the use priority according to freshness according to the type of food material.
  • the ingredient storage device may set a higher priority for use as the freshness of the ingredient is higher, and may set a lower priority for use as the freshness is lower.
  • ingredients that taste better in a somewhat mature state such as salted fish or kimchi
  • the use priority setting according to the type of food may be set at the time of manufacturing the artificial intelligence device 10 or may be set according to a user's input to the artificial intelligence device 10 .
  • the controller 100 of the artificial intelligence device 10 stores the user's preferred food taste (preferred food or preferred food type) or food ingredients. At least one food determined according to the state may be recommended to the user.
  • the controller 100 may recommend recommended foods according to any one of the user's preferred food taste and the storage state of the food ingredients to the user according to a preset method. For example, the controller 100 provides recommended foods according to any one of the user's preferred food taste and the storage condition of the food ingredients based on the priority of use determined for each food ingredient in step S702 of FIG. 7 . can recommend
  • control unit 100 may determine whether the priority of use having the highest value among the priorities of use determined for each food material in step S702 of FIG. 7 is equal to or greater than a preset value.
  • a preset value recommended foods according to the storage conditions of the ingredients may be recommended to the user, prior to recommended foods according to the user's preferred food taste.
  • recommended foods according to the user's preferred food taste may be provided to the user with priority over recommended foods according to storage conditions of the food material.
  • the artificial intelligence device 10 can control a cooking appliance according to a reproduction state of recipe contents so that food can be cooked.
  • the configuration of temporarily stopping the reproduction of the recipe contents and adjusting the heating power so that the cooking appliance maintains the cooking standby temperature when the user enters a process requiring direct cooking during reproduction of the recipe contents has been described.
  • the artificial intelligence device 10 may further provide additional content related to the user's direct cooking process according to the user's request.
  • the additionally provided content may be provided to the user while playback of the recipe content is temporarily stopped.
  • FIGS. 8 and 9 illustrate an operation process and an example in which related content is additionally provided while recipe content is reproduced.
  • FIG. 8 is a flowchart illustrating an operation process of providing additional content (hereinafter, related content) related to a user's direct cooking process in the artificial intelligence device 10 according to an embodiment of the present invention.
  • the operation process shown in FIG. 8 is performed in a state in which reproduction of recipe content is temporarily stopped and the cooking standby temperature according to the current cooking state is maintained as the user's direct cooking process in FIG. 3 proceeds. It may be an operation process corresponding to step S312 of step 3.
  • step S800 in a state in which reproduction of recipe content is temporarily stopped and the cooking appliance is controlled so that the cooking standby temperature is maintained in step S310 of FIG. It may be checked whether there is a request (S800).
  • the user request may be received through a user's touch input applied to one region of the display unit 161 or a user's voice command.
  • control unit 100 may play related content according to the user's request while the recipe content is temporarily stopped (S802). .
  • the control unit 100 may display a reproduction screen of the related content on at least a part of a screen on which the recipe content is reproduced.
  • the controller 100 may check whether a user cooking process in which the user directly cooks has been completed (S804). For example, the controller 100 may determine that the user cooking process has been completed when a voice command notifying that the user's direct cooking process has been completed or a user's voice command requesting progress to the next process is received from the user.
  • step S804 if the user cooking process is completed, the controller 100 proceeds to step S314 of FIG.
  • the cooking temperature may be restored so that cooking of food can be resumed according to recipe contents.
  • the process after step S314 of FIG. 3 may be continued.
  • step S804 if the user cooking process is not completed, the controller 100 proceeds to step S800 again to check whether a user request for providing related content has been received. And if the user's request requesting the provision of related content is received again, the process proceeds to step S802 and the selected related content can be reproduced and subsequent processes can be performed. However, if the user's request related to the reproduction of related content is not received in step S800, the control unit 100 proceeds to step S804 to check whether the user's cooking process has been completed, and according to the check result, the control unit 100 checks whether the cooking process of FIG. It is possible to proceed to step S314 or proceed to step S800 of FIG. 8 again to determine whether there is a user's request for providing related content.
  • FIG. 9 is an exemplary diagram illustrating an example in which related content related to a specific cooking process is provided during cooking according to the operation process of FIG. 8 .
  • control unit 100 of the artificial intelligence device 10 when a process requiring direct cooking by the user, such as preparing and dropping ingredients, is reproduced while recipe contents are being reproduced, In step S308 of FIG. 3 , it may be determined that the food cooking process has entered the user cooking process. In this case, the control unit 100 may output a message requesting the user's direct cooking to inform the user that the user's own cooking is necessary.
  • the artificial intelligence device 10 controls the cooking appliance so that food is cooked according to the reproduced recipe contents at the same time as the recipe contents are reproduced (eg, control of heat power). Therefore, when entering a process requiring the user's direct cooking, the heat power is controlled to prevent the food being cooked from being heated more than necessary or from being cooled due to the time required for the user's direct cooking. It is possible to maintain the cooking standby temperature determined by the temperature. In addition, during the time required for the user's direct cooking, the controller 100 may maintain the reproduced recipe content in a paused state.
  • the controller 100 may detect a user's request for contents related to the currently requested user's direct cooking process. That is, as shown in (a) of FIG. 9 , while the recipe content is paused, the user can request additional ingredients to be dropped on food, that is, content related to how to trim 'carrot' (see FIG. 8 ). S800 step).
  • the user's request for related content may be requested through a voice command as shown in (a) of FIG. 9 .
  • the user may select reproduction of the related content by selecting the graphic object 900 corresponding to the related content.
  • the graphic object 900 may be displayed on one area of the screen of the display unit 161 where recipe contents are displayed.
  • the graphic object 900 is displayed when a user's direct cooking is required, and can be displayed only when the playback state of the recipe content maintains a paused state as the user's direct cooking process progresses.
  • the controller 100 can reproduce the related content on the display unit 161 in response to the user's request.
  • the related content may be displayed in an area corresponding to at least a part of the reproduction screen of the recipe content in a paused state.
  • control unit 100 may form a second layer that is distinct from a first layer outputting the recipe content, and cover at least a portion of the first layer. 2 layers can be printed. And the related content can be reproduced on the second layer.
  • the controller 100 may receive a voice command requesting progress to the next process from the user. Further, when the user receives a voice command indicating that the user's direct cooking has been completed or a voice command requesting to proceed to the next process, the controller 100 determines that the user's direct cooking process has been completed, and determines that the user's direct cooking process has been completed. Content can be reproduced continuously from the paused point.
  • next process is a process in which direct cooking by the user is not required
  • the controller 100 may resume reproduction of the recipe contents and control the cooking appliance to cook food according to the reproduction state of the recipe contents.
  • next process is also a process that requires direct cooking by the user, as shown in (a) and (b) of FIG. can be played
  • the above description describes a process in which the artificial intelligence device 10 according to an embodiment of the present invention is connected to a cooking appliance such as an induction stove or an oven to cook food according to the playback state of the recipe contents.
  • a cooking appliance such as an induction stove or an oven to cook food according to the playback state of the recipe contents.
  • the present invention is not limited thereto.
  • the artificial intelligence device 10 according to an embodiment of the present invention may be connected to a device that discharges a certain amount of ingredients to cook specific food, such as a grain dispenser.
  • a certain amount of food material according to the identified user's customizing data may be discharged.
  • FIG. 10 is a flow chart showing an operation process in which the artificial intelligence device 10 is connected to the grain dispenser according to an embodiment of the present invention and controls the grain dispenser so that grains are discharged and called according to user-customized data. am.
  • the control unit 100 of the artificial intelligence device 10 identifies the user from the user's request. It can be done (S1000). For example, the control unit 100 controls the user corresponding to the received grain discharge request based on the user's voice corresponding to the user's request or the image of the user uttering a voice command corresponding to the user's request. can identify.
  • control unit 100 may search for customizing data corresponding to the identified user (S1002). Then, by analyzing the user's request (S1004), it is possible to determine whether the user's request includes a set value for grain discharge (S1006).
  • the setting value for the grain discharge is a set value necessary for discharging the grain, which grain to discharge (discharged grain), how much to discharge (total grain discharge amount), and how to discharge (mixing ratio of grains) ) may be information about.
  • control unit 100 may determine that the user has requested discharge of the designated grain when there is a name of a specific grain other than designated rice among the user's request. However, if the name of a specific grain is not included in the user's request, it may be detected whether the user's request includes a specific point in time at which the grain was discharged. In addition, when the user request includes a specific time point at which the grains were discharged, specific grains to be mixed with rice may be determined from the grain discharge history at the specific time point.
  • the grain discharge amount and the grain mixing ratio may also be determined similarly.
  • the control unit 100 determines the grain discharge amount or grain mixing ratio according to the specified amount of rice or grain mixing ratio.
  • the controller 100 may determine the amount of grains discharged or the grain mixing ratio from the grain ejection history at the specific time point (S1010).
  • step S1006 if the received user request does not include a set value (designated value or specific time point) for grain discharge, the control unit 100 determines the It is possible to determine the setting value for grain discharge. That is, if the setting value is not included in the user's request, the control unit 100 determines the type of grain and grain discharge amount preferred by the user and the preferred grain based on the history of grain ejection according to the user's request. Based on the result of the artificial intelligence unit 180 learning the mixing ratio, it is possible to determine a set value for the grain discharge (S1008).
  • step S1008 or step S1010 when the set value for discharging grain (type of grain discharged, amount of grain discharged, and grain mixing ratio) is determined, the control unit 100 determines the grain dispenser so that the grain is discharged according to the set value can control.
  • the grain dispenser may be controlled to wash the discharged grains and call the washed grains according to a predetermined amount of rice water (S1014).
  • Step 10914 may be a process of generating learning data having a preset format from the setting value determined in step S1008 or step S1010. And when the learning data is generated through the process of step S1014, the control unit 100 controls the generated learning so that the artificial intelligence unit 180 can perform learning according to the set value determined in step S1008 or step S1010. Data may be input to the artificial intelligence unit 180 .
  • the artificial intelligence unit 180 performs learning based on the set value determined in step S1008 or step S1010, and updates the customized data of the identified user according to the learning result. It can (S1016).
  • the artificial intelligence device 10 can receive food ingredient information from each connected food ingredient storage device.
  • the ingredient information may include information about the remaining amount of ingredients stored in each ingredient storage device.
  • control unit 100 of the artificial intelligence device 10 may detect an ingredient having insufficient remaining amount based on the remaining amount of the ingredient and request the user whether to purchase the detected ingredient.
  • FIG. 11 is a flowchart illustrating an operation process in which the artificial intelligence device 10 according to an embodiment of the present invention proceeds to purchase food ingredients with insufficient remaining amount based on the detected remaining amount of food ingredients.
  • the control unit 100 of the artificial intelligence device 10 may detect a user's frequency of use of each ingredient when ingredient information is received.
  • the user's preference for each ingredient may be determined based on the frequency of using the detected ingredient (S1100).
  • the food material with a high frequency of use may be a food material highly preferred by the user, that is, a food material preferred by the user.
  • the controller 100 may detect an average consumption amount for a predetermined period of time for ingredients having the determined user preference equal to or higher than a certain level (S1102). That is, with respect to the ingredients frequently used by the user, the control unit 100 determines the frequency of each use of the ingredient for the predetermined period based on the amount of the ingredient used by the user and the frequency at which each ingredient is used during the predetermined period.
  • the average consumption per star can be calculated.
  • control unit 100 may determine the minimum stock amount for each food ingredient based on the average consumption amount of each food material preferred by the user in step S1104 (S1104). In this case, the control unit 100 may determine the average consumption amount as the minimum stockpile amount or determine the minimum stockpile amount for the food ingredient by adding a preset margin amount to the average consumption amount.
  • the preset amount of margin may be determined differently for each ingredient. For example, in the case of ingredients having a large average consumption, the margin amount may have a large value. On the other hand, in the case of ingredients with a low average consumption, the margin amount may have a small value. For example, the preset margin amount may be determined as a multiple of the average consumption amount.
  • the control unit 100 may compare the calculated minimum stockpile amount for each food ingredient with the residual amount of the user's preferred ingredients stored in each food ingredient storage device. (S1106). In addition, it is possible to detect whether there is a remaining amount of food material that is less than the calculated minimum reserve amount among the user's preferred food ingredients stored in the food material storage device. In addition, if there is no user-preferred food ingredient whose remaining amount is less than the minimum stocked amount, the purchase process for the food ingredient may not be performed.
  • the controller 100 may output notification information notifying that there is a food ingredient with insufficient remaining amount (S1108).
  • the notification information may include a query for checking whether the user has purchased food ingredients with insufficient remaining quantity.
  • the controller 100 may proceed with a purchase process of the corresponding grain (grain with insufficient remaining amount) (S1110).
  • the controller 100 may drive a built-in purchase application to proceed with ordering and paying for the corresponding food ingredient (a user's preferred food ingredient having a remaining amount less than the minimum stocked amount) according to a user's voice input.
  • the external terminal may be a user's mobile terminal or computer.
  • step S506 of FIG. 5 the process of FIG. 11 described above may be performed in step S506 of FIG. 5 in which food ingredient information is received from connected food storage devices for food recipe recommendation.
  • the control unit 100 detects cookable foods based on the ingredient information received from each ingredient storage device after proceeding with the purchase process of the user's preferred food ingredient with insufficient remaining amount, and at least one of the detected foods. of foods can be served as recommended foods.
  • the process of FIG. 11 is not limited to step S506 of FIG. 5, but when at least one food storage device is connected to the artificial intelligence device 10 at the request of a user, the amount of food that can be cooked It may be performed as a process separate from the recommendation process (eg, step S506 of FIG. 5 ).
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet). Therefore, the above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 인공지능 디바이스를 이용한 스마트 홈 쿠킹 시스템에 대한 것으로, 식재료를 조리하도록 형성되는 적어도 하나의 조리기기 및, 사용자의 음성 명령을 식별 및 상기 식별된 음성 명령에 따라 식재료를 조리하도록 상기 조리기기를 제어하도록 형성되며, 상기 사용자의 음식 조리 이력에 따라 사용자의 선호 음식과 사용자의 선호 음식 유형을 학습 및, 사용자의 요청이 있는 경우 상기 학습된 결과에 근거하여, 기 저장된 복수의 레시피 중 사용자의 선호 음식 또는 사용자의 선호 유형에 따른 적어도 하나의 음식 레시피를 검출 및 검출된 적어도 하나의 음식 레시피를 사용자에게 추천 음식 레시피로 제공하는 인공지능 디바이스를 포함하는 것을 특징으로 하는 한다.

Description

인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템
본 발명은 인공지능 디바이스를 이용한 스마트 홈 쿠킹 시스템에 대한 것이다.
현재 통신 기술의 발달로 인하여 다양한 기기들간에 서로 통신 연결되는 사물 인터넷(Internet Of Things) 기능이 구현되고 있다. 더욱이 통신 기술의 발달과 더불어 기기 스스로 학습하고 학습에 따른 결과를 제공하는 인공지능(Artificial Intelligence, AI) 기술이 등장하여, 상기 인공지능 기능이 탑재된 디바이스, 즉 인공지능 디바이스를 통해 다양한 가전기기들이 연결되는 스마트 홈(Smart Home) 시스템이 출연하였다.
이러한 스마트 홈 시스템은, TV나 에어컨 또는 냉장고와 같은 가전제품 뿐만 아니라, 수도, 전기, 냉난방 등 에너지 소비 장치와 도어록, 감시 카메라(CCTV)와 같은 보안기기에 이르기까지 다양한 분야의 기기들을 상기 인공지능 디바이스가 통신망으로 연결하여 모니터링 제어하는 기술을 말할 수 있다. 이러한 경우 상기 인공지능 디바이스는 사용자의 상황과 사용자의 취향을 학습하고 학습된 결과에 따라 사용자의 상황 및 요청에 따른 결과를 제공함으로써, 사용자의 편의를 증대시킬 수 있다.
한편 이러한 스마트 홈 시스템을 음식 조리(Cooking)에 적용하여, 사용자의 현재 상황에 따른 음식 또는 사용자의 취향에 따른 음식을 사용자가 보다 편리하게 조리할 수 있도록 사용자를 지원할 수 있는 스마트 홈 쿠킹 시스템에 대한 사회적 니즈(needs)가 발생하고 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 스마트 홈 시스템을 음식 조리(Cooking)에 적용하여 사용자의 음식 조리를 보다 원활하게 지원할 수 있는 스마트 홈 쿠킹 시스템을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 학습 결과에 따른 사용자의 취향 또는 현재 상황에 근거하여 사용자가 선호할만한 음식들을 추천하고, 사용자가 추천된 음식을 조리할 수 있도록 레시피(recipe) 및 상기 레시피에 따라 상기 스마트 홈 쿠킹 시스템을 통해 연결된 적어도 하나의 조리기기를 제어할 수 있는 상기 스마트 홈 쿠킹 시스템의 인공지능 디바이스 및 그 인공지능 디바이스의 제어 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템은, 식재료를 조리하도록 형성되는 적어도 하나의 조리기기 및, 사용자의 음성 명령을 식별 및 상기 식별된 음성 명령에 따라 식재료를 조리하도록 상기 조리기기를 제어하도록 형성되며, 상기 사용자의 음식 조리 이력에 따라 사용자의 선호 음식과 사용자의 선호 음식 유형을 학습 및, 사용자의 요청이 있는 경우 상기 학습된 결과에 근거하여, 기 저장된 복수의 레시피 중 사용자의 선호 음식 또는 사용자의 선호 유형에 따른 적어도 하나의 음식 레시피를 검출 및 검출된 적어도 하나의 음식 레시피를 사용자에게 추천 음식 레시피로 제공하는 인공지능 디바이스를 포함하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스는, 상기 사용자의 음식 조리 이력에 따라 기 설정된 빈도 이상 조리된 적어도 하나의 음식을 검출하여 상기 사용자가 선호하는 음식을 학습 및, 상기 기 설정된 빈도 이상 조리된 음식의 종류 및 재료에 근거하여 사용자가 선호하는 음식 유형을 학습하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 스마트 홈 쿠킹 시스템은, 상기 식재료를 보관하는 보관기기를 더 포함하며, 상기 인공지능 디바이스는, 상기 보관기기와 통신 연결 및, 통신 연결을 통해 상기 보관기기로부터 수신되는 식재료 정보를 더 반영하여 상기 복수의 레시피 중 적어도 하나를 검출 및 검출된 적어도 하나의 레시피를 상기 추천 음식 레시피로 사용자에게 제공하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 식재료 정보는, 상기 보관기기에 포함된 식재료의 잔량 정보를 포함하며, 상기 인공지능 디바이스는, 상기 식재료의 잔량 정보에 근거하여, 상기 복수의 레시피에 대응하는 음식들 중 조리 가능한 음식들을 추출 및, 추출된 음식들 중 적어도 하나의 음식의 레시피를 상기 추천 음식 레시피로 사용자에게 제공하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스는, 상기 식재료가 일정량 이상 상기 보관기기에 보관된 상태인 경우 상기 식재료에 근거하여 상기 조리 가능한 음식을 추출하며, 상기 일정량은, 사용자의 음식 조리 이력에 따라 학습된 음식량에 따라 결정되는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 보관기기는, 상기 식재료의 숙성 상태 또는 신선도를 검출하는 센서를 더 포함하고, 상기 센서의 검출 결과에 따른 식재료의 숙성 상태 또는 신선도를 포함하는 식재료 정보를 상기 인공지능 디바이스로 전송하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 인공지능 디바이스는,보관된 식재료의 종류에 따라, 상기 식재료 정보에 포함된 식재료의 숙성 상태 또는 신선도에 대응하는 사용 우선도를 다르게 설정하며, 상기 사용 우선도에 근거하여 상기 복수의 레시피 중 적어도 하나를 검출 및 검출된 적어도 하나의 레시피를 상기 추천 음식 레시피로 제공하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스는, 상기 식재료의 잔량 정보가, 기 설정된 최소 비축량 미만인 경우 상기 식재료의 잔량이 부족함을 사용자에게 알리는 알림 정보를 통지하고, 사용자의 선택이 있는 경우 상기 식재료의 구매를 위한 구매 프로세스를 진행하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스는, 기 설정된 기간 동안의 상기 식재료의 사용 빈도에 따른 평균 소비량을 산출하고, 산출된 평균 소비량에 기 설정된 마진값을 더하여 상기 최소 비축량을 산출하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스는, 상기 보관기기에 보관된 식재료 중, 사용된 빈도에 따라 사용자가 선호하는 선호 식재료를 검출하고, 검출된 선호 식재료에 한하여 상기 잔량과 최소 비축량의 비교를 통해 부족 여부를 판별하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스는, 상기 적어도 하나의 조리기기와 통신 연결을 수행하는 통신부와, 재생이 가능한 형태로 저장된 상기 복수의 레시피, 사용자의 음식 조리 이력에 따라 학습된 사용자의 선호 음식과 사용자의 선호 음식 유형을 포함하는 커스터마이징 데이터 및 상기 조리기기의 제어를 위한 제어 정보가 저장되는 메모리와, 사용자의 음성 명령을 수신하기 위한 마이크를 포함하는 입력부와, 상기 복수의 레시피 중 선택된 어느 하나의 레시피를 출력하는 디스플레이부와, 상기 사용자의 음식 조리 이력에 따라 상기 사용자의 선호 음식과 사용자의 선호 음식 유형을 학습하는 인공지능부 및, 상기 음성 명령을 통해 식별된 사용자의 커스터마이징 데이터에 근거하여 상기 복수의 레시피 중 어느 하나를 검색하고, 검색된 레시피가 재생되도록 상기 디스플레이부를 제어 및, 상기 레시피의 재생 상태에 따른 제어 신호를 상기 조리기기로 전송하여 상기 레시피의 재생 상태에 따라 음식이 조리되도록 상기 조리기기를 제어하는 제어부를 포함하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 레시피의 재생 중, 사용자의 직접 조리가 요구되는 과정이 재생되면 상기 레시피의 재생을 일시 정지하고, 상기 사용자의 직접 조리가 완료될 때까지 상기 음식의 조리 상태에 따른 조리 대기 온도가 유지되도록, 상기 조리기기가 음식을 가열하는 화력 레벨을 강하시키는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 조리 대기 온도는, 상기 음식이 조리되는 온도보다 기 설정된 수준 이상 낮은 온도이며, 상기 조리 대기 온도를 위해 강하되는 화력 레벨은, 상기 음식이 조리되는 온도가 높을수록 커지는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 레시피의 재생 중, 상기 사용자의 직접 조리가 요구되는 과정이 재생되면, 상기 사용자의 직접 조리와 관련된 추가 컨텐츠의 재생에 대한 사용자의 요청을 검출하고, 사용자의 요청이 있는 경우, 상기 레시피의 재생이 일시 정지된 상태를 유지하면서, 상기 디스플레이부의 적어도 일부에 상기 추가 컨텐츠를 재생하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 레시피의 재생이 일시 정지된 상태인 경우, 상기 추가 컨텐츠에 대응하는 그래픽 객체를 상기 디스플레이부 상의 일 영역에 표시하고, 상기 그래픽 객체에 대한 사용자의 입력이 인가되는 경우, 상기 추가 컨텐츠의 재생에 대한 사용자의 요청이 있는 것으로 판단하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 제어부는, 사용자와의 대화 인터랙션(interaction)을 통해 상기 사용자의 직접 조리가 요구되는 과정이 완료되었는지 여부를 판별하며, 상기 사용자의 직접 조리가 요구되는 과정이 완료된 경우, 상기 일시 정지된 레시피를 이어서 재생 및, 상기 조리 대기 온도에 따라 제어된 상기 조리기기의 화력 레벨을 복원하는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 레시피는, 동영상 컨텐츠 또는 음식을 조리하는 과정 별로 조리 내용을 나타낸 이미지들이 각 이미지에 지정된 시간이 경과할 때마다 순차적으로 하나씩 출력되는 슬라이드 형식의 컨텐츠임을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 통신부는, 기 설정된 외부 서버와 통신 연결을 수행하는 인터넷 모듈을 더 포함하고, 상기 제어부는, 상기 외부 서버로부터, 사용자의 요청에 따른 레시피를 검색 및, 검색된 레시피를, 기 저장된 복수의 레시피에 추가하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따라 적어도 하나의 조리기기를 포함하는 스마트 홈 쿠킹 시스템의 인공지능 디바이스의 제어 방법은, 재생이 가능한 형태로 저장된 복수의 레시피 중 사용자의 요청에 따른 레시피를 검색하는 단계와, 상기 스마트 홈 쿠킹 시스템에 포함되는 적어도 하나의 조리기기 중, 상기 검색된 레시피에 따른 음식을 조리 가능한 어느 하나의 조리기기와 통신을 연결하는 단계와, 상기 검색된 레시피를 재생하는 단계와, 상기 레시피의 재생 상태에 따라 음식이 조리되도록 상기 통신 연결된 조리기기를 제어하는 단계와, 상기 레시피의 재생 중, 상기 사용자의 직접 조리가 요구되는 과정이 재생되면, 상기 레시피의 재생을 일시 정지하고 상기 사용자의 직접 조리가 완료될 때까지 상기 음식의 조리 상태에 따른 조리 대기 온도가 유지되도록, 상기 조리기기가 음식을 가열하는 화력 레벨을 강하시키는 단계 및, 상기 사용자의 직접 조리가 요구되는 과정이 완료되는 경우, 상기 일시 정지된 레시피를 이어서 재생 및, 상기 조리 대기 온도에 따라 제어된 상기 조리기기의 화력 레벨을 복원하는 단계를 포함하며, 상기 사용자의 직접 조리가 요구되는 과정이 완료되는지 여부는, 사용자와의 대화 인터랙션(interaction)을 통해 판별되는 것을 특징으로 하는 한다.
일 실시 예에 있어서, 상기 사용자의 요청에 따른 레시피는, 사용자의 음식 조리 이력에 따라 학습된 사용자의 선호 음식과 사용자의 선호 음식 유형에 근거하여 결정되는 적어도 하나의 음식에 대한 레시피임을 특징으로 한다.
본 발명에 따라 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템 및 그 인공지능 디바이스의 제어 방법에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 스마트 홈 쿠킹 시스템의 인공지능 디바이스가, 사용자로부터 선택된 음식에 관련된 레시피를 동영상 컨텐츠로 제공하고, 상기 동영상 컨텐츠의 재생 상태에 따라 상기 선택된 음식이 조리되는 조리기기가 제어될 수 있도록 한다. 따라서 사용자가 직접 조리기기를 제어할 필요 없이 사용자가 동영상으로 제공되는 레시피에 따라 조리 재료등을 투하하는 것만으로 상기 선택된 음식이 조리될 수 있다는 효과가 있다.
또한 본 발명은, 스마트 홈 쿠킹 시스템의 인공지능 디바이스가, 사용자의 취향을 학습한 결과 또는 사용자의 현재 상황이나 식재료의 상태에 따라 적합한 음식을 추천하고, 추천된 음식에 대한 레시피를 제공한다. 또한 제공된 레시피에 따라 적어도 하나의 조리기기가 제어되도록 함으로써, 사용자의 취향 또는 사용자의 상황에 적합한 음식을 사용자가 보다 쉽게 조리할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템의 예를 도시한 예시도이다.
도 2는 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템의 인공지능 디바이스의 구조를 도시한 블록도이다.
도 3은, 도 2에서 도시한 인공지능 디바이스가, 사용자의 요청에 따른 음식의 조리를 지원하는 동작 과정을 도시한 흐름도이다.
도 4는, 상기 도 3의 동작 과정들 중 사용자 조리 과정에 진입하는 경우에, 사용자의 직접 조리 진행 상태에 따라 조리 절차의 진행을 제어하는 예를 도시한 예시도이다.
도 5는 본 발명의 실시 예에 따른 인공지능 디바이스가, 사용자의 요청을 분석한 결과에 따라 특정 음식의 레시피를 제공하는 동작 과정을 도시한 흐름도이다.
도 6은, 상기 도 5의 동작 과정들 중, 사용자의 취향을 학습한 결과에 따른 적어도 하나의 음식을 사용자에게 추천하는 동작 과정을 도시한 흐름도이다.
도 7은 상기 도 5의 동작 과정들 중, 저장된 식재료의 신선도에 따른 적어도 하나의 음식을 사용자에게 추천하는 동작 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 인공지능 디바이스가, 조리 도중 특정 조리 과정에 관련된 관련 컨텐츠를 제공하는 동작 과정을 도시한 흐름도이다.
도 9는, 도 8의 동작 과정에 따라, 조리 도중 특정 조리 과정에 관련된 관련 컨텐츠가 제공되는 예를 도시한 예시도이다.
도 10은 본 발명의 실시 예에 따른 인공지능 디바이스가, 사용자로부터 학습된 결과에 근거하여 곡물의 토출 및 불림이 이루어지도록 곡물 디스펜서를 제어하는 동작 과정을 도시한 흐름도이다.
도 11은 본 발명의 실시 예에 따른 인공지능 디바이스가, 검출된 식재료의 보관량에 근거하여 잔량이 부족한 식재료에 대한 구매를 진행하는 동작 과정을 도시한 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다
본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한 이하에서 설명되는 각각의 실시 예들 뿐만 아니라, 실시 예들의 조합은 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물 내지 대체물로서, 본 발명의 사상 및 기술 범위에 해당될 수 있음은 물론이다.
도 1은 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템의 예를 도시한 예시도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템은 인공지능 디바이스(10) 및 상기 인공지능 디바이스(10)와 통신 연결되는 복수의 전기기기(11, 12, 13, 14, 15)를 포함하여 형성될 수 있다.
여기서 상기 복수의 전자기기 중 일부는 음식 조리를 위한 기기일 수 있다. 예를 들어 상기 복수의 전자기기는 인덕션(12) 또는 오븐(13)과 같이 음식 재료를 가열하여 음식을 조리할 수 있는 기기일 수 있다. 또는 상기 복수의 전자기기는 곡물 디스펜서(11)와 같이 음식(밥)을 조리하기 위한 재료 준비와 관련된 기기일 수 있다. 이하 상기 음식을 직접 조리하는 기기 및 상기 음식의 조리를 위한 재료의 토출과 관련된 기기를 음식의 조리와 관련된 기기, 즉 조리기기라고 하기로 한다.
또한 상기 복수의 전자기기 중 일부는, 음식의 재료를 보관하는 보관 기기일 수 있다. 예를 들어 상기 보관 기기는 냉장고(14) 또는 기타 식품 보관고(15)일 수 있다. 여기서 상기 식품 보관고(15)는 냉동 또는 냉장을 통해 식재료를 보관하는 기기로서, 김치을 보관하는 김치 냉장고 또는 고기 또는 생선등을 보관하는 고기 신선고일 수 있다.
한편 상기 인공지능 디바이스(10)는 상술한 바와 같이 적어도 하나의 조리 기기 및 적어도 하나의 보관 기기와 연결될 수 있다. 상기 인공지능 디바이스(10)는 상기 복수의 조리기기 또는 보관 기기와 기 설정된 통신 방식으로 연결될 수 있다.
일 예로 상기 인공지능 디바이스(10)는 기 설정된 근거리 통신을 이용하여 상기 복수의 조리기기 또는 보관 기기와 무선으로 연결될 수 있다. 또한 상기 인공지능 디바이스(10)는 네트워크를 통해 기 설정된 외부 서버와 무선 통신을 수행할 수 있으며, 기 설정된 외부 서버로부터 데이터를 수신하거나 또는 연결된 네트워크를 통해 검색을 수행할 수 있다.
한편 인공지능 디바이스(10)는 인공지능 기술을 통해 정보들을 처리하는 인공지능부를 구비할 수 있다. 상기 인공지능부는 사용자로부터 요청되는 정보를 처리하기 위해 상기 인공지능부는 자연어의 처리를 위한 NLP(Natural Language Processing) 컴포넌트를 구비할 수 있다. 그리고 상기 NLP 컴포넌트를 통해 화자로부터 수집되는 음성 정보를 이해 및 분석하고, 분석 결과에 따라 화자가 음성으로 요청하는 정보를 기 저장된 정보에 근거하여 판별할 수 있다. 이에 인공지능부는 사용자의 음성 명령을 수신하고, 수신된 음성 명령에 포함된 사용자의 요청을 식별할 수 있다.
또한 인공지능부는 주변의 환경 정보 또는 사용자의 음성 정보와 같이 사용자로부터 감지되는 정보에 근거하여 학습을 수행하고 수행된 학습에 근거하여 상기 식별된 사용자의 요청을 처리할 수 있다. 이 경우 상기 인공지능부는 사용자가 복수인 경우 각 사용자를 구분하여 식별할 수 있다. 이를 위해 상기 인공지능 디바이스(10)는 카메라를 구비할 수 있으며, 상기 카메라를 통해, 음성 명령을 발화한 화자를 식별할 수 있다. 또는 상기 인공지능부(180)는 수신되는 음성의 특징을 분석하고 분석된 음성 특징(예 : 톤, 억양, 발음 등)에 근거하여 화자를 식별할 수 있다. 그리고 식별된 화자로부터의 인식된 사용자 요청에 관련된 다양한 정보들을 사용자와 관련된 '개인화된 데이터' 즉 커스터마이징 데이터(customizing data)로서 학습할 수 있다.
여기서 상기 본 발명의 실시 예에 따른 인공지능 디바이스(10)에서 학습되는 상기 '개인화된 데이터'는, 식별된 화자가 선호하는 음식 취향, 특정 음식을 선호하는 시각 등 사용자로부터 수신된 요청에 관련된 일련의 데이터를 모두 포함할 수 있다. 예를 들어 인공지능부(180)는 사용자의 요청에 따라 조리한 음식들의 학습 결과에 근거하여 사용자가 선호하는 음식 취향을 학습할 수 있다. 또한 특정 음식의 조리를 위한 사용자의 요청이 수신된 시각에 근거하여, 상기 특정 음식을 사용자가 선호하는 시각에 대한 정보를 학습할 수 있다. 또한 사용자의 요청에 따른 음식의 양에 근거하여 사용자가 선호하는 음식량에 대한 정보를 학습할 수 있다. 그리고 이러한 학습 데이터는 식별된 화자에 대응하는 개인화된 데이터로서 저장될 수 있다.
또한 인공지능 디바이스(10)는 연결된 적어도 하나의 기기를 제어하기 위한 다양한 제어 정보들을 저장할 수 있다. 이에 인공지능 디바이스(10)는 상기 인공지능부(180)의 정보 처리된 결과에 근거하여 연결된 기기들 중 적어도 하나의 동작을 결정할 수 있으며, 결정된 동작에 대응하는 제어 정보에 근거하여 상기 결정된 동작이 실행되도록 상기 적어도 하나의 연결된 기기를 제어할 수 있다.
도 2는 이러한 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템의 인공지능 디바이스(10)의 구조를 도시한 블록도이다.
도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 통신부(110), 입력부(120), 출력부(160), 메모리(170), 제어부(100), 인공지능부(180)를 포함할 수 있다. 도 2에 도시된 구성요소들은 인공지능 디바이스(10)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 인공지능 디바이스(10)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 통신부(110)는, 인공지능 디바이스(10)와 복수의 다른 전자기기 사이, 또는 인공지능 디바이스(10)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 통신부(110)는, 인공지능 디바이스(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 통신부(110)는, 무선 인터넷 모듈(111) 및 근거리 통신 모듈(112) 중 적어도 하나를 포함할 수 있다.
먼저 무선 인터넷 모듈(111)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 인공지능 디바이스(10)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(111)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신 하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(111)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
그리고 근거리 통신 모듈(112)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한 근거리 통신 모듈(112)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 인공지능 디바이스(10)와 무선 통신 시스템 사이, 인공지능 디바이스(10)와 다른 기기들 사이의 무선 통신을 지원할 수 있다.
입력부(120)는 오디오 신호 입력을 위한 마이크로폰(microphone, 121), 및 사용자로부터 정보를 입력받기 위한 다양한 키들을 구비하는 사용자 입력부(122)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터 또는 상기 사용자 입력부(122)를 통해 입력되는 키 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
출력부(160)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(161), 음향 출력부(162) 중 적어도 하나를 포함할 수 있다.
디스플레이부(161)는 인공지능 디바이스(10)에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 디스플레이부(161)는 인공지능 디바이스(10)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
한편 디스플레이부(161)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 인공지능 디바이스(10)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(121)로써 기능함과 동시에, 인공지능 디바이스(10)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(162)는 통신부(110)로부터 수신되거나 메모리(170)에 저장된 다양한 오디오 데이터를 출력할 수 있다. 음향 출력부(162)는 인공지능 디바이스(10)에서 수행되는 기능(예를 들어, 동영상 레시피 재생, 레시피 가이드)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(162)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 메모리(170)는 인공지능 디바이스(10)의 다양한 기능을 지원하는 데이터 및, 입력/출력되는 데이터들을 임시 저장할 수 있다. 메모리(170)는 인공지능 디바이스(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 인공지능 디바이스(10)의 동작을 위한 데이터들, 명령어들, 인공지능부(180)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다. 또한 연결된 다른 전자기기를 구동시키고 상기 연결된 다른 전자기기에서 실행되는 기능을 제어할 수 있는 제어 정보들을 저장할 수 있다.
이러한 응용 프로그램, 제어 정보 및 데이터 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 인공지능 디바이스(10)의 기본적인 기능을 위하여 출고 당시부터 인공지능 디바이스(10)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 인공지능 디바이스(10) 상에 설치되어, 제어부(100)에 의하여 상기 인공지능 디바이스(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
한편 메모리(170)는 복수의 음식에 관련된 레시피 정보를 저장할 수 있다. 상기 레시피 정보는 대응하는 음식의 조리 과정에 대한 시각 정보 및 청각 정보를 포함하는 동영상 컨텐츠일 수 있다. 상기 레시피 정보는 대응하는 음식의 종류(찌개, 국, 볶음 등)나 음식 재료(소고기, 돼지고기, 생선 등) 등 기 설정된 분류 기준에 따라 분류 및 저장되어 데이터베이스(레시피 데이터베이스(171))를 형성할 수 있다. 상기 레시피 데이터베이스(171)는 상기 인공지능 디바이스(10) 출고 당시부터 메모리(170)에 구비될 수 있으며, 네트워크를 통해 연결된 외부 서버에서 수신되는 레시피 정보를 더 포함하도록 형성될 수 있다.
또한 메모리(170)는 상기 인공지능 디바이스(10)와 연결된 다른 전자기기들로부터 수신되는 데이터들을 저장할 수 있다. 일 예로 상기 메모리(170)는 냉장고(14) 또는 김치 냉장고(15)와 같이 보관기기가 연결되는 경우 연결된 보관기기로부터 제공되는 식재료에 관련된 데이터를 저장할 수 있다. 이러한 식재료 데이터는 메모리(170)의 기 설정된 영역에 저장될 수 있으며, 각 보관기기에서 검출되는 식재료의 신선도 및 각 식재료의 잔량에 대한 정보를 포함할 수 있다. 이하 상기 식재료에 관련된 정보들이 저장되는 상기 메모리(170) 상의 일 영역을 식재료 정보 저장부(172)라고 하기로 한다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 인공지능부(180)는 식별된 사용자의 요청에 관련된 일련의 정보들을, 식별된 화자에 대한 학습을 위한 학습 데이터인 개인화된 데이터로서 저장할 수 있음을 언급한 바 있다. 이에 상기 메모리(170)는 개인화된 데이터, 즉 커스터마이징 데이터들을 기 설정된 영역(커스터마이징 정보 저장부(173))에 저장할 수 있다.
또한 상술한 설명에 따르면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 복수의 조리기기와 보관기기를 비롯한 전자기기와 연결될 수 있으며, 상기 연결된 복수의 전자기기를 제어할 수 있음을 언급한 바 있다. 이를 위해 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 연결되는 다른 전자기기들을 식별할 수 있으며, 식별된 전자기기들 또는 기 설정된 외부 서버로부터 상기 식별된 전자기기들을 제어할 수 있는 제어 정보들을 수신할 수 있다. 그리고 수신된 제어 정보들을 기 설정된 메모리(170) 상의 일 영역에 저장할 수 있다. 또는 일부의 전자기기들에 관련된 제어 정보는 상기 인공지능부(180)의 출고 당시에 메모리(170) 상에 이미 저장되어 있을 수 있다. 이하 상기 복수의 서로 다른 전자기기들을 제어하기 위한 제어 정보들이 저장되는 메모리(170)의 일 영역을 제어 정보 저장부(174)라고 하기로 한다.
한편 인공지능부(180)는, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
상기 인공지능부(180)는 머신 러닝(machine running) 기술을 이용하여, 메모리(170)에 저장된 정보, 인공지능 디바이스(10) 주변의 환경 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅 데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다. 그리고 인공지능부(180)는 상기 머신 러닝 기술을 이용하여 학습된 정보들을 이용하여, 실행 가능한 적어도 하나의 인공지능 디바이스(10)의 기능을 예측(또는 추론)하고, 상기 적어도 하나의 예측된 기능들 중 가장 실현성이 높은 기능이 실행되도록 인공지능 디바이스(10)를 제어할 수 있다.
한편 머신 러닝 기술은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이다. 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 동작이다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
한편, 인공지능부(180)는 머신 러닝 기술을 적용하기 위한 방대한 양의 정보들을 수집하기 위하여, 인공지능 디바이스(10)의 구성 요소들에서 입력 또는 출력되는 신호, 데이터, 정보 등을 수집(감지, 모니터링, 추출, 검출, 수신)할 수 있다. 또한, 인공지능부(180)는 통신을 통하여 연결되는 외부 저장소(예를 들어, 클라우드 서버, cloud server)에 저장된 데이터, 정보 등을 수집(감지, 모니터링, 추출, 검출, 수신)할 수 있다. 보다 구체적으로, 정보의 수집이란, 센서를 통하여 정보를 감지하거나, 메모리(160)에 저장된 정보를 추출하거나, 통신을 통하여, 외부 저장소로부터 정보들을 수신하는 동작을 포함하는 용어로 이해될 수 있다.
인공지능부(180)는 입력부(120)를 통하여, 사용자의 음성으로부터 식별되는 사용자 요청을 인식할 수 있다. 또한, 인공지능부(180)는 통신부(110)를 통하여 무선 신호, 무선 데이터 등을 수신할 수 있다. 이러한 인공지능부(180)는 백그라운드 상에서 실시간으로 방대한 양의 정보들을 수집하고, 이를 학습하여, 적절한 형태로 가공한 정보(예를 들어, 지식 그래프, 명령어 정책, 개인화 데이터베이스, 대화 엔진 등)를 메모리(170)에 저장할 수 있다.
그리고 인공지능부(180)는 머신 러닝 기술을 이용하여 학습된 정보들을 바탕으로, 인공지능 디바이스(10)의 구성 요소들을 제어하거나, 예측된 동작을 실행하기 위한 제어 명령을 제어부(100)로 전달할 수 있다. 제어부(100)는 제어 명령에 근거하여 인공지능 디바이스(10)의 통신부(110)를 제어함으로써, 학습된 결과에 따라 사용자의 요청을 인식한 결과에 따라 적어도 하나의 연결된 조리기기들이 조리에 관려된 동작을 실행하도록 제어할수 있다.
한편, 인공지능부(180)는 사용자의 특정 동작 또는 요청이 검출되면 머신 러닝 기술을 통하여, 특정 동작 또는 요청과 관련된 이력 정보를 분석하고, 이러한 분석 정보를 바탕으로 기존의 학습된 정보에 대한 업데이트를 수행할 수 있다. 이에, 인공지능부(180)는 정보 예측의 정확도를 향상시킬 수 있다.
한편, 본 명세서에서, 인공지능부(180)와 제어부(100)는 동일한 구성요소로 이해될 수 있다. 이 경우, 본 명세서에서 설명되는 제어부(100)에서 수행되는 기능은, 인공지능부(180)에서 수행된다고 표현할 수 있으며, 제어부(100)는 인공지능부(180)로 명명되거나, 이와 반대로, 인공지능부(180)는 제어부(100)로 명명되어도 무방하다.
또한, 이와 다르게, 본 명세서에서, 인공지능부(180)와 제어부(100)는 별도의 구성요소로 이해될 수 있다. 이 경우, 인공지능부(180)와 제어부(100)는 서로 데이터 교환을 통하여, 인공지능 디바이스(10) 상에서 다양한 제어를 수행할 수 있다. 제어부(100)는 인공지능부(180)에서 도출된 결과를 기반으로, 인공지능 디바이스(10) 상에서 적어도 하나의 기능을 수행하거나, 인공지능 디바이스(10)의 구성요소 중 적어도 하나를 제어할 수 있다. 나아가, 인공지능부(180) 또한, 제어부(100)의 제어 하에 동작될 수 있다.
한편 제어부(100)는 상기 인공지능부(180)와 관련된 동작 외에도, 통상적으로 인공지능 디바이스(10)의 전반적인 동작을 제어한다. 제어부(100)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(100)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 2에서 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(100)는 상기 응용 프로그램의 구동을 위하여, 인공지능 디바이스(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
이하에서는 이와 같이 구성된 인공지능 디바이스(10)를 포함하는 스마트 홈 쿠킹 시스템에서 구현될 수 있는 인공지능 디바이스(10)의 동작 과정과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 3은, 도 2에서 도시한 인공지능 디바이스가, 사용자의 요청에 따른 음식의 조리를 지원하는 동작 과정을 도시한 흐름도이다.
도 3을 참조하여 살펴보면, 먼저 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 사용자의 음성 명령이 수신되면, 수신된 음성 명령을 자연어 처리(NLP)를 통해 식별하고, 상기 자연어 처리를 통한 대화(dialog) 방식을 통해 사용자의 요청을 식별할 수 있다. 그리고 식별된 사용자의 요청으로부터 식별된 사용자의 요청에 따른 음식을 결정할 수 있다. 그리고 결정된 음식에 대한 레시피를 검색할 수 있다(S400).
일 예로 상기 S400 단계에서, 수신된 사용자의 음성 명령이, 특정 음식의 명칭에 대한 정보를 포함하고 있는 경우라면, 제어부(100)는 식별된 음성 명령에 포함된 음식의 레시피를 검색할 수 있다. 그러나 특정 음식의 명칭에 대한 정보가 음성 명령에 포함되어 있지 않은 경우, 제어부(100)는 음성 명령을 통해 식별된 사용자의 기 학습된 데이터, 즉 커스터마이징 데이터에 근거하여 사용자가 요청한 음식을 결정하고 결정된 음식의 레시피를 검색할 수 있다.
한편 상기 S400 단계에서, 제어부(100)는 사용자가 음성 명령을 통해 요청한 음식의 레시피가 레시피 데이터베이스(171)에 포함되어 있지 않은 경우, 네트워크를 통해 사용자가 요청한 음식의 레시피를 검색할 수 있다. 예를 들어 제어부(100)는 기 설정된 외부 서버에 접속할 수 있으며, 상기 외부 서버를 통해 상기 사용자가 요청한 음식의 레시피를 검색할 수 있다. 그리고 상기 검색된 레시피를 레시피 데이터베이스(171)에 추가할 수 있다.
한편 제어부(100)는 상기 S400 단계에서 검색된 레시피에 근거하여, 사용자의 요청에 따른 음식을 조리하기 위한 조리기기를 검출할 수 있다. 그리고 검출된 조리기기와 통신 연결을 수행할 수 있다(S302).
예를 들어 제어부(100)는 검색된 레시피에 근거하여 검색된 레시피에 대응하는 음식이 오븐을 통해 조리되는지 또는 인덕션을 통해 조리되는지 여부를 판별할 수 있다. 이 경우 제어부(100)는 음식의 종류 또는 레시피에 포함된 조리기기의 정보 등에 근거하여 조리기기를 결정할 수 있다. 또는 검색된 레시피를 분석한 인공지능부(180)의 처리 결과에 근거하여 조리기기를 결정할 수 있다.
이 경우 조리 가능한 조리기기가 복수인 경우라면 제어부(100)는 사용자에게 어느 조리기기를 이용하여 음식을 조리할 것인지를 선택받을 수 있다. 또는 제어부(100)는 상기 복수의 조리기기의 동작 상태에 근거하여 어느 하나의 조리기기를 선택할 수 있다. 예를 들어 제어부(100)는 상기 복수의 조리기기 모두에 통신 연결을 수행한 결과, 어느 하나만 통신이 연결되는 경우(즉, 하나의 조리기기의 제어가 불가능한 경우) 통신 연결이 가능한 어느 하나의 조리기기를 선택할 수 있다. 또는 상기 복수의 조리기기 모두에 통신 연결을 수행한 결과, 어느 하나의 조리기기가 이미 동작 중(즉, 다른 음식을 조리 중인 경우)인 경우라면 조리가 가능한 다른 하나의 조리기기를 선택할 수 있다. 이 경우 선택된 조리기기에는 통신 연결이 유지될 수 있다.
한편 음식을 조리할 조리기기가 선택되면, 제어부(100)는 검색된 레시피를 출력할 수 있다(S304). 이 경우 상기 레시피는 특정 음식의 조리 과정을 동영상으로 나타낸 동영상 컨텐츠일 수 있다. 또는 상기 특정 음식을 조리하는 과정 별로 조리 내용을 나타낸 이미지들이 각 이미지에 지정된 시간이 경과할 때마다 순차적으로 하나씩 출력되는 슬라이드 형식의 컨텐츠일 수 있다. 이하 이처럼 동영상 또는 슬라이드 형식으로 제공되는 레시피를, 레시피 컨텐츠라고 하기로 한다.
상기 S304 단계에서, 출력에 따라 레시피 컨텐츠가 재생되면, 제어부(100)는 상기 S302 단계에서 검색된 조리기기가, 상기 재생되는 레시피 컨텐츠의 조리 과정에 따라 음식 재료를 조리하도록 상기 검색된 조리기기를 제어할 수 있다(S306). 예를 들어 제어부(100)는, 현재 선택된 레시피가 찌개나 탕 등, 재료 및 물이 용기에 투하된 상태에서 상기 용기를 가열하는 음식의 레시피인 경우, 상기 레시피 컨텐츠의 재생 상태에 대응하는 조리 과정에 따라 용기가 가열되도록, 용기가 배치된 인덕션을 구동시킬 수 있다.
이를 위해 제어부(100)는 상기 S306 단계의 조리기기 제어 전에, 상기 S302 단계에서 선택된 조리기기와의 통신 연결을 통해, 상기 조리기기가 음식의 조리가 가능한 상태인지 여부를 확인할 수 있다. 일 예로 오븐과 같이 입구가 밀폐되는 조리기기의 경우, 입구가 밀폐되지 않은 상태이면, 오븐으로부터 수신되는 정보에 근거하여 오븐이 조리가 가능하지 않은 상태임을 판별할 수 있으며, 사용자에게 현재 조리기기가 조리가 가능하지 않은 상태임을 알리는 알림 정보를 출력할 수 있다.
뿐만 아니라 제어부(100)는 상기 S306 단계의 조리기기 제어 전에, 조리를 시작할지 여부를 사용자에게 확인할 수 있다. 그리고 사용자의 확인이 있는 경우에 상기 조리기기를 제어하여 조리를 시작함으로써, 용기가 배치되기 전에, 또는 재료 및 물이 투하되기 전에 조리기기만 동작하게 되는 경우를 방지할 수 있다.
한편 상기 S306 단계의 조리기기 제어 과정을 통해 인공지능 디바이스(10)의 제어부(100)는, 특정 음식과 관련된 조리 과정에 따라 자동으로 조리 온도가 조절되도록 조리기기를 제어할 수 있다. 그러나 음식 조리의 경우 음식이 조리되는 도중에 추가되는 재료의 준비나 투하 등 사용자의 직접적인 조리가 필요한 경우가 있다. 이에 본 발명의 실시 예에 따른 스마트 홈 쿠킹 시스템의 인공지능 디바이스(10)는, 사용자의 요청에 따른 음식의 레시피 컨텐츠를 재생하는 경우, 상기 사용자의 직접적인 조리가 필요한 조리 과정에 진입하였는지 여부를 판별할 수 있다(S308).
일 예로, 상기 레시피 컨텐츠는, 사용자의 직접적인 조리 과정에 대응하는 시간의 정보가 미리 포함된 컨텐츠일 수 있다. 즉, 상기 레시피 컨텐츠는 사용자의 직접적인 조리가 요구되는 특정 시간에 대한 정보가 포함(예 : 태그 정보)된 컨텐츠일 수 있다.
이 경우 제어부(100)는 레시피 컨텐츠를 재생하는 중에 상기 태그 정보에 의해 지정된 시간이 도달하면, 사용자의 직접적인 조리가 필요한 과정에 진입한 것으로 판단할 수 있다. 그리고 사용자의 직접 조리가 필요한 과정, 즉 사용자 조리 과정에 진입한 경우 알림 정보를 출력하여 사용자에게, 사용자의 직접적인 조리가 필요함을 알릴 수 있다.
또는 제어부(100)는 상기 재생되는 레시피 컨텐츠에 대한 인공지능부(180)의 분석 결과에 근거하여 사용자의 직접적인 조리가 필요한 과정에 진입하였는지 여부를 판단할 수 있다.
예를 들어 인공지능부(180)는 재생되는 레시피 컨텐츠의 음성 정보로부터 사용자의 동작을 요청하는 음성 주문, 예를 들어 특정 재료의 투하 또는 재료의 준비를 요청(예를 들어 재료를 썰거나 자르는 요청)하는 음성 정보가 검출되는 경우, 현재 조리 과정이 상기 사용자 조리 과정에 진입한 것으로 판단할 수 있다.
또는 인공지능부(180)는 출력되는 레시피 컨텐츠가, 조리기기의 조리 과정과 다른 조리 과정에 대한 내용인 경우 상기 사용자 조리 과정에 진입한 것으로 판단할 수 있다. 예를 들어 조리기기가 인덕션인 경우 조리기기의 가열과 다른 조리 과정이 출력되는 때에 현재 조리 과정이 상기 사용자 조리 과정에 진입한 것으로 판단할 수 있다.
이를 위해 인공지능부(180)는 재생되는 동영상 컨텐츠 또는 스틸 이미지(슬라이드)를 분석할 수 있으며, 분석된 결과에 근거하여 당근이나 무 등의 재료를 썰거나 다듬는 과정 또는 재료가 투하되는 과정을, 사용자의 직접적인 조리가 필요한 과정으로 판단할 수 있다. 이 경우 상기 인공지능부(180)는 다양한 재료를 썰거나 자르는 이미지 또는 재료가 용기에 투하되는 이미지를, 조리기기를 이용한 조리 과정과 다른 사용자 조리 과정으로서 인식할 수 있도록 학습이 이루어진 상태일 수 있다.
한편 상기 S308 단계의 판별 결과, 사용자의 직접적인 조리가 필요한 사용자 조리 과정에 진입하는 경우, 제어부(100)는 사용자의 대화형 인터랙션(interaction)을 통해 레시피 컨텐츠의 재생을 제어할 수 있다. 이를 위해 제어부(100)는 먼저 레시피 컨텐츠의 재생을 일시적으로 멈출 수 있으며(일시 정지 상태), 현재 음식의 조리 상태에 따라 결정되는 조리 대기 온도를 유지할 수 있다(S310).
일 예로 상기 조리 대기 온도는, 현재 음식이 조리되는 온도보다 기 설정된 수준 이상 낮은 온도일 수 있다. 예를 들어 현재 음식이 조리되는 온도가 제5 레벨에 해당하는 화력으로 조리되는 상태라면, 제어부(100)는 인덕션을 제어하여 현재 음식이 조리되는 화력 레벨보다 2 레벨 낮은 제3 레벨의 화력으로 현재 조리 상태를 유지할 수 있다. 이는 사용자의 직접 조리 과정에 소요되는 시간동안 현재 조리 상태가 그대로 유지되도록, 가열 온도를 낮추고 또 조리 중인 음식이 일정 온도 이하로 식지 않도록 하기 위한 것이다.
따라서 상기 조리 대기 온도를 위해 강하되는 온도 레벨은, 현재 음식이 조리되는 온도에 따라 다르게 결정될 수 있다. 예를 들어 상기 강하되는 온도 레벨은 조리 온도가 높을수록 커질 수 있다. 즉, 현재 조리 온도가 일정 수준 이상인 고온인 경우라면, 제어부(100)는 사용자의 직접 조리 과정이 진행되는 동안에 음식이 타거나 국물이 너무 줄어들지 않도록 현재의 화력 레벨보다 화력 레벨을 2 레벨 낮출 수 있다. 반면 현재 조리 온도가 일정 수준 미만인 저온인 경우라면, 제어부(100)는 사용자의 직접 조리 과정이 진행되는 동안에 음식이 식지 않는 최소한의 온도가 유지되록 할 수 있다. 따라서 현재의 화력 레벨보다 화력 레벨을 1 레벨만 낮출 수 있다.
한편 이러한 조리 대기 온도는, 사용자와의 대화 인터랙션을 통해 결정될 수 있다. 이 경우 제어부(100)는 음향 출력부(162)를 통해 조리 대기 온도를 유지하기 위해 강하된 화력 레벨을 사용자에게 알릴 수 있고, 사용자와의 대화를 통해 강하된 화력 레벨을 유지하거나 또는 화력 레벨을 변경할 수 있다.
한편 상기 S310 단계에서 조리 대기 온도가 유지되는 상태에서, 제어부(100)는 사용자 조리 과정이 완료되었는지 여부를 체크할 수 있다(S312). 이를 위해 제어부(100)는 사용자와의 대화 인터랙션을 통해 사용자가 조리 과정을 완료하였는지를 문의할 수 있으며, 사용자의 대답 여하에 따라 상기 사용자 조리 과정이 완료되었는지 여부를 판별할 수 있다. 그리고 상기 S312 단계의 체크 결과 사용자 조리 과정이 완료된 경우라면 제어부(100)는 레시피 컨텐츠를 이어서 재생하고, 현재 레시피 컨텐츠의 재생 상태에 따른 조리 온도가 복원되도록 조리기기를 제어할 수 있다(S314). 따라서 상기 S310 단계에서 조리 온도의 유지를 위해 화력이 2 레벨 강하되도록 조리기기가 제어된 경우라면, 상기 S312 단계로 진입하면서 제어부(100)는 화력 레벨을 다시 복원할 수 있다. 따라서 화력 레벨이 다시 제5 레벨로 상승할 수 있으며, 레시피 컨텐츠가 이어서 재생될 수 있다.
한편 상기 S314 단계에서 레시피 컨텐츠의 이어 재생 및 화력 조리 온도가 복원되면, 제어부(100)는 상기 S300 단계에서 검색된 음식의 조리가 완료되었는지 여부를 판단할 수 있다(S316). 예를 들어 제어부(100)는 레시피 컨텐츠의 분량이 모두 재생된 경우 음식의 조리가 완료된 것으로 판단할 수 있다. 또는 제어부(100)는 사용자로부터 음식 조리의 완료가 확인된 경우 음식의 조리가 완료된 것으로 판단할 수 있다.
한편 상기 S316 단계의 판별 결과, 음식의 조리가 완료되지 않은 경우라면, 제어부(100)는 다시 S306 단계로 진행하여, 레시피 컨텐츠의 재생 상태에 따라 조리기기를 제어하는 과정을 다시 수행할 수 있다. 그리고 S308 단계로 진행하여 사용자 조리 과정에 진입하였는지 여부를 판별할 수 있다. 이 경우 상기 S308 단계에서 사용자 조리 과정에 진입하지 않은 것으로 판단되면, 제어부(100)는 다시 S308 단계로 진행하여 레시피 컨텐츠의 재생 상태에 따라 조리기기를 제어하는 과정을 다시 수행할 수 있다. 따라서 음식의 조리가 완료되지 않은 경우, 레시피 컨텐츠의 재생 상태에 따라 조리기기를 제어하고, 조리 중에 사용자 조리 과정에 진입하는 경우 사용자의 직접적인 조리가 완료될 때까지 조리 대기 온도를 유지하는 과정이, 상기 음식의 조리가 완료될 때까지 계속 반복하여 이루어질 수 있다.
한편 상기 S316 단계의 판별 결과, 음식의 조리가 완료된 경우라면, 제어부(100)는 조리기기의 전원을 오프할 수 있다(S318). 이 경우 제어부(100)는 전원을 오프하기 전에 조리기기의 전원 오프가 가능한지 여부를 판별할 수 있으며, 판별 결과에 따라 상기 조리기기의 전원을 오프할 수 있다.
여기서 상기 조리기기의 전원 오프가 가능한지 여부는 사용자의 대화 인터랙션을 통해 결정될 수 있다. 따라서 만약 사용자가 레시피 컨텐츠의 모든 분량이 재생되었음에도 불구하고, 현재 조리중인 음식에 대하여 추가적인 조리를 원하는 경우라면 제어부(100)는 사용자의 요청에 따라 조리기기를 제어하여 추가적인 조리를 계속할 수 있다. 그리고 상기 사용자의 요청에 따른 추가 조리가 완료되는 경우, 제어부(100)는 상기 조리기기의 전원을 오프할 수 있다.
또한 상기 조리기기의 전원 오프가 가능한지 여부는, 조리기기의 상태에 따라 결정될 수 있다. 일 예로 조리기기 내부에 용기가 배치된 상태인 경우 제어부(100)는 조리기기의 전원 오프가 가능하지 않은 상황이라고 판단할 수 있다. 그러면 제어부(100)는 사용자에게 용기의 배출을 요청할 수 있으며, 용기가 배출되는 경우에 상기 조리기기의 전원을 오프할 수 있다.
도 4는, 상기 도 3의 동작 과정들 중 사용자 조리 과정에 진입하는 경우에, 사용자의 직접 조리 진행 상태에 따라 조리 절차의 진행을 제어하는 예를 도시한 예시도이다.
먼저 도 4의 (a)를 참조하여 살펴보면, 도 4의 (a)는 디스플레이부(161)를 통해 사용자에게 재료 투하를 요청하는 조리 과정에 대응하는 레시피 컨텐츠의 일부분이 재생되는 예를 도시한 것이다. 이 경우, 인공지능 디바이스(10)의 제어부(100)는 상기 레시피 컨텐츠의 재생 상태에 따라 현재 조리기기에서 음식이 조리되는 과정이 사용자의 직접 조리가 필요한 과정임을 판별할 수 있다. 예를 들어 제어부(100)는 도 4의 (a)와 같이, 특정 재료의 투하를 요청하는 음성 정보가 출력되면, 출력된 음성 정보에 근거하여 사용자의 직접 조리가 필요한 과정으로 진입하였음을 판별할 수 있다.
따라서 제어부(100)는, 도 4의 (b)에서 보이고 있는 바와 같이 레시피 컨텐츠의 재생을 일시 정지할 수 있다. 그리고 조리 대기 온도를 유지하기 위해 조리기기의 화력 레벨을 강하 및 상기 화력 레벨이 강하됨을 사용자에게 알리는 알림 정보를 출력할 수 있다. 이 경우 상기 알림 정보는 상기 도 4의 (b)에서 보이고 있는 바와 같이 음성 정보의 형태로 인공지능 디바이스(10)의 음향 출력부(162)를 통해 출력될 수 있다.
이러한 상태에서, 제어부(100)는 사용자와의 대화 인터랙션을 통해 레시피 컨텐츠의 재생 재개 여부를 확인할 수 있다. 즉, 도 4의 (c)에서 보이고 있는 바와 같이, 사용자가 직접 조리 과정을 완료하였음을 나타내는 음성 명령을 발화하면, 제어부(100)는 사용자의 음성 명령을 수신 및 분석하여, 사용자가 상기 직접 조리 과정의 완료를 나타내는 응답을 발화하였음을 인식할 수 있다. 따라서 도 4의 (c)에서 보이고 있는 바와 같이, 조리 온도를 복원하고, 디스플레이부(161)를 통해 출력되는 레시피 컨텐츠를 이어서 재생할 수 있다.
한편 상술한 설명에 따르면 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 사용자의 요청에 따라 특정 음식의 레시피를 검색 및 검색된 음식의 레시피 컨텐츠를 재생하는 것을 설명하였다. 그러나 상기 사용자의 요청이 특정 음식을 지칭하는 정보를 포함하지 않는 경우, 제어부(100)는 식별된 사용자에 대한 학습 결과 또는 현재 식재료의 상태 등에 근거하여 사용자에게 적어도 하나의 음식을 추천할 수 있다.
도 5는 이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 사용자의 요청을 분석한 결과에 따라 특정 음식의 레시피를 제공하는 동작 과정을 도시한 흐름도이다.
도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 음식의 레시피에 관련된 사용자의 요청이, 상기 도 3의 S300 단계에서 수신되는 경우, 수신된 요청, 예를 들어 마이크(121)를 통해 감지된 사용자의 음성 명령을 분석(예 : 자연어 분석)할 수 있다(S500). 그리고 분석 결과에 따라 감지된 사용자의 요청이 특정 음식을 지칭하는지 여부를 판별할 수 있다(S502).
일 예로 제어부(100)는 상기 S500 단계에서 수신된 사용자의 요청이, 특정 음식 명칭을 포함하는 경우 사용자가 상기 특정 음식에 관련된 레시피를 요청한 것으로 판단할 수 있다. 그러면 제어부(100)는 사용자가 요청한 것으로 판단된 상기 특정 음식의 레시피를 검색할 수 있다. 그리고 상기 도 3의 S302 단계로 진행하여, 상기 S302 단계 이후의 과정을 수행할 수 있다.
또는 제어부(100)는 상기 S500 단계에서 수신된 사용자의 요청이, 특정 시점과 관련된 정보를 포함하는지를 판별할 수 있다. 그리고 상기 사용자의 요청이 '어제' 또는 '지난 11일'과 같이 특정 시점에 대한 정보를 포함하는 경우, 상기 특정 시점과 관련된 해당 사용자의 조리 이력을 검색할 수 있다. 그리고 상기 특정 시점과 관련된 조리 이력으로부터 사용자의 요청에 의해 지정된 음식을 결정하고, 결정된 음식에 대한 레시피를 검색할 수 있다. 그리고 상기 도 3의 S302 단계로 진행하여, 상기 S302 단계 이후의 과정을 수행할 수 있다.
그러나 상기 S502 단계의 판별 결과, 음식 조리를 요청하는 사용자의 요청이, 예를 들어 '맛있는 음식 추천해줘!'와 같이, 특정 음식을 지칭하는 정보를 포함하고 있지 않은 경우라면, 제어부(100)는 먼저 식재료 보관기기들과 통신 연결을 수행할 수 있다(S504). 그리고 통신이 연결된 식재료 보관기기들로부터, 보관된 식재료와 관련된 정보(이하 식재료 정보)들을 수신할 수 있다(S506). 여기서 상기 식재료 정보는, 식재료의 잔량을 비롯하여 식재료와 관련된 다양한 정보를 포함할 수 있다.
예를 들여 상기 S504 단계에서 인공지능 디바이스(10)와 연결되는 식재료 보관기기들은, 식재료를 보관하는 기본적인 기능 뿐만 아니라, 보관중인 식자료에 특화된 다양한 기능을 가지는 전자기기들일 수 있다. 일 예로 김치 냉장고나 고기 신선고와 같이, 인공지능 디바이스(10)에 연결가능한 식재료 보관기기는 특정 종류의 식재료를 보관에 특화된 전자기기일 수 있다. 이 경우 상기 김치 냉장고는 상기 김치의 보관에 특화된 기능으로서, 저장된 김치들의 숙성 상태를 검출하는 기능을 포함할 수 있다. 이를 위해 상기 김치 냉장고는 저장된 김치의 숙성 상태를 검출할 수 있는 숙성도 센서를 구비할 수 있으며, 김치의 잔량 정보와 더불어 상기 숙성도 센서의 감지 결과 검출된 김치들의 숙성 상태에 대한 정보를 더 포함하는 식재료 정보를, 상기 S506 단계에서 상기 인공지능 디바이스(10)에 전송할 수 있다.
또는 상기 고기 신선고는 육류의 보관에 특화된 기능으로서, 저장된 육류의 신선도를 검출하는 기능을 포함할 수 있다. 이를 위해 상기 고기 신선고는, 광 센서 등, 저장된 육류의 신선도를 검출할 수 있는 신선도 센서를 구비할 수 있으며, 육류의 잔량 정보와 더불어 상기 신선도 센서의 감지 결과 검출된 육류들의 신선도에 대한 정보를 더 포함하는 식재료 정보를, 상기 S506 단계에서 상기 인공지능 디바이스(10)에 전송할 수 있다.
한편 인공지능 디바이스(10)는 상기 S506 단계에서 수신된 식재료 정보에 근거하여, 현재 저장된 음식으로 조리가 가능한 음식들의 목록을 생성할 수 있다. 그리고 생성된 음식들의 목록에 근거하여 적어도 하나의 음식을 추천 음식으로 사용자에게 추천할 수 있다(S508).
상기 S508 단계에서, 인공지능 디바이스(10)의 제어부(100)는 수신된 식재료 정보에 근거하여, 연결된 식재료 보관기기에 보관된 식재료들을 검출할 수 있다. 그리고 메모리(170)에 저장된 음식들의 레시피들에 근거하여, 각 음식들의 주재료에 대응하는 모든 식재료가 상기 식재료 보관기기에 저장되어 있는 음식을 검출할 수 있다. 즉, 제어부(100)는 현재 식재료 보관기기에 저장된 식재료 및, 레시피에 따른 각 음식의 주재료에 근거하여, 현재 식재료 보관기기에 저장된 식재료로 조리 가능한 음식들을 검출할 수 있다. 그리고 검출된 음식들의 목록을 추천 음식 목록으로 디스플레이부(161) 상에 출력할 수 있다.
한편 제어부(100)는 상기 S508 단계에서 출력된 추천 음식 목록에 대한 사용자의 선택을 수신할 수 있다. 그리고 상기 추천 음식 목록에 포함된 음식들 중 사용자가 선택한 어느 하나의 음식에 대한 레시피를 검색할 수 있다(S510). 그리고 특정 음식의 레시피가 검색되면, 상기 도 3의 S300 단계 이후의 과정을 진행할 수 있다.
한편 제어부(100)는 상기 S508 단계에서 생성된 음식 목록 중, 기 설정된 조건에 부합하는 적어도 하나의 음식을 추출하여 추천 음식 목록으로 출력할 수 있다. 여기서 상기 기 설정된 조건은 사용자가 인공지능 디바이스(10)를 통해 조리한 음식 이력에 따라 학습된 사용자가 선호하는 음식 취향일 수 있다. 또는 상기 기 설정된 조건은 현재 각 식재료 보관기기에 저장된 식재료의 상태일 수 있다.
이하 상기 학습된 사용자의 선호 음식 취향에 따라 적어도 하나의 추천 음식이 결정되는 경우, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100) 동작 과정을 하기 도 6을 참조하여 보다 자세하게 설명하기로 한다. 또한 상기 각 식재료 보관기기에 저장된 식재료의 상태에 따라 적어도 하나의 추천 음식이 결정되는 경우, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100) 동작 과정을 하기 도 7을 참조하여 보다 자세하게 설명하기로 한다.
먼저 도 6은, 상술한 바와 같이 사용자의 취향을 학습한 결과에 따른 적어도 하나의 음식을 사용자에게 추천하는 동작 과정을 도시한 흐름도이다.
도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는, 상기 도 5의 S508 단계가 진행되는 경우, 먼저 제어부(100)는 먼저 음성 명령을 발화한 사용자를 식별할 수 있다(S600). 그리고 식별된 사용자에 대해 저장된 커스터마이징 데이터를 검색할 수 있다(S602).
여기서 상기 커스터마이징 데이터는, 현재 식별된 사용자에 대해 학습된 개인화 데이터를 의미하는 것으로, 사용자가 선호하는 음식의 종류, 및 음식 재료 등이 학습된 데이터일 수 있다. 상기 커스터마이징 데이터는 사용자가 인공지능 디바이스(10)를 통해 조리한 음식 이력에 따라 학습되는 것으로, 현재까지 사용자가 조리한 음식들 및 그 음식들이 조리된 빈도에 따라, 사용자가 선호하는 음식, 사용자가 선호하는 음식 종류 및 음식 재료 등이 학습된 데이터일 수 있다.
즉, 제어부(100)는 현재까지 조리된 빈도가 높은 음식 일수록 사용자가 선호하는 음식으로 학습할 수 있으며, 상기 선호하는 음식의 종류, 음식의 재료를 사용자가 선호하는 음식 종류 및 음식 재료로 학습할 수 있다. 따라서 제어부(100)는 사용자가 선호하는 음식 뿐만 아니라, 사용자가 선호하는 음식 종류(예 : 탕, 찌개, 볶음 등)와 음식 재료(예 : 돼지고기, 소고기, 생선 등) 등을 학습할 수 있다. 그리고 사용자의 커스터마이징 데이터는 상기 학습 결과에 따라 결정된 사용자의 선호 음식 뿐만 아니라, 사용자가 선호하는 음식 종류와 음식 재료의 정보를 포함할 수 있다.
따라서 제어부(100)는 상기 S602 단계에서 검색된 커스터마이징 데이터에 근거하여, 현재 수신된 음성 명령에 의해 식별된 사용자가 선호하는 음식 뿐만 아니라, 사용자가 선호하는 음식 유형, 즉 사용자가 선호하는 음식 종류와 음식 재료를 결정할 수 있다(S604).
상기 S604 단계에서 사용자가 선호하는 음식 및 선호하는 음식 유형이 결정되면, 제어부(100)는 상기 도 5의 S506 단계에서 각 식재료 보관기기로부터 수신된 식재료 정보에 근거하여, 현재 조리 가능한 음식들을 검출할 수 있다(S606). 이 경우 상술한 바와 같이, 상기 조리 가능한 음식들은, 메모리(170)에 저장된 레시피에 따른 음식의 주재료에 대응하는 식재료들이, 모두 일정량 이상 식재료 보관기기에 보관된 상태인 경우 제어부(100)는 해당 레시피에 대응하는 음식을 현재 조리 가능한 음식으로 검출할 수 있다.
여기서, 상기 일정량은, 사용자가 인공지능 디바이스(10)를 통해 조리한 음식 이력에 따라 학습된 음식량에 따라 결정될 수 있다. 예를 사용자가통상적으로 3인분의 음식을 조리하는 경우, 제어부(100)는 레시피에 따른 음식의 주재료에 대응하는 식재료의 3인분에 해당하는 양 이상 식재료가 보관된 경우에 한하여 해당 레시피에 대응하는 음식을 현재 조리 가능한 음식으로 검출할 수 있다. 이 경우 상기 학습된 음식량의 정보는 상기 식별된 사용자의 커스터마이징 데이터에 포함된 정보일 수 있다.
한편 상기 S606 단계에서, 현재 조리 가능한 음식들의 목록이 검출되면, 제어부(100)는 상기 S604 단계에서 결정된 사용자 선호 음식 및 사용자 선호 음식 유형에 근거하여 상기 조리 가능한 음식들의 목록 중 적어도 하나의 음식을 추천 음식으로 결정할 수 있다(S608).
예를 들어 제어부(100)는 상기 S608 단계에서, 상기 조리 가능한 음식들 중 기 설정된 우선 순위에 따라 적어도 하나의 음식을 추천 음식으로 결정할 수 있다. 일 예로 상기 제어부(100)는 사용자 선호 음식을 우선 순위를 가장 높게 설정하고, 이후 음식 종류와 음식 재료의 순서로 우선 순위를 설정할 수 있다.
따라서 상기 조리 가능한 음식들 중 가장 먼저 사용자 선호 음식에 따른 음식들이 추천 음식으로 결정될 수 있다. 그러므로 상기 조리 가능한 음식들 중 사용자 선호 음식이 적어도 하나 포함된 경우 제어부(100)는 상기 적어도 하나의 사용자 선호 음식에 대응하는 음식을 먼저 추출할 수 있다. 그리고 제어부(100)는 상기 조리 가능한 음식들의 각 레시피에 포함된 각 음식의 종류와 재료에 근거하여 사용자가 선호하는 음식 유형에 대응하는 적어도 하나의 음식을 추출할 수 있다.
한편 제어부(100)는 상기 사용자 선호 음식에 따라 추출된 음식들과 상기 사용자가 선호하는 음식 유형에 따라 추출된 음식들 각각으로부터 추천 음식을 결정할 수 있다. 일 예로 추천 음식의 한도 개수가 4개인 경우, 제어부(100)는 상기 사용자 선호 음식에 따라 추출된 음식들 중 사용자가 선호도가 높은(조리된 빈도가 높은) 2개의 음식을 추천 음식으로 결정할 수 있다. 그리고 제어부(100)는 상기 사용자가 선호하는 음식 유형에 따라 추출된 음식들 중 보다 높은 우선 순위(예 : 선호 음식 종류에 따라 추출된 음식)를 가지는 2개의 음식을 추천 음식으로 결정할 수 있다.
그리고 제어부(100)는 추천 음식으로 결정된 음식들을 디스플레이부(161) 상에 출력할 수 있다(S610). 그리고 제어부(100)는 도 5의 S510 단계로 진행하여, 상기 출력된 추천 음식들 중 어느 하나에 대한 사용자의 선택을 수신할 수 있으며, 선택된 어느 하나의 추천 음식에 대한 레시피를 검색할 수 있다.
한편 상술한 도 6과 달리, 제어부(100)는 현재 식재료 보관기기에 저장된 각 식재료의 상태에 근거하여 적어도 하나의 추천음식을 사용자에게 제공할 수도 있음은 물론이다.
도 7은 저장된 식재료의 신선도에 따른 적어도 하나의 음식을 사용자에게 추천하는 동작 과정을 도시한 흐름도이다.
도 7을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 먼저 수신된 식재료 정보에 근거하여 식재료의 신선도 정보를 체크할 수 있다(S700). 그리고 추출된 신선도에 근거하여 각 식재료의 사용 우선도를 결정할 수 있다(S702).
예를 들어 제어부(100)는 신선도가 일정 수준 이상인 식재료들에 근거하여 신선도에 근거하여 사용 우선도를 결정할 수 있다. 이 경우 신선도가 일정 수준 이하인 식재료들에 대해서는 식재료가 상한 것으로 판단하고, 사용자에게 식재료가 상했음을 알리는 알림 정보를 출력할 수 있다.
한편 신선도가 일정 수준 이상인 식재료들에 한해 제어부(100)는 신선도가 높을수록 사용 우선도를 낮게 설정하고, 신선도가 낮을수록 사용 우선도를 높게 설정할 수 있다. 그리고 제어부(100)는 각 식재료에 대해 결정된 사용 우선도에 근거하여 사용 우선도가 높은 식재료로 조리 가능한 음식들을 검출할 수 있다(S704).
이 경우 상술한 바와 같이, 상기 조리 가능한 음식들은, 메모리(170)에 저장된 레시피에 따른 음식의 주재료에 대응하는 식재료들이, 모두 일정량 이상 식재료 보관기기에 보관된 상태인 경우 제어부(100)는 해당 레시피에 대응하는 음식을 현재 조리 가능한 음식으로 검출할 수 있다. 이 경우 제어부(100)는 사용 우선도가 가장 높은 식재료를, 상기 레시피에 따른 음식의 주재료에 대응하는 식재료 중 적어도 하나로 포함하는 음식을 상기 조리 가능한 음식으로 검출할 수 있다.
그리고 제어부(100)는 추천 음식으로 결정된 음식들을 디스플레이부(161) 상에 출력할 수 있다(S706). 그리고 제어부(100)는 도 5의 S510 단계로 진행하여, 상기 출력된 추천 음식들 중 어느 하나에 대한 사용자의 선택을 수신할 수 있으며, 선택된 어느 하나의 추천 음식에 대한 레시피를 검색할 수 있다.
한편 상기 S702 단계에서는, 식재료의 신선도가 낮을수록 사용 우선도를 높게 설정하고, 신선도가 높을수록 사용 우선도를 낮게 설정하는 것을 예로 들어 설명하였으나, 이와는 반대로 식재료의 신선도가 높을수록 사용 우선도를 높게 설정하고, 신선도가 낮을수록 사용 우선도를 낮게 설정할 수도 있음은 물론이다. 이 경우 사용 우선도가 높을수록 식재료가 신선하므로, 음식 조리시 그 맛이 가장 좋을 수 있다.
한편 제어부(100)는, 식재료의 종류에 따라 신선도에 따른 사용 우선도를 다르게 설정할 수 있다. 일 예로 고기 등, 신선한 상태에서 섭취하는 것이 가장 맛이 좋은 신선 제품의 경우 식재료 보관기기는 식재료의 신선도가 높을수록 사용 우선도를 높게 설정하고, 신선도가 낮을수록 사용 우선도를 낮게 설정할 수도 있다. 반면 젓갈 또는 김치와 같이 어느 정도 숙성된 상태에서 그 맛이 더 좋은 식재료의 경우 반대로 식재료의 신선도가 낮을수록 사용 우선도를 높게 설정하고, 신선도가 높을수록 사용 우선도를 낮게 설정할 수도 있다. 이러한 음식 종류에 따른 사용 우선도 설정은 인공지능 디바이스(10)의 제조 당시에 설정되거나, 또는 인공지능 디바이스(10)에 대한 사용자에 입력에 따라 설정될 수 있다.
상술한 바와 같이 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 도 6 또는 도 7에 근거하여, 사용자가 선호하는 음식 취향(선호 음식 또는 선호 음식 유형) 또는 식재료의 보관 상태에 따라 결정되는 적어도 하나의 음식을 사용자에게 추천할 수 있다.
여기서 제어부(100)는 기 설정된 방식에 따라 사용자가 선호하는 음식 취향과 식재료의 보관 상태 중 어느 하나에 따른 추천 음식들을 사용자에게 추천할 수 있다. 예를 들어 제어부(100)는 상기 도 7의 S702 단계에서 각 식재료에 대해 결정되는 사용 우선도에 근거하여, 상기 사용자가 선호하는 음식 취향과 식재료의 보관 상태 중 어느 하나에 따른 추천 음식들을 사용자에게 추천할 수 있다.
이 경우 제어부(100)는 상기 도 7의 S702 단계에서 각 식재료에 대해 결정되는 사용 우선도들 중 가장 높은 값을 가지는 사용 우선도가, 기 설정된 값 이상인지 여부를 판별할 수 있다. 그리고 기 설정된 값 이상인 경우 상기 사용자 선호 음식 취향에 따른 추천 음식들에 우선하여 상기 식재료의 보관 상태에 따른 추천 음식들을 사용자에게 추천할 수 있다. 반면 상기 가장 높은 값을 가지는 사용 우선도가, 상기 기 설정된 값 미만인 경우 상기 식재료의 보관 상태에 따른 추천 음식들에 우선하여 상기 사용자 선호 음식 취향에 따른 추천 음식들을 사용자에게 제공할 수 있다.
한편 상술한 설명에서는, 본 발명의 실시 예에 따른 인공지능 디바이스(10)가 레시피 컨텐츠의 재생 상태에 따라 조리기기를 제어하여, 음식 조리가 진행될 수 있도록 할 수 있음을 언급한 바 있다. 그리고 상기 레시피 컨텐츠의 재생 도중, 사용자의 직접 조리가 필요한 과정으로 진입하는 경우 상기 레시피 컨텐츠의 재생을 일시 정지하고 상기 조리기기가 조리 대기 온도를 유지하도록 화력을 조절하는 구성을 설명한 바 있다.
이 경우, 상기 사용의 직접 조리가 필요한 과정에서, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 사용자의 요청에 따라 상기 사용자의 직접 조리 과정과 관련된 추가적인 컨텐츠를 더 제공할 수 있다. 이 경우 상기 추가로 제공되는 컨텐츠는 상기 레시피 컨텐츠의 재생이 일시 정지된 상태에서 사용자에게 제공될 수 있다. 이하 도 8 및 도 9는 이처럼 레시피 컨텐츠가 재생되는 중에, 관련 컨텐츠가 추가로 제공되는 동작 과정 및 그 예를 도시한 것이다.
먼저 도 8은 상술한 바와 같이, 본 발명의 실시 예에 따른 인공지능 디바이스(10)애서, 사용자의 직접 조리 과정에 관련된 추가적인 컨텐츠(이하 관련 컨텐츠)를 제공하는 동작 과정을 도시한 흐름도이다. 여기서 상기 도 8에서 도시하는 동작 과정은, 상기 도 3에서 사용자의 직접 조리 과정이 진행됨에 따라 레시피 컨텐츠의 재생이 일시 정지되고, 현재의 조리 상태에 따른 조리 대기 온도가 유지되는 상태에서 이루어지는 상기 도 3의 S312 단계에 대응하는 동작 과정일 수 있다.
도 8을 참조하여 살펴보면, 상기 도 3의 S310 단계에서 레시피 컨텐츠의 재생이 일시 정지 및, 조리 대기 온도가 유지되도록 조리기기가 제어되는 상태에서, 제어부(100)는 관련 컨텐츠의 제공에 대한 사용자의 요청이 있는지 여부를 체크할 수 있다(S800). 여기서 상기 사용자 요청은 디스플레이부(161)의 일 영역에 인가되는 사용자의 터치 입력 또는 사용자의 음성 명령을 통해 수신될 수 있다.
상기 S800 단계의 체크 결과 관련 컨텐츠에 대한 사용자의 요청이 있는 경우라면, 제어부(100)는 레시피 컨텐츠의 일시 정지 상태가 유지되는 상태에서, 상기 사용자의 요청에 따른 관련 컨텐츠를 재생할 수 있다(S802). 이 경우 제어부(100)는 상기 레시피 컨텐츠가 재생되는 화면의 적어도 일부에 상기 관련 컨텐츠의 재생 화면이 출력될 수 있다.
한편 상기 관련 컨텐츠가 재생되면, 제어부(100)는 사용자의 직접 조리가 이루어지는 사용자 조리 과정이 완료되었는지 여부를 체크할 수 있다(S804). 일 예로 제어부(100)는 사용자로부터 사용자 직접 조리 과정이 완료되었음을 알리는 음성 명령 또는 다음 과정으로의 진행을 요청하는 사용자의 음성 명령이 수신되는 경우 상기 사용자 조리 과정이 완료된 것으로 판단할 수 있다.
상기 S804 단계의 체크 결과, 사용자 조리 과정이 완료된 경우라면, 제어부(100)는 도 3의 S314 단계로 진행하여 일시 정지 상태로 유지되는 레시피 컨텐츠의 재생을 재개하고, 상기 일시 정지 시점 이후에 재생되는 레시피 컨텐츠에 따라 음식의 조리가 재개될 수 있도록 조리 온도를 복원할 수 있다. 그리고 도 3의 S314 단계 이후의 과정을 이어서 진행할 수 있다.
한편 상기 S804 단계의 체크 결과, 사용자 조리 과정이 완료되지 않은 경우라면, 제어부(100)는 다시 S800 단계로 진행하여, 관련 컨텐츠의 제공에 대한 사용자 요청이 수신되었는지 여부를 확인할 수 있다. 그리고 관련 컨텐츠 제공을 요청하는 사용자의 요청이 다시 수신된 경우라면, S802 단계로 진행하여 선택된 관련 컨텐츠를 재생 및 그 이후의 과정을 수행할 수 있다. 그러나 상기 S800 단계에서 관련 컨텐츠의 재생에 관련된 사용자의 요청이 수신되지 않은 경우라면, 제어부(100)는 S804 단계로 진행하여 사용자의 조리 과정이 완료되었는지 여부를 체크하고, 체크 결과에 따라 도 3의 S314 단계로 진행하거나, 다시 도 8의 S800 단계로 진행하여 관련 컨텐츠의 제공에 대한 사용자의 요청이 있는지 여부를 판단할 수 있다.
도 9는, 상기 도 8의 동작 과정에 따라, 조리 도중 특정 조리 과정에 관련된 관련 컨텐츠가 제공되는 예를 도시한 예시도이다.
도 9를 참조하여 살펴보면, 본 발명의 실시 에에 따른 인공지능 디바이스(10)의 제어부(100)는 레시피 컨텐츠의 재생 중에, 재료 준비 및 투하 과정과 같이 사용자의 직접 조리가 필요한 과정이 재생되는 경우, 상기 도 3의 S308 단계에서 음식의 조리 과정이 사용자 조리 과정으로 진입한 것으로 판단할 수 있다. 이 경우 제어부(100)는 사용자에게 상기 사용자의 직접 조리를 요청하는 메시지를 출력하여 사용자의 직접 조리가 필요함을 사용자에게 알릴 수 있다.
한편 상술한 바와 같이 본 발명은, 인공지능 디바이스(10)에서 레시피 컨텐츠의 재생과 동시에, 상기 재생되는 레시피 컨텐츠에 따라 음식이 조리되도록 조리기기를 제어(예 : 화력 제어)한다. 따라서 상기 사용자의 직접 조리가 필요한 과정으로 진입하는 경우, 상기 사용자의 직접 조리에 소요되는 시간으로 인해 조리 중인 음식이 필요 이상으로 가열되거나 또는 음식이 식는 것을 방지하기 위해, 화력을 제어하여 현재의 조리 온도에 따라 결정되는 조리 대기 온도를 유지할 수 있도록 한다. 또한 상기 사용자의 직접 조리에 소요되는 시간 동안 제어부(100)는 재생되는 레시피 컨텐츠를 일시 정지 상태로 유지할 수 있다.
이처럼 레시피 컨텐츠가 일시 정지 상태로 유지되는 상태에서, 제어부(100)는 현재 요청된 사용자의 직접 조리 과정에 관련된 컨텐츠에 대한 사용자의 요청을 감지할 수 있다. 즉, 도 9의 (a)에서 보이고 있는 바와 같이, 레시피 컨텐츠가 일시 정지된 상태에서 사용자는 음식에 투하될 부가 재료, 즉 '당근'을 손질하는 법에 관련된 컨텐츠를 요청할 수 있다(도 8의 S800 단계).
여기서 상기 사용자의 관련 컨텐츠 요청은, 도 9의 (a)에서 보이고 있는 바와 같이 음성 명령을 통해 요청될 수 있다. 또는 사용자는 상기 도 9의 (a)에서 보이고 있는 바와 같이, 관련 컨텐츠에 대응하는 그래픽 객체(900)를 선택함으로써 상기 관련 컨텐츠의 재생을 선택할 수 있다. 이 경우 상기 그래픽 객체(900)는 레시피 컨텐츠가 표시되는 디스플레이부(161) 화면의 일 영역에 표시될 수 있다. 여기서 상기 그래픽 객체(900)는 사용자의 직접 조리가 필요한 경우에 표시되는 것으로, 사용자의 직접 조리 과정이 진행됨에 따라 상기 레시피 컨텐츠의 재생 상태가 일시 정지 상태를 유지하는 경우에 한하여 표시될 수 있다.
한편 상기 관련 컨텐츠에 대한 사용자의 요청이 감지되는 경우, 제어부(100)는 사용자의 요청에 대한 응답으로 상기 관련 컨텐츠를 디스플레이부(161) 상에 재생할 수 있다. 이 경우 상기 관련 컨텐츠는 도 9의 (b)에서 보이고 있는 바와 같이 일시 정지 상태에 있는 레시피 컨텐츠의 재생 화면 적어도 일부에 대응하는 영역에 표시될 수 있다.
일 예로 제어부(100)는 상기 관련 컨텐츠의 재생이 선택되는 경우, 상기 레시피 컨텐츠가 출력되는 제1 레이어와 구분되는 제2 레이어를 형성할 수 있으며, 상기 제1 레이어의 적어도 일부를 커버하도록 상기 제2 레이어를 출력할 수 있다. 그리고 상기 제2 레이어 상에 상기 관련 컨텐츠를 재생할 수 있다.
그리고 제어부(100)는, 도 9의 (c)에서 보이고 있는 바와 같이, 관련 컨텐츠가 재생되는 경우, 사용자로부터 다음 과정으로의 진행을 요청하는 음성 명령을 수신할 수 있다. 그리고 사용자가 다음 과정, 즉 사용자의 직접 조리가 완료되었음을 나타내는 음성 명령 또는 다음 과정으로의 진행을 요청하는 음성 명령이 수신되는 경우, 제어부(100)는 사용자의 직접 조리 과정이 완료된 것으로 판단하고 레시피의 컨텐츠를 상기 일시 정지된 시점에서 이어서 재생할 수 있다.
이 경우 다음 진행 과정이 사용자의 직접 조리가 요구되지 않는 과정이면, 제어부(100)는 다시 레시피 컨텐츠의 재생을 재개 및 레시피 컨텐츠의 재생 상태에 따라 음식이 조리되도록 조리기기를 제어할 수 있다. 그러나 다음 진행 과정 역시 사용자의 직접 조리가 요구되는 과정인 경우, 다시 도 9의 (a) 및 (b)와 같이, 레시피 컨텐츠의 재생 상태를 일시 정지 상태로 유지하고 사용자의 요청에 따라 관련 컨텐츠를 재생할 수 있다.
한편 상술한 설명은, 본 발명의 실시 예에 따른 인공지능 디바이스(10)가 인덕션 또는 오븐 등, 음식을 조리하는 조리기기와 연결되어, 상기 레시피 컨텐츠의 재생 상태에 따라 음식을 조리하는 과정을 설명하였으나, 본 발명이 이에 한정되는 것이 아님은 물론이다. 예를 들어 본 발명의 실시 예에 따른 인공지능 디바이스(10)는, 곡물 디스펜서(dispenser)와 같이, 특정 음식을 조리하기 위해 일정량의 식재료를 토출하는 기기와 연결될 수 있다. 그리고 식별된 사용자의 커스터마이징 데이터에 따른 일정량의 식재료가 토출되도록 할 수 있다.
도 10은 이와 같이, 본 발명의 실시 예에 따른 곡물 디스펜서에 인공지능 디바이스(10)가 연결되어, 사용자 커스터마이징 데이터에 따른 곡물의 토출 및 불림이 이루어지도록 곡물 디스펜서를 제어하는 동작 과정을 도시한 흐름도이다.
도 10을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 밥을 짓기 위한 곡물 토출을 요청하는 사용자의 요청이 수신되는 경우, 사용자의 요청으로부터 사용자를 식별할 수 있다(S1000). 일 예로 제어부(100)는 상기 사용자의 요청에 대응하는 발화한 사용자의 음성, 또는 상기 사용자의 요청에 대응하는 음성 명령을 발화한 사용자의 이미지에 근거하여, 상기 수신된 곡물 토출 요청에 대응하는 사용자를 식별할 수 있다.
그러면 제어부(100)는 상기 식별된 사용자에 대응하는 커스터마이징 데이터를 검색할 수 있다(S1002). 그리고 상기 사용자의 요청을 분석하여(S1004) 사용자의 요청에, 곡물 토출을 위한 설정값이 포함되어 있는지 여부를 판별할 수 있다(S1006). 여기서 상기 곡물 토출을 위한 설정값은 곡물을 토출하기 위해 필요한 설정값으로, 어떤 곡물을 토출할 것인지(토출 곡물), 얼마나 토출할 것인지(전체 곡물 토출량), 또 어떻게 토출할 것인지(곡물의 혼합비율)에 대한 정보일 수 있다.
이 경우 제어부(100)는, 사용자의 요청 중에 지정된 쌀을 제외한 특정 곡물의 명칭이 있는 경우, 지정된 곡물의 토출을 사용자가 요청한 것으로 판단할 수 있다. 그러나 사용자의 요청 중에 특정 곡물의 명칭이 포함되지 않은 경우라면, 사용자의 요청이 곡물이 토출된 특정 시점을 포함하고 있는지를 검출할 수 있다. 그리고 곡물이 토출된 특정 시점을 사용자 요청이 포함하고 있는 경우, 상기 특정 시점의 곡물 토출 이력으로부터 쌀과 혼합할 특정 곡물을 결정할 수 있다.
한편 상기 곡물 토출량 및 곡물 혼합비율 역시 이와 유사하게 결정될 수 있다. 예를 들어 사용자의 요청이 밥 양(예 : 2 인분) 또는 곡물 혼합비율에 대한 정보를 포함하는 경우, 제어부(100)는 상기 지정된 밥 양 또는 곡물 혼합비율에 따라 곡물 토출량 또는 곡물 혼합비율을 결정할 수 있다. 또는 사용자의 요청이 곡물이 토출된 특정 시점에 대한 정보를 포함하는 경우, 제어부(100)는 상기 특정 시점의 곡물 토출 이력으로부터 곡물 토출량 또는 곡물 혼합비율을 결정할 수 있다(S1010).
그러나 상기 S1006 단계의 판별 결과, 수신된 사용자 요청이 곡물 토출을 위한 설정값(지정값 또는 특정 시점)을 포함하지 않는 경우라면, 제어부(100)는 상기 S1002 단계에서 검색된 사용자 커스터마이징 데이터에 근거하여 상기 곡물 토출을 위한 설정값을 결정할 수 있다. 즉, 제어부(100)는, 상기 설정값이 사용자의 요청에 포함되지 않은 경우, 사용자의 요청에 따라 곡물이 토출된 이력에 근거하여 상기 사용자가 선호하는 곡물의 종류 및 곡물 토출량, 그리고 선호하는 곡물 혼합비율을 인공지능부(180)가 학습한 결과에 근거하여 상기 곡물 토출을 위한 설정값을 결정할 수 있다(S1008).
한편, 상기 S1008 단계 또는 S1010 단계에 근거하여, 곡물 토출을 위한 설정값(토출 곡물 종류, 곡물 토출량 및 곡물 혼합비율)이 결정되면, 제어부(100)는 결정된 설정값에 따라 곡물이 토출되도록 곡물 디스펜서를 제어할 수 있다. 그리고 토출된 곡물을 세척 및 기 설정된 양의 밥물에 따라 세척된 곡물을 불리도록 상기 곡물 디스펜서를 제어할 수 있다(S1014).
그리고 제어부(100)는 상기 결정된 설정값에 따른 학습 데이터를 생성할 수 있다(S1014). 상기 10914 단계는, 상기 S1008 단계 또는 S1010 단계에서 결정된 설정값을, 기 설정된 포맷을 가지는 학습 데이터로 생성하는 과정일 수 있다. 그리고 상기 S1014 단계의 과정을 거쳐 학습 데이터가 생성되면, 제어부(100)는 상기 S1008 단계 또는 S1010 단계에서 결정된 설정값에 따라 상기 인공지능부(180)가 학습을 수행할 수 있도록, 상기 생성된 학습 데이터를 상기 인공지능부(180)에 입력할 수 있다.
그러면 제어부(100)의 입력에 따라 인공지능부(180)는 상기 S1008 단계 또는 S1010 단계에서 결정된 설정값에 근거하여 학습을 수행하고, 수행된 학습 결과에 따라 상기 식별된 사용자의 커스터마이징 데이터를 갱신할 수 있다(S1016).
한편 상술한 바에 따르면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 연결된 각 식재료 보관기기로부터 식재료 정보들을 수신할 수 있음을 언급한 바 있다. 여기서 상기 식재료 정보는 각 식재료 보관기기에 저장된 식재료의 잔량에 대한 정보를 포함할 수 있다.
따라서 상기 인공지능 디바이스(10)의 제어부(100)는 상기 식재료의 잔량에 근거하여, 잔량이 부족한 식재료를 검출하고 검출된 식재료의 구매 여부를 사용자에게 요청할 수 있다.
도 11은 이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 검출된 식재료의 잔량에 근거하여 잔량이 부족한 식재료에 대한 구매를 진행하는 동작 과정을 도시한 흐름도이다.
도 11을 참조하여 살펴보면, 인공지능 디바이스(10)의 제어부(100)는, 식재료 정보가 수신되는 경우, 식재료 각각에 대한 사용자의 사용 빈도를 검출할 수 있다. 그리고 상기 검출된 식재료 사용 빈도에 근거하여 각 식재료에 대한 사용자의 선호도를 결정할 수 있다(S1100). 이 경우 사용 빈도가 일정 수준 이상 높은 식재료는 사용자의 선호도가 높은 식재료, 즉 사용자 선호 식재료일 수 있다.
상기 S1100 단계에서 각 식재료에 대한 사용자의 선호도가 결정되면, 제어부(100)는 결정된 사용자 선호도가 일정 수준 이상인 식재료들에 대한 기 설정된 기간 동안의 평균 소비량을 검출할 수 있다(S1102). 즉, 사용자가 자주 사용하는 식재료들에 대하여, 제어부(100)는 기 설정된 기간 동안에 식재료를 사용자가 사용한 양과 각 식재료가 사용된 빈도에 근거하여, 상기 식재료에 대한 상기 기 설정된 기간 동안의 각 사용 빈도 별 평균 소비량을 산출할 수 있다.
한편 제어부(100)는 상기 S1104 단계에서 사용자가 선호하는 각 식재료의 평균 소비량에 근거하여 각 식재료에 대한 최소 비축량을 결정할 수 있다(S1104). 이 경우 제어부(100)는 상기 평균 소비량을 최소 비축량으로 결정하거나 또는 상기 평균 소비량에 기 설정된 마진량을 합하여 그 식재료에 대한 최소 비축량을 결정할 수 있다.
여기서 상기 기 설정된 마진량은 각 식재료 별로 서로 다르게 결정될 수 있다. 예를 들어 평균 소비량이 큰 식재료의 경우 상기 마진량은 큰 값을 가질 수 있다. 반면 평균 소비량이 작은 식재료의 경우 마진량은 작은 값을 가질 수 있다. 일 예로 상기 기 설정된 마진량은 상기 평균 소비량의 배수로 결정될 수 있다.
상기 S1104 단계에서, 사용자 선호도가 일정 수준 이상인 식재료들에 대해 최소 비축량들이 결정되면, 제어부(100)는 산출된 각 식재료별 최소 비축량과 각 식재료 보관기기에 저장된 상기 사용자 선호 식재료들의 잔량을 비교할 수 있다(S1106). 그리고 식재료 보관기기에 저장된 사용자 선호 식재료들 중, 잔량이 상기 산출된 최소 비축량보다 적은 식재료가 있는지를 검출할 수 있다. 그리고 잔량이 최소 비축량보다 적은 사용자 선호 식재료가 없는 경우 식재료에 대한 구매 프로세스를 진행하지 않을 수 있다.
반면 상기 S1106 단계의 검출 결과, 잔량이 최소 비축량보다 적은 사용자 선호 식재료가 있는 경우라면, 제어부(100)는 잔량이 부족한 식재료가 있음을 알리는 알림 정보를 출력할 수 있다(S1108). 이 경우 상기 알림 정보는 사용자에게 잔량이 부족한 식재료의 구매 여부를 확인하기 위한 질의를 포함할 수 있다.
한편 상기 알림 정보에 대한 응답으로, 사용자가 상기 잔량이 부족한 식재료의 구매를 선택하는 경우, 제어부(100)는 해당 곡물(잔량이 부족한 곡물)의 구매 프로세스를 진행할 수 있다(S1110). 이 경우 제어부(100)는 내장된 구매 애플리케이션을 구동하여, 사용자의 음성 입력에 따라 해당 식재료(잔량이 최소 비축량 미만인 사용자 선호 식재료)를 주문 및 결제 과정을 진행할 수 있다. 또는 근거리 통신 모듈을 통해 기 설정된 외부 단말기에 접속하고, 상기 외부 단말기에 특정 식재료(잔량이 최소 비축량 미만인 사용자 선호 식재료)의 정보 및, 상기 특정 식재료의 구매가 가능한 온라인 스토어들의 검색 정보를 제공함으로써, 사용자가 상기 외부 단말기를 통해 상기 특정 식재료를 구매하도록 할 수 있다. 이 경우 상기 외부 단말기는 사용자의 이동 단말기 또는 컴퓨터 등일 수 있다.
한편 상술한 도 11의 과정은, 음식 레시피의 추천을 위해 연결된 식재료 보관기기들로부터 식재료 정보를 수신하는 도 5의 S506 과정에서 진행될 수 있다. 이 경우 제어부(100)는 상기 잔량이 부족한 사용자 선호 식재료의 구매 프로세스를 진행한 이후에, 각 식재료 보관기기들로부터 수신한 식재료 정보들에 근거하여 조리 가능한 음식들을 검출하고 검출된 음식들 중 적어도 하나의 음식을 추천 음식으로 제공할 수 있다.
그러나 본 발명이 이에 한정되는 것이 아님은 물론이다. 즉, 상기 도 11의 과정은 상기 도 5의 S506 단계에 한하여 진행되는 것이 아니라, 사용자의 요청 등에 의해 적어도 하나의 식재료 보관기기들이 인공지능 디바이스(10)에 연결되는 경우, 얼마든지 조리가능한 음식의 추천 과정(예 : 도 5의 S506 단계)과는 별개의 과정으로 진행될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 스마트 홈 쿠킹(cooking) 시스템에 있어서,
    식재료를 조리하도록 형성되는 적어도 하나의 조리기기; 및,
    사용자의 음성 명령을 식별 및 상기 식별된 음성 명령에 따라 식재료를 조리하도록 상기 조리기기를 제어하도록 형성되며, 상기 사용자의 음식 조리 이력에 따라 사용자의 선호 음식과 사용자의 선호 음식 유형을 학습 및,
    사용자의 요청이 있는 경우 상기 학습된 결과에 근거하여, 기 저장된 복수의 레시피 중 사용자의 선호 음식 또는 사용자의 선호 유형에 따른 적어도 하나의 음식 레시피를 검출 및 검출된 적어도 하나의 음식 레시피를 사용자에게 추천 음식 레시피로 제공하는 인공지능 디바이스를 포함하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  2. 제1항에 있어서, 상기 인공지능 디바이스는,
    상기 사용자의 음식 조리 이력에 따라 기 설정된 빈도 이상 조리된 적어도 하나의 음식을 검출하여 상기 사용자가 선호하는 음식을 학습 및, 상기 기 설정된 빈도 이상 조리된 음식의 종류 및 재료에 근거하여 사용자가 선호하는 음식 유형을 학습하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  3. 제1항에 있어서,
    상기 스마트 홈 쿠킹 시스템은,
    상기 식재료를 보관하는 보관기기를 더 포함하며,
    상기 인공지능 디바이스는,
    상기 보관기기와 통신 연결 및, 통신 연결을 통해 상기 보관기기로부터 수신되는 식재료 정보를 더 반영하여 상기 복수의 레시피 중 적어도 하나를 검출 및 검출된 적어도 하나의 레시피를 상기 추천 음식 레시피로 사용자에게 제공하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  4. 제3항에 있어서,
    상기 식재료 정보는,
    상기 보관기기에 포함된 식재료의 잔량 정보를 포함하며,
    상기 인공지능 디바이스는,
    상기 식재료의 잔량 정보에 근거하여, 상기 복수의 레시피에 대응하는 음식들 중 조리 가능한 음식들을 추출 및, 추출된 음식들 중 적어도 하나의 음식의 레시피를 상기 추천 음식 레시피로 사용자에게 제공하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  5. 제4항에 있어서,
    상기 인공지능 디바이스는,
    상기 식재료가 일정량 이상 상기 보관기기에 보관된 상태인 경우 상기 식재료에 근거하여 상기 조리 가능한 음식을 추출하며,
    상기 일정량은,
    사용자의 음식 조리 이력에 따라 학습된 음식량에 따라 결정되는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  6. 제3항에 있어서, 상기 보관기기는,
    상기 식재료의 숙성 상태 또는 신선도를 검출하는 센서를 더 포함하고, 상기 센서의 검출 결과에 따른 식재료의 숙성 상태 또는 신선도를 포함하는 식재료 정보를 상기 인공지능 디바이스로 전송하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  7. 제6항에 있어서, 인공지능 디바이스는,
    보관된 식재료의 종류에 따라, 상기 식재료 정보에 포함된 식재료의 숙성 상태 또는 신선도에 대응하는 사용 우선도를 다르게 설정하며,
    상기 사용 우선도에 근거하여 상기 복수의 레시피 중 적어도 하나를 검출 및 검출된 적어도 하나의 레시피를 상기 추천 음식 레시피로 제공하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  8. 제3항에 있어서, 상기 인공지능 디바이스는,
    상기 식재료의 잔량 정보가, 기 설정된 최소 비축량 미만인 경우 상기 식재료의 잔량이 부족함을 사용자에게 알리는 알림 정보를 통지하고, 사용자의 선택이 있는 경우 상기 식재료의 구매를 위한 구매 프로세스를 진행하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  9. 제8항에 있어서, 상기 인공지능 디바이스는,
    기 설정된 기간 동안의 상기 식재료의 사용 빈도에 따른 평균 소비량을 산출하고, 산출된 평균 소비량에 기 설정된 마진값을 더하여 상기 최소 비축량을 산출하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  10. 제8항에 있어서, 상기 인공지능 디바이스는,
    상기 보관기기에 보관된 식재료 중, 사용된 빈도에 따라 사용자가 선호하는 선호 식재료를 검출하고, 검출된 선호 식재료에 한하여 상기 잔량과 최소 비축량의 비교를 통해 부족 여부를 판별하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  11. 제1항에 있어서, 상기 인공지능 디바이스는,
    상기 적어도 하나의 조리기기와 통신 연결을 수행하는 통신부;
    재생이 가능한 형태로 저장된 상기 복수의 레시피, 사용자의 음식 조리 이력에 따라 학습된 사용자의 선호 음식과 사용자의 선호 음식 유형을 포함하는 커스터마이징 데이터 및 상기 조리기기의 제어를 위한 제어 정보가 저장되는 메모리;
    사용자의 음성 명령을 수신하기 위한 마이크를 포함하는 입력부;
    상기 복수의 레시피 중 선택된 어느 하나의 레시피를 출력하는 디스플레이부;
    상기 사용자의 음식 조리 이력에 따라 상기 사용자의 선호 음식과 사용자의 선호 음식 유형을 학습하는 인공지능부; 및,
    상기 음성 명령을 통해 식별된 사용자의 커스터마이징 데이터에 근거하여 상기 복수의 레시피 중 어느 하나를 검색하고, 검색된 레시피가 재생되도록 상기 디스플레이부를 제어 및, 상기 레시피의 재생 상태에 따른 제어 신호를 상기 조리기기로 전송하여 상기 레시피의 재생 상태에 따라 음식이 조리되도록 상기 조리기기를 제어하는 제어부를 포함하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  12. 제11항에 있어서, 상기 제어부는,
    상기 레시피의 재생 중, 사용자의 직접 조리가 요구되는 과정이 재생되면 상기 레시피의 재생을 일시 정지하고,
    상기 사용자의 직접 조리가 완료될 때까지 상기 음식의 조리 상태에 따른 조리 대기 온도가 유지되도록, 상기 조리기기가 음식을 가열하는 화력 레벨을 강하시키는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  13. 제12항에 있어서,
    상기 조리 대기 온도는,
    상기 음식이 조리되는 온도보다 기 설정된 수준 이상 낮은 온도이며,
    상기 조리 대기 온도를 위해 강하되는 화력 레벨은,
    상기 음식이 조리되는 온도가 높을수록 커지는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  14. 제12항에 있어서, 상기 제어부는,
    상기 레시피의 재생 중, 상기 사용자의 직접 조리가 요구되는 과정이 재생되면, 상기 사용자의 직접 조리와 관련된 추가 컨텐츠의 재생에 대한 사용자의 요청을 검출하고,
    사용자의 요청이 있는 경우, 상기 레시피의 재생이 일시 정지된 상태를 유지하면서, 상기 디스플레이부의 적어도 일부에 상기 추가 컨텐츠를 재생하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  15. 제14항에 있어서, 상기 제어부는,
    상기 레시피의 재생이 일시 정지된 상태인 경우, 상기 추가 컨텐츠에 대응하는 그래픽 객체를 상기 디스플레이부 상의 일 영역에 표시하고,
    상기 그래픽 객체에 대한 사용자의 입력이 인가되는 경우, 상기 추가 컨텐츠의 재생에 대한 사용자의 요청이 있는 것으로 판단하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  16. 제12항에 있어서, 상기 제어부는,
    사용자와의 대화 인터랙션(interaction)을 통해 상기 사용자의 직접 조리가 요구되는 과정이 완료되었는지 여부를 판별하며,
    상기 사용자의 직접 조리가 요구되는 과정이 완료된 경우, 상기 일시 정지된 레시피를 이어서 재생 및, 상기 조리 대기 온도에 따라 제어된 상기 조리기기의 화력 레벨을 복원하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  17. 제11항에 있어서, 상기 레시피는,
    동영상 컨텐츠 또는 음식을 조리하는 과정 별로 조리 내용을 나타낸 이미지들이 각 이미지에 지정된 시간이 경과할 때마다 순차적으로 하나씩 출력되는 슬라이드 형식의 컨텐츠임을 특징으로 하는 스마트 홈 쿠킹 시스템.
  18. 제11항에 있어서,
    상기 통신부는,
    기 설정된 외부 서버와 통신 연결을 수행하는 인터넷 모듈을 더 포함하고,
    상기 제어부는,
    상기 외부 서버로부터, 사용자의 요청에 따른 레시피를 검색 및, 검색된 레시피를, 기 저장된 복수의 레시피에 추가하는 것을 특징으로 하는 스마트 홈 쿠킹 시스템.
  19. 스마트 홈 쿠킹(cooking) 시스템에 구비되는 인공지능 디바이스의 제어 방법에 있어서,
    재생이 가능한 형태로 저장된 복수의 레시피 중 사용자의 요청에 따른 레시피를 검색하는 단계;
    상기 스마트 홈 쿠킹 시스템에 포함되는 적어도 하나의 조리기기 중, 상기 검색된 레시피에 따른 음식을 조리 가능한 어느 하나의 조리기기와 통신을 연결하는 단계;
    상기 검색된 레시피를 재생하는 단계;
    상기 레시피의 재생 상태에 따라 음식이 조리되도록 상기 통신 연결된 조리기기를 제어하는 단계;
    상기 레시피의 재생 중, 상기 사용자의 직접 조리가 요구되는 과정이 재생되면, 상기 레시피의 재생을 일시 정지하고 상기 사용자의 직접 조리가 완료될 때까지 상기 음식의 조리 상태에 따른 조리 대기 온도가 유지되도록, 상기 조리기기가 음식을 가열하는 화력 레벨을 강하시키는 단계; 및,
    상기 사용자의 직접 조리가 요구되는 과정이 완료되는 경우, 상기 일시 정지된 레시피를 이어서 재생 및, 상기 조리 대기 온도에 따라 제어된 상기 조리기기의 화력 레벨을 복원하는 단계를 포함하며,
    상기 사용자의 직접 조리가 요구되는 과정이 완료되는지 여부는,
    사용자와의 대화 인터랙션(interaction)을 통해 판별되는 것을 특징으로 하는 인공지능 디바이스의 제어 방법.
  20. 제19항에 있어서, 상기 사용자의 요청에 따른 레시피는,
    사용자의 음식 조리 이력에 따라 학습된 사용자의 선호 음식과 사용자의 선호 음식 유형에 근거하여 결정되는 적어도 하나의 음식에 대한 레시피임을 특징으로 하는 인공지능 디바이스의 제어 방법.
PCT/KR2022/001862 2022-02-07 2022-02-07 인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템 WO2023149592A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/001862 WO2023149592A1 (ko) 2022-02-07 2022-02-07 인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/001862 WO2023149592A1 (ko) 2022-02-07 2022-02-07 인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템

Publications (1)

Publication Number Publication Date
WO2023149592A1 true WO2023149592A1 (ko) 2023-08-10

Family

ID=87552354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001862 WO2023149592A1 (ko) 2022-02-07 2022-02-07 인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템

Country Status (1)

Country Link
WO (1) WO2023149592A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180067317A (ko) * 2016-12-12 2018-06-20 엘지전자 주식회사 냉장고 및 그 냉장고의 제어 방법
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
KR20200104592A (ko) * 2019-02-27 2020-09-04 주식회사 포트럭테이블 큐레이션엔진을 이용한 추천음식콘텐츠 미디어 제공시스템
JP2020160544A (ja) * 2019-03-25 2020-10-01 ファナック株式会社 食品提供システム、食品提供方法及びプログラム
KR20220011465A (ko) * 2020-07-21 2022-01-28 건국대학교 글로컬산학협력단 냉장고 식재료 관리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180067317A (ko) * 2016-12-12 2018-06-20 엘지전자 주식회사 냉장고 및 그 냉장고의 제어 방법
KR20200104592A (ko) * 2019-02-27 2020-09-04 주식회사 포트럭테이블 큐레이션엔진을 이용한 추천음식콘텐츠 미디어 제공시스템
JP2020160544A (ja) * 2019-03-25 2020-10-01 ファナック株式会社 食品提供システム、食品提供方法及びプログラム
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
KR20220011465A (ko) * 2020-07-21 2022-01-28 건국대학교 글로컬산학협력단 냉장고 식재료 관리 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2020050599A1 (ko) 배터리를 포함하는 장치
WO2017099483A1 (en) Device and method for providing user-customized content
EP3335190A1 (en) Device and method for providing user-customized content
WO2018199374A1 (ko) 오디오 장치 및 그 제어 방법
WO2019172559A1 (en) Air conditioner and method for control thereof
WO2019164233A1 (en) Display device for identifying preference of contents, based on internet of things (iot) device
WO2019198865A1 (ko) 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
WO2019066432A1 (ko) 전자 장치 및 이의 제어방법
CN106796570A (zh) 信息处理设备、信息处理方法和计算机程序
WO2020153614A1 (ko) 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼
WO2017119663A1 (en) Electronic device and method for controlling the same
WO2021049751A1 (ko) 인공 지능을 이용한 조리 기기 제어 방법 및 그 시스템
WO2019151830A1 (en) Electronic device and method for controlling the electronic device
WO2019054792A1 (ko) 컨텐트를 제공하는 방법 및 단말기
WO2020130260A1 (en) Mobile terminal and method of operating the same
EP3387821A1 (en) Electronic device and method for controlling the same
WO2023149592A1 (ko) 인공지능 디바이스 및 그 인공지능 디바이스를 포함하는 스마트 홈 쿠킹 시스템
JP2002281574A (ja) 機器制御方法、機器制御装置、動作状況取得装置、機器制御システム、プログラム、プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2020153526A1 (ko) Ai 개체에 대한 정보 수집 플랫폼 및 이를 통한 정보 수집 방법
WO2017164547A1 (ko) 몰입성 이벤트 기반 컨텐츠 가중치 조정 시스템 및 이를 이용한 컨텐츠 가중치 조정방법
WO2021206413A1 (en) Device, method, and computer program for performing actions on iot devices
WO2019022344A1 (ko) 광고를 교체하여 출력하는 장치 및 방법
WO2023113580A1 (ko) 조리 기기 및 그의 동작 방법
WO2021010522A1 (ko) 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925059

Country of ref document: EP

Kind code of ref document: A1