WO2022220520A1 - 조리 장치 및 이의 제어 방법 - Google Patents

조리 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2022220520A1
WO2022220520A1 PCT/KR2022/005215 KR2022005215W WO2022220520A1 WO 2022220520 A1 WO2022220520 A1 WO 2022220520A1 KR 2022005215 W KR2022005215 W KR 2022005215W WO 2022220520 A1 WO2022220520 A1 WO 2022220520A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
food
image
terminal device
display
Prior art date
Application number
PCT/KR2022/005215
Other languages
English (en)
French (fr)
Inventor
정진호
김우주
이동명
이주현
권순철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220021468A external-priority patent/KR20220141737A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22788376.6A priority Critical patent/EP4268688A4/en
Priority to CN202280018217.8A priority patent/CN116916795A/zh
Priority to US17/840,695 priority patent/US20220325896A1/en
Publication of WO2022220520A1 publication Critical patent/WO2022220520A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/02—Induction heating
    • H05B6/10—Induction heating apparatus, other than furnaces, for specific applications
    • H05B6/12—Cooking devices

Definitions

  • the present disclosure relates to a cooking apparatus and a method for controlling the same, and more particularly, providing an image of food photographed through a camera installed inside the cooking apparatus to a user, and receiving feedback from the user on the photographed image of cooked food
  • the present invention relates to a cooking apparatus capable of controlling an operation or improving a user's cooking environment, and a method for controlling the same.
  • a cooking device is a device configured to cook food.
  • the cooking apparatus may correspond to an oven, an induction cooker, an electric range, a gas range, and the like.
  • the conventional cooking apparatus only assists the user to monitor the cooking process by displaying the photographed image of the food on the display. There was a problem that could not reflect the user's need to actively control.
  • the present disclosure is intended to solve the above-described problems, and an object of the present disclosure is to provide an image of food to a user, and control the cooking device through the user's feedback on the photographed image of the food or analysis of the photographed image, thereby providing a user's satisfaction.
  • An object of the present invention is to provide a cooking apparatus capable of improving a cooking environment and a method for controlling the same.
  • a cooking apparatus includes a cooking compartment for accommodating food, a camera for photographing the inside of the cooking compartment, a communication interface, a memory for storing cooking methods for each dish, and cooking When is selected, the communication interface is configured to drive the cooking chamber based on the cooking method corresponding to the selected dish, control the camera to photograph the food inside the cooking chamber, and transmit the photographed image of the food to the user terminal device.
  • the processor drives the cooking chamber to perform additional cooking according to additional cooking conditions corresponding to the selected image. can be controlled.
  • the processor may update information stored in the memory based on the selected menu.
  • the update may include at least one of an update for correcting at least one of a cooking time, a cooking temperature, and a cooking pattern included in the cooking method, and an update for generating a notification message to be provided at the time of next cooking.
  • the processor may control the operation of the cooking chamber to stop.
  • the cooking apparatus further includes a display and an input device receiving a user's feedback, the processor controls the display to display the photographed image, and when the first feedback is input through the input device, the cooking apparatus Displaying a plurality of images for selecting additional cooking conditions for water, and when the second feedback is input through the input device, the display is configured to display a plurality of menus for analyzing the cause of the cooking state of the food. can be controlled
  • the processor controls driving of the cooking chamber to perform additional cooking according to additional cooking conditions corresponding to the selected image. can do.
  • the processor may update information stored in the memory based on the selected menu.
  • the memory stores a plurality of reference images indicating different cooking levels and a cooking method matching each of the plurality of reference images for each dish
  • the processor transmits the plurality of reference images to the user terminal device.
  • the cooking method stored in the memory is updated according to the cooking level corresponding to the selected reference image, and the driving of the cooking chamber is performed based on the cooking method corresponding to the selected reference image. can be controlled
  • the cooking apparatus further includes a laser device irradiating a laser toward the food, and the processor obtains a three-dimensional image of the food using the camera and the laser apparatus, and based on the three-dimensional image of the food to identify a food area and a non-cooked area from the photographed image of the food, and perform color correction on the food area of the photographed image to select additional cooking conditions for the food You can create an image.
  • the processor obtains three-dimensional spatial coordinates for each of a plurality of regions on the photographed linear laser based on an image photographed by the camera of the linear laser irradiated toward the food through the laser device, , an area having a height value of 0 in 3D spatial coordinates among the plurality of areas may be identified as a non-cooked area, and a non-cooked area may be identified as a non-cooked area.
  • the processor acquires a color value of a food corresponding to each of a plurality of regions on the laser image taken on the basis of the image captured by the camera, and the height value of the three-dimensional space coordinate is 0.
  • an area having a color value within a preset range compared to an area having a non-zero height may be identified as the food area.
  • the processor may match the three-dimensional image of the food with the photographed image of the food to identify the inside of the outer region of the food identified from the photographed image as the food area.
  • the user terminal device includes a memory in which an application for controlling a cooking apparatus including a camera for photographing the inside of a cooking chamber is stored, a display, a communication interface, and when the application is executed, cooking is performed in the cooking apparatus controlling the display to display a dish selection UI for receiving an input of a dish to be performed, and controlling the communication interface to transmit a control signal corresponding to a dish input from the dish selection UI to the cooking device, and the cooking device
  • the display is controlled to display a plurality of menus for receiving input of the photographed image and feedback related to the photographed image, and when one of the plurality of menus is selected, feedback corresponding to the selected menu is displayed. and a processor for transmitting to the cooking device.
  • the plurality of menus may include a first menu for requesting additional cooking of the food, a second menu for notifying a cooking failure of the food, and a third menu for notifying success of cooking of the food.
  • the processor controls the display to display a plurality of images for selecting additional cooking conditions when the first menu is selected, and failure analysis UI for receiving a cooking failure factor when the second menu is selected
  • the display may be controlled to display
  • the processor controls the display to display a plurality of reference images indicating different cooking levels for the input dish, and when one of the plurality of reference images is selected,
  • the communication interface may be controlled to transmit a control signal corresponding to the selected reference image to the cooking apparatus.
  • a method of controlling a cooking apparatus including a camera for photographing the inside of a cooking compartment includes, when a dish is selected, driving the cooking compartment based on a cooking method corresponding to the selected dish, and using the camera. photographing the food inside the cooking chamber using the method, transmitting a photographed image of the cooked food to a user terminal device, and receiving a selection of additional cooking conditions for the food when a first feedback related to the photographed image is received providing to the user terminal device a plurality of images for include
  • control method further includes performing additional cooking according to additional cooking conditions corresponding to the selected image when one of a plurality of images provided to the user terminal device is selected when the first feedback is received can do.
  • control method further includes the step of updating information stored in the cooking apparatus based on the selected menu when at least one of a plurality of menus provided to the user terminal device is selected when the second feedback is received can do.
  • control method may further include controlling the driving of the cooking chamber to stop when a third feedback for the photographed image is received.
  • control method includes displaying the photographed image through a display provided in the cooking apparatus and a plurality of methods for selecting additional cooking conditions for the food when the first feedback is input through an input device of the cooking apparatus.
  • the method may include displaying an image and controlling the display to display a plurality of menus for analyzing a cause of a cooking state of the food when the second feedback is input through the input device.
  • the control method controls driving of the cooking chamber to perform additional cooking according to additional cooking conditions corresponding to the selected image. It may further include the step of
  • control method may further include updating information stored in the cooking apparatus based on the selected menu when at least one of the plurality of menus displayed on the display is selected when the second feedback is input. have.
  • control method includes acquiring a three-dimensional image of food using a camera and a laser device included in the cooking apparatus, and based on the three-dimensional image of the food, a food area from a photographed image of the food.
  • the method may further include: identifying a non-cooked food area; and performing color correction on the food area of the photographed image to generate a plurality of images for receiving additional cooking conditions for the food selected.
  • the step of identifying the food area and the non-cooked material area may include: based on an image photographed by the camera of the linear laser irradiated toward the food through the laser device, Obtaining 3D spatial coordinates for each area, identifying an area in which the height value of the 3D spatial coordinate among the plurality of areas is 0 as a non-cooking area, and identifying a non-cooking area as a cooking area can do.
  • the step of identifying the food area and the non-cooked material area may include determining the color value of the food corresponding to each of the plurality of areas on the photographed linear laser based on the image photographed by the camera. and a region having a color value within a preset range compared to a region having a non-zero height among regions having a height value of 0 in the 3D spatial coordinates may be identified as a food region.
  • the inside of the outer area of the food identified from the photographed image by matching the three-dimensional image of the food with the photographed image of the food is the food area.
  • FIG. 1 is a view schematically showing a cooking system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a cooking apparatus according to an exemplary embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a detailed configuration of a cooking apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram illustrating a configuration of a user terminal device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining that a UI for displaying a plurality of reference images indicating different cooking levels is provided through a user terminal device according to an embodiment of the present disclosure
  • FIG. 6 is a diagram illustrating that a cooking selection UI is provided and a signal for driving a cooking chamber according to the selected dish is transmitted to the cooking apparatus through the user terminal device according to an embodiment of the present disclosure.
  • FIG. 7 is a UI for displaying a photographed image of cooked food and a plurality of menus input from a user regarding a cooking state of the food, and additional cooking when a first menu for requesting additional cooking of the food is selected;
  • FIG. 8 is a diagram illustrating a UI for displaying an image of cooked food after cooking corresponding to the image selected in FIG. 7 is performed;
  • FIG. 9 is a diagram for explaining that a UI for displaying a plurality of menus for analyzing a cause of a cooking state of food is provided when a second menu for notifying a cooking failure of food is selected;
  • FIG. 10 is a diagram illustrating a UI for displaying a notification message when a dish having a cooking failure history is selected.
  • FIG. 11 is a view for explaining that a UI for displaying a plurality of reference images representing different cooking levels is provided through a display provided in the cooking apparatus according to an embodiment of the present disclosure
  • FIG. 12 is a diagram illustrating that a cooking selection UI is provided through a display provided in the cooking apparatus.
  • a UI for displaying a photographed image of cooked food through a display provided in the cooking apparatus and a plurality of menus received from a user regarding a cooking state of the food, and a method for requesting additional cooking of the food 1 is a diagram for explaining that a UI for displaying a plurality of images for selecting additional cooking conditions is provided when a menu is selected.
  • FIG. 14 is a diagram for explaining that a UI for transmitting information to a user terminal device to analyze a cause of a cooking state of food is provided when a second menu for notifying a cooking failure of food is selected.
  • 15 is a flowchart illustrating a method of controlling a cooking apparatus according to an exemplary embodiment of the present disclosure.
  • 16 is a flowchart for explaining an embodiment of acquiring a 3D image of food in the cooking apparatus according to an embodiment of the present disclosure.
  • 17 is a view for explaining an embodiment of acquiring a three-dimensional image of a food using a camera and a laser device.
  • FIG. 18 is a view for explaining an embodiment in which a food area and a non-cooked area are identified from a photographed image of a food and color correction is performed only on the food area.
  • each step should be understood as non-limiting unless the preceding step must be logically and temporally performed before the subsequent step. That is, except for the above exceptional cases, even if the process described as the subsequent step is performed before the process described as the preceding step, the essence of the disclosure is not affected, and the scope of rights should also be defined regardless of the order of the steps.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present disclosure, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • the present specification describes components necessary for the description of each embodiment of the present disclosure, the present disclosure is not necessarily limited thereto. Accordingly, some components may be changed or omitted, and other components may be added. In addition, they may be distributed and arranged in different independent devices.
  • FIG. 1 is a view schematically showing a cooking system according to an embodiment of the present disclosure.
  • a cooking system may include a cooking device 100 , a user terminal device 200 , and a server 300 .
  • the cooking apparatus 100 , the user terminal device 200 , and the server 300 may control another device through one device or share and update information with another device by transmitting and receiving various types of information through communication.
  • the cooking apparatus 100 is an apparatus that performs various cooking operations by applying high-temperature heat generated using electricity or gas to food, and may correspond to an oven, an induction cooker, an electric range, a gas range, and the like.
  • the user terminal device 200 is a device capable of performing various functions, such as providing information to a user or receiving a user command, and may be various electronic devices such as a smart phone, a tablet, a wearable device, and a PC.
  • the server 300 may refer to an electronic device that collects and processes data of an external device.
  • the server 300 is not only a device that performs a function dedicated to the server, such as a cloud server, but also various electronic devices such as a smartphone, tablet, wearable device, and PC that can perform the function of the server together with other functions. may be implemented. However, this is only an example, and the server 300 may be implemented with various types of electronic devices not listed here.
  • the server 300 may be implemented as a single device or as an aggregate comprising a plurality of devices.
  • the server 300 may be a server that provides a SmartThings service.
  • the cooking apparatus 100 includes a camera for photographing food, which is a cooking object, and transmits information including an image photographed through the camera to the user terminal device 200 . can be transmitted In this case, the cooking apparatus 100 may transmit information directly to the user terminal device 200 or may transmit the information through the server 300 .
  • the user terminal device 200 may provide the received captured image to the user through the display, and may receive a user input for the captured image.
  • the user terminal device 200 may transmit a feedback according to a user input to the cooking apparatus 100 .
  • the user terminal device 200 may transmit information directly to the cooking apparatus 100 or may transmit the information through the server 300 .
  • the cooking apparatus 100 may control various components of the cooking apparatus 100 based on the feedback received from the user terminal apparatus 200 .
  • the cooking apparatus 100 may receive a feedback requesting additional cooking with respect to a photographed image of a food, a feedback indicating a cooking failure, a feedback indicating a cooking success, etc.
  • a notification message may be generated to control the cooking chamber to perform cooking or to provide a notification message to the user when the same cooking is performed thereafter.
  • the cooking apparatus 100 by providing information on the cooking apparatus 100 through the user terminal device 200 such as a mobile device more familiar to the user and receiving a user command therefor, so that the cooking environment can be changed. Users' accessibility and convenience can be improved.
  • FIG. 2 is a block diagram illustrating a configuration of a cooking apparatus according to an exemplary embodiment of the present disclosure.
  • the cooking apparatus 100 includes a cooking chamber 110 , a camera 120 , a communication interface 130 , and a memory 140 .
  • the cooking chamber 110 includes a space for accommodating food and is configured to perform a cooking operation on the food.
  • the cooking chamber 110 may include a heating member for generating heat, a driving device capable of rotating and moving food, and the like.
  • the camera 120 is provided inside the cooking compartment 110 , and may photograph the inside of the cooking compartment 110 .
  • the camera 120 may photograph the food accommodated in the cooking chamber 110 .
  • the communication interface 130 may transmit/receive various information by performing communication with an external device.
  • the cooking apparatus 100 may communicate with various external devices such as the user terminal device 200 and the server 300 through the communication interface 130 .
  • the communication interface 130 can communicate with an external device through a local area network (LAN), an Internet network, and a mobile communication network, as well as BT (Bluetooth), BLE (Bluetooth Low Energy), WI- It is possible to communicate with an external device through various communication methods such as FI (Wireless Fidelity), WI-FI Direct (Wireless Fidelity Direct), Zigbee, NFC, and the like.
  • the communication interface 130 may include various communication modules for performing network communication.
  • the communication interface 130 may include a Bluetooth chip, a Wi-Fi chip, a wireless communication chip, and the like.
  • Various instructions, programs, or data required for the operation of the cooking apparatus 100 or the processor 150 may be stored in the memory 140 .
  • the memory 140 may store information on various dishes that can be cooked by the cooking apparatus 100 , and information on a cooking method for each dish may be stored.
  • the cooking method stored in the memory 140 may include information such as a cooking time, a cooking temperature, and a cooking pattern.
  • the processor 150 may be electrically connected to the cooking chamber 110 , the camera 120 , the communication interface 130 , and the memory 140 to control the overall operation of the cooking apparatus 100 .
  • the processor 150 may drive the cooking chamber 110 based on a cooking method corresponding to the selected dish. Information on a cooking method corresponding to each dish may be obtained from the memory 140 . Meanwhile, the processor 150 may not only receive a cooking selection command through the user terminal device 200 , but also use an input device (or input interface 160 ) such as an operation panel provided in the cooking device 100 . You can receive a cooking selection command.
  • the processor 150 may control the camera 120 to photograph the food inside the cooking chamber. Meanwhile, the processor 150 may control the camera 120 to photograph the food when the cooking of the food is completed, that is, when the cooking operation according to the cooking method corresponding to the selected dish is completed.
  • the processor 150 may control the communication interface 130 to transmit the photographed image of the food obtained through the camera 120 to the user terminal device 200 .
  • the processor 150 may transmit a photographed image of cooked food to the user terminal device 200 .
  • the user terminal device 200 may provide the received captured image to the user through the display.
  • the processor 150 may control to display the photographed image through the display 171 provided in the cooking apparatus 100 .
  • FIG. 3 is a block diagram illustrating a detailed configuration of a cooking apparatus according to an embodiment of the present disclosure.
  • the cooking apparatus 100 includes a cooking chamber 110 , a camera 120 , a communication interface 130 , a memory 140 , an input interface 160 , an output interface 170 , and a laser device 180 . may include. A detailed description of the portion overlapping with the configuration shown in FIG. 2 among the configuration shown in FIG. 3 will be omitted.
  • the input interface 160 may receive various user commands. For example, the input interface 160 may receive a user command for controlling the cooking apparatus 100 to perform an executable cooking operation. In addition, the input interface 160 may receive a user's feedback on the photographed image of the food.
  • the input interface 160 may be implemented as an operation panel that receives a user command through a button (or key) of the cooking apparatus 100 , a display that receives a user command through a touch screen, a microphone that receives a user's speech voice, etc. have.
  • the input interface 160 may be expressed as an input device.
  • the output interface 170 may include at least one of a display 171 and a speaker 172 .
  • the display 171 is a device for outputting information in a visual form (eg, text, image, etc.).
  • the display 171 may display the image frame on all or part of the display area.
  • the display area may refer to the entire area of a pixel unit in which information or data is visually displayed.
  • the speaker 172 is a device that outputs information in an auditory form (eg, voice).
  • the speaker may directly output various types of notification sounds or voice messages as well as various audio data on which various processing operations such as decoding, amplification, and noise filtering have been performed by the audio processing unit.
  • the laser device 180 may be provided inside the cooking compartment 110 , and may irradiate a laser toward the food disposed inside the cooking compartment 110 .
  • the processor 150 may acquire a 3D image of the food using the camera 120 and the laser device 180 .
  • the processor 150 may acquire a three-dimensional image of the food based on an image captured by the camera 120 with a linear laser irradiated toward the food through the laser device 180 .
  • the processor 150 may identify the photographed image of the food into a food area and a non-cooked area using the three-dimensional image of the food.
  • FIGS. 16 to 18 An embodiment of the present disclosure for acquiring a three-dimensional image of a food using the laser device 180 will be described later with reference to FIGS. 16 to 18 .
  • FIG. 4 is a block diagram illustrating a configuration of a user terminal device according to an embodiment of the present disclosure.
  • the user terminal device 200 may include a communication interface 210 , a memory 220 , a processor 230 , a display 240 , and a speaker 250 .
  • the communication interface 210 may communicate with an external device such as the cooking apparatus 100 and the server 300 to transmit/receive various information.
  • the communication interface 210 may transmit a signal for controlling the cooking apparatus 100 , such as a cooking selection command and a feedback command, to the cooking apparatus 100 , and various cooking information including a photographed image of the food from the cooking apparatus 100 . can receive
  • An application for controlling the cooking apparatus 100 including a camera for photographing the inside of the cooking chamber may be stored in the memory 220 .
  • the user terminal device 200 may execute an application stored in the memory 220 to transmit/receive information to and from the cooking device 100 or the server 300 .
  • the user terminal device 200 may transmit a user command received through an application execution screen to the cooking device 100 through the server 300 .
  • the processor 230 When the application is first executed, the processor 230 provides a plurality of reference images indicating different cooking levels to the user through the display 240, and when one of the plurality of reference images is selected, the user's cooking preferences are also displayed according to the selected reference image. can be saved. Accordingly, the processor 230 may update the cooking method according to the user's cooking preference and control the cooking chamber to be driven based on the updated cooking method. A detailed description related thereto will be described later with reference to FIG. 5 .
  • the processor 230 controls the display 240 to display a dish selection UI for receiving an input of a dish to be cooked in the cooking apparatus 100, and controls the display 240 to display a dish corresponding to the dish input from the dish selection UI.
  • the communication interface 210 may be controlled to transmit a control signal to the cooking apparatus 100 . A detailed description thereof will be described later with reference to FIG. 6 .
  • the processor 230 controls the display 240 to display a plurality of menus for receiving input for the photographed image and the cooking state of the food, and from among the plurality of menus.
  • a feedback corresponding to the selected menu may be transmitted to the cooking apparatus 100 .
  • the plurality of menus may include a first menu for requesting additional cooking of the food, a second menu for notifying of a cooking failure of the food, and a third menu for notifying the success of cooking of the food. A detailed description related thereto will be described later with reference to FIG. 7 .
  • FIG. 5 is a diagram for explaining that a UI for displaying a plurality of reference images indicating different cooking levels is provided through a user terminal device according to an embodiment of the present disclosure
  • the user terminal device 200 may display a plurality of reference images 511 , 512 , and 513 indicating different cooking levels.
  • the plurality of reference images 511 , 512 , and 513 may be images to which different baking steps (or degrees of baking) are applied to the same dish.
  • the user may select a reference image suitable for his/her preference from among the plurality of reference images 511 , 512 , and 513 .
  • the user terminal device 200 may store the user's cooking preference according to the selected reference image. Accordingly, the processor 230 updates the cooking method according to the user's cooking preference and controls the cooking chamber to be driven based on the updated cooking method.
  • the user terminal apparatus 200 may transmit a control signal corresponding to the selected reference image to the cooking apparatus 100 .
  • the cooking apparatus 100 may control the cooking chamber to perform a cooking operation corresponding to the selected reference image, that is, a cooking operation for achieving the selected degree of roasting.
  • the cooking method stored in the memory may be updated according to the cooking level corresponding to the selected reference image.
  • the cooking method for each of the plurality of dishes stored in the memory of the cooking apparatus 100 may be updated according to the selected cooking level. For example, when the reference image 512 corresponding to the second cooking level is selected, a cooking method for each of a plurality of stored dishes may be set as the second cooking level.
  • the plurality of reference images and the cooking method matching each of the plurality of reference images may be stored in the memory of the user terminal device 200 or the cooking apparatus 100 .
  • FIG. 6 is a diagram illustrating that a cooking selection UI is provided and a signal for driving a cooking chamber according to the selected dish is transmitted to the cooking apparatus through the user terminal device according to an embodiment of the present disclosure.
  • the user terminal device 200 may display a UI for receiving a selection of a dish to be cooked through the cooking device 100 .
  • the cooking selection UI may be provided through an execution screen of an application stored in the user terminal device 200 . Referring to FIG. 6 , various cooking recipes 610 , 611 , 612 , 620 , and 630 that can be cooked by the cooking apparatus 100 may be displayed.
  • the user terminal device 200 may transmit a control signal for driving the cooking chamber to the cooking apparatus 100 based on a cooking method corresponding to the selected dish.
  • FIG. 7 is a UI for displaying a photographed image of cooked food and a plurality of menus input from a user regarding a cooking state of the food, and additional cooking when a first menu for requesting additional cooking of the food is selected;
  • the user terminal device 200 includes a plurality of menus 721, 722, 723) can be displayed.
  • the plurality of menus may include a first menu 721 for requesting additional cooking of the food, a second menu 722 for notifying the cooking failure of the food, and a third menu 723 for notifying the cooking success of the food. have.
  • the user may determine whether it is undercooked, overcooked, or well done by looking at the captured image 710 .
  • the user may select any one of the plurality of menus 721 , 722 , and 723 according to the determination of the cooking state of the photographed image 710 .
  • the user may select the first menu 721 for requesting additional cooking of the food.
  • the user may select the second menu 722 for notifying the cooking failure, and when it is determined that the food is properly cooked, the user may select the third menu 722 for notifying the cooking success.
  • a menu 723 may be selected.
  • the user terminal device 200 may transmit a first feedback on the photographed image to the cooking apparatus 100 .
  • the cooking apparatus 100 provides a plurality of images 731 , 732 , and 733 for selecting additional cooking conditions for food to the user terminal device 200 , and one of the plurality of images is displayed.
  • the driving of the cooking chamber 110 may be controlled to perform additional cooking according to additional cooking conditions corresponding to the selected image.
  • the cooking apparatus 100 When the first feedback is received from the user terminal device 200 , the cooking apparatus 100 provides the user terminal device 200 with a plurality of images 731 , 732 , and 733 for selecting additional cooking conditions for food. can When the cooking apparatus 100 receives a selection command for selecting one of the plurality of images 731 , 732 , and 733 from the user terminal device 200 , the cooking apparatus 100 performs additional cooking according to additional cooking conditions corresponding to the selected image.
  • the driving of 110 can be controlled.
  • the plurality of images 731 , 732 , and 733 are generated by correcting a photographed image (a photographed image of a food determined to be undercooked, such as 710 ) captured by the camera 120 of the cooking apparatus 100 ). It may correspond to an image that has been That is, in the case of the roasting dish as shown in FIG. 7, by displaying the degree of browning according to additional cooking through color correction of the photographed image of the food, the image of the food according to the result expected when additional cooking is performed is provided to the user step by step. can provide Accordingly, the user may intuitively determine the desired degree of additional cooking, and may transmit a control command to perform additional cooking corresponding to the selected image to the cooking apparatus 100 .
  • an expected result image may be generated by applying a style transfer method of synthesizing a style of another image (eg, a reference image of a food to which a stronger degree of roasting is applied) to the photographed image.
  • a style transfer method of synthesizing a style of another image eg, a reference image of a food to which a stronger degree of roasting is applied
  • the user terminal device 200 may transmit a second feedback on the photographed image to the cooking apparatus 100 .
  • the cooking apparatus 100 provides a plurality of menus for analyzing the cause of the cooking state of the food to the user terminal device 200, and when at least one of the plurality of menus is selected, the selected menu based on the information stored in the memory 140 may be updated.
  • the user terminal device 200 may display a failure analysis UI for receiving a cooking failure factor as an input. This will be described later with reference to FIG. 9 .
  • the user terminal device 200 transmits a third feedback for controlling the operation of the cooking chamber of the cooking apparatus 100 to be stopped so that the cooking operation of the cooking apparatus 100 is terminated.
  • the cooking apparatus 100 may determine the cooking state by comparing the photographed image of the food and the pre-stored cooked image of the food without a user's feedback input. In this case, the cooking apparatus 100 determines whether additional cooking is required, in a state in which cooking is unsuccessful, or in a state in which cooking is successful, based on the result of comparison between the photographed image and the completed cooking image, and provides the respective cooking states. A corresponding operation may be performed.
  • FIG. 8 is a diagram illustrating a UI for displaying an image of cooked food after cooking corresponding to the image selected in FIG. 7 is performed;
  • the cooking apparatus 100 may provide a photographed image 810 obtained by photographing food to the user terminal device 200 .
  • a UI for displaying a plurality of menus for receiving an input for a photographed image of food and a cooking state of food is provided through the display 171 provided in the cooking apparatus 100 as well as the user terminal device 200 . can be This will be described later with reference to FIGS. 11 to 14 .
  • FIG. 9 is a diagram for explaining that a UI for displaying a plurality of menus for analyzing a cause of a cooking state of food is provided when a second menu for notifying a cooking failure of food is selected;
  • the user terminal device 200 includes a plurality of menus 921, 922, 923) can be displayed.
  • the user terminal device 200 provides a plurality of menus 930 for analyzing the cause of the cooking state of the food, and provides at least one of the plurality of menus.
  • the menu of information stored in the memory 140 of the cooking apparatus 100 may be updated based on the selected menu.
  • the update may include an update for correcting at least one of a cooking time, a cooking temperature, and a cooking pattern included in the cooking method, or an update for generating a notification message to be provided at the time of next cooking.
  • the user terminal device 200 provides a menu 930 from which various cooking failure factors can be selected, receives the cooking failure factors from the user and stores them in the memory 140 .
  • a notification message about the history can be provided.
  • FIG. 10 is a diagram illustrating a UI 1010 for displaying a notification message when a dish having a cooking failure history is selected.
  • a photographed image 1011 (cooking failure image) of a food photographed in the last cooking before performing a cooking operation and a cooking failure factor selected by the user (1012) can be provided.
  • 11 is a view for explaining that a UI for displaying a plurality of reference images indicating different cooking levels is provided through the display 171 provided in the cooking apparatus 100 according to an embodiment of the present disclosure
  • 12 is a diagram illustrating that a cooking selection UI is provided through the display 171 provided in the cooking apparatus 100 .
  • a UI for displaying a photographed image of cooked food through a display provided in the cooking apparatus and a plurality of menus received from a user regarding a cooking state of the food, and a method for requesting additional cooking of the food 1 is a diagram for explaining that a UI for displaying a plurality of images for selecting additional cooking conditions is provided when a menu is selected.
  • the cooking apparatus 100 may display a photographed image 1310 of cooked food and a plurality of menus 1321 , 1322 , and 1323 for receiving input regarding the cooking state of the food through the display 171 .
  • the plurality of menus may include a first menu 1321 for requesting additional cooking of the food, a second menu 1322 for notifying the cooking failure of the food, and a third menu 1323 for notifying the cooking success of the food. have.
  • the cooking apparatus 100 may receive a user command through an input device (or the input interface 160 ) such as an operation panel provided in the cooking apparatus 100 .
  • an input device or the input interface 160
  • a user command may be input through a touch input on the display 171 .
  • the cooking apparatus 100 may display a plurality of images 1331 , 1332 , and 1333 for selecting additional cooking conditions for food through the display 171 . .
  • the cooking apparatus 100 performs additional cooking according to additional cooking conditions corresponding to the selected image. ) can be controlled.
  • the cooking apparatus 100 may display a photographed image 1350 of photographed food through the display 171 .
  • FIG. 14 is a diagram for explaining that a UI for transmitting information to a user terminal device to analyze a cause of a cooking state of food is provided when a second menu for notifying a cooking failure of food is selected.
  • the cooking apparatus 100 may display a photographed image 1410 of food photographed after cooking is completed and a plurality of menus 1421 , 1422 , and 1423 for receiving an input regarding the cooking state of the food. .
  • the cooking apparatus 100 displays a UI 1430 that transmits information to the user terminal device in order to analyze the cause of the cooking state of the food when a selection of the second menu 922 for notifying the cooking failure of the food is input. can do.
  • the user terminal apparatus 200 may provide a failure analysis UI (refer to 930 of FIG. 9 ) to the user.
  • 15 is a flowchart illustrating a method of controlling a cooking apparatus according to an exemplary embodiment of the present disclosure.
  • the cooking apparatus may drive the cooking chamber based on a cooking method corresponding to the selected dish ( S1510 ).
  • the cooking apparatus may photograph the food using the camera (S1520).
  • the cooking apparatus may transmit a photographed image of the cooked food to the user terminal device (S1530).
  • the cooking apparatus may provide a plurality of images for selecting additional cooking conditions for food to the user terminal device ( S1540 ).
  • the cooking apparatus may provide a plurality of menus for analyzing the cause of the cooking state of the food to the user terminal device (S1550).
  • FIGS. 16 to 18 an embodiment of acquiring a 3D image of a food using a laser device according to an embodiment of the present disclosure will be described with reference to FIGS. 16 to 18 .
  • FIG. 16 is a flowchart for explaining an embodiment of acquiring a three-dimensional image of food in a cooking apparatus according to an embodiment of the present disclosure
  • FIG. 17 is a three-dimensional view of food using a camera 120 and a laser device 180
  • FIG. 18 is a diagram for explaining an embodiment of acquiring an image
  • FIG. 18 is a diagram for explaining an embodiment in which a food area and a non-cooked area are identified from a photographed image of a food and color correction is performed only on the food area.
  • the cooking apparatus acquires a three-dimensional image of food (S1610), and identifies a food area and a non-cooked area from the photographed image of the food based on the three-dimensional image of the food (S1620), , a plurality of images for selecting additional cooking conditions for food may be generated by performing color correction on the food area of the photographed image (S1630).
  • the cooking apparatus may acquire a 3D image of the food ( S1610 ).
  • the cooking apparatus may acquire a three-dimensional image of the food based on an image captured by the camera 120 with a linear laser irradiated toward the food through the laser device 180 .
  • the linear laser irradiated onto the food is formed in a curved shape according to the curvature of the surface of the food.
  • the cooking apparatus may rotate the food by driving the cooking chamber, and thus the food may be rotated 360 degrees and the shape of the irradiated laser may be photographed through the camera 120 to obtain a three-dimensional image of the food.
  • the processor 150 may obtain three-dimensional spatial coordinates, for example, coordinates for the X-axis, Y-axis, and Z-axis with respect to the plurality of regions on the imaged linear laser.
  • the processor 150 may identify a region in which a height value of a three-dimensional space coordinate, for example, a Z-axis coordinate value, is 0 among a plurality of regions on the imaged linear laser as a non-cooking region.
  • a height value with respect to the bottom surface of the cooking chamber may be set to 0.
  • the processor 150 may identify an area having a non-zero height value among a plurality of areas on the imaged linear laser as the food area.
  • the processor 150 may obtain a color value of the food corresponding to each of the plurality of regions by matching the position of each of the plurality of regions on the photographed linear laser with the position in the photographed image of the food. . That is, the color value (eg, RGB value) of the surface of the food to which the linear laser is irradiated may be captured.
  • the processor 150 may identify a region having a color value within a preset range among regions having a height value of 0 among a plurality of regions on the photographed linear laser as a food region compared to an region having a non-zero height value. . Accordingly, in consideration of the color value of the surface of the food, even an area having a color similar to the color of the food may be identified as the food area.
  • the laser irradiation direction of the laser device 180 and the photographing direction of the camera 120 may be arranged to form a predetermined angle.
  • the cooking apparatus identifies the food area and the non-cooked area from the photographed image of the food based on the three-dimensional image of the food ( S1620 ), and performs color correction on the food area of the photographed image to obtain the food
  • a plurality of images for receiving selection of additional cooking conditions may be generated (S1630).
  • the cooking apparatus may match the three-dimensional image of the food and the photographed image of the food to identify the inside of the outer region of the food identified from the photographed image as the food area.
  • the processor 150 matches the photographed image 1810 obtained by photographing the food with the three-dimensional image of the food, identifies the outer region of the food from the photographed image 1810, and determines the inside of the outer region. It can be identified as the food area 1820 .
  • the processor 150 may generate an image 1830 in which color correction is performed on the identified food area. More specifically, in the case of roasting dishes, by correcting the degree of browning according to additional cooking through color correction of the photographed image of the food according to the cooking stage, the image of the food according to the expected result when additional cooking is performed. Not much can be provided to users. That is, an image 1840 for receiving selection of additional cooking conditions for food may be generated. Accordingly, the user may intuitively determine the desired degree of additional cooking. Although generation of one image is exemplarily illustrated in FIG. 18 , a plurality of images according to the cooking step may be provided as shown in FIG. 5 .

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Food Science & Technology (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Electric Ovens (AREA)

Abstract

조리 장치가 개시된다. 본 조리 장치는 조리물을 수용하기 위한 조리실, 조리실 내부를 촬영하기 위한 카메라, 통신 인터페이스, 요리 별 조리 방법을 저장하는 메모리 및 요리가 선택되면 선택된 요리에 대응되는 조리 방법에 기초하여 조리실을 구동하고, 조리실 내부의 조리물을 촬영하도록 카메라를 제어하고, 조리물의 촬영 이미지를 사용자 단말 장치로 전송하도록 통신 인터페이스를 제어하고, 촬영 이미지와 관련된 제1 피드백이 수신되면 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지를 사용자 단말 장치로 제공하고, 촬영 이미지와 관련된 제2 피드백이 수신되면 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 사용자 단말 장치로 제공하는 프로세서를 포함한다.

Description

조리 장치 및 이의 제어 방법
본 개시는 조리 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 조리 장치 내부에 설치된 카메라를 통해 촬영한 조리물의 이미지를 사용자에게 제공하고, 조리 완료된 조리물의 촬영 이미지에 대한 사용자의 피드백을 받아 조리 동작을 제어하거나 사용자의 조리 환경을 개선할 수 있는 조리 장치 및 이의 제어 방법에 관한 것이다.
조리 장치는 식품을 조리할 수 있도록 구성되는 장치이다. 예를 들어, 조리 장치는 오븐, 인덕션, 전기 레인지, 가스 레인지, 등에 해당될 수 있다.
최근에는 조리 장치에 카메라가 구비되어 조리 대상인 조리물을 촬영한 이미지를 제공하는 서비스가 개발되고 있다.
다만, 종래의 조리 장치는 조리물을 촬영한 이미지를 디스플레이에 표시하여 사용자가 조리 과정을 모니터링할 수 있도록 보조하는 정도에 불과하였으며, 조리물의 촬영 이미지에 대한 사용자의 피드백을 반영하여 조리 장치를 보다 적극적으로 제어하고자 하는 사용자의 니즈를 반영하지 못하는 문제점이 존재하였다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 조리물의 이미지를 사용자에게 제공하고, 조리물의 촬영 이미지에 대한 사용자의 피드백 또는 촬영 이미지에 대한 분석을 통해 조리 장치를 제어함으로써 사용자의 조리 환경을 개선할 수 있는 조리 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위해 본 개시의 일 실시예에 따른 조리 장치는, 조리물을 수용하기 위한 조리실, 상기 조리실 내부를 촬영하기 위한 카메라, 통신 인터페이스, 요리 별 조리 방법을 저장하는 메모리 및 요리가 선택되면 상기 선택된 요리에 대응되는 조리 방법에 기초하여 상기 조리실을 구동하고, 상기 조리실 내부의 조리물을 촬영하도록 상기 카메라를 제어하고, 조리물의 촬영 이미지를 사용자 단말 장치로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 촬영 이미지와 관련된 제1 피드백이 수신되면 상기 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지를 상기 사용자 단말 장치로 제공하고, 상기 촬영 이미지와 관련된 제2 피드백이 수신되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 상기 사용자 단말 장치로 제공하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 제1 피드백이 수신된 경우, 상기 사용자 단말 장치로 제공된 복수의 이미지 중 하나가 선택되면 상기 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 상기 조리실의 구동을 제어할 수 있다.
한편, 상기 프로세서는, 상기 제2 피드백이 수신된 경우, 상기 사용자 단말 장치로 제공된 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 상기 메모리에 저장된 정보를 업데이트할 수 있다.
이 경우, 상기 업데이트는 상기 조리 방법에 포함된 조리 시간, 조리 온도, 조리 패턴 중 적어도 하나를 수정하는 업데이트 및 다음 조리 시에 제공할 알림 메시지를 생성하는 업데이트 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는, 상기 촬영 이미지와 관련된 제3 피드백이 수신되면 상기 조리실의 구동이 정지하도록 제어할 수 있다.
한편, 조리 장치는 디스플레이 및 사용자의 피드백을 입력 받는 입력 장치를 더 포함하고, 상기 프로세서는, 상기 촬영 이미지를 표시하도록 상기 디스플레이를 제어하고, 상기 입력 장치를 통해 상기 제1 피드백이 입력되면 상기 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하고, 상기 입력 장치를 통해 상기 제2 피드백이 입력되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 프로세서는, 상기 제1 피드백이 입력된 경우, 상기 디스플레이에 표시된 복수의 이미지 중 하나가 선택되면 상기 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 상기 조리실의 구동을 제어할 수 있다.
한편, 상기 프로세서는, 상기 제2 피드백이 입력된 경우, 상기 디스플레이에 표시된 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 상기 메모리에 저장된 정보를 업데이트할 수 있다.
한편, 상기 메모리는, 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지 및 상기 복수의 레퍼런스 이미지 각각에 매칭되는 조리 방법을 각 요리 별로 저장하고, 상기 프로세서는, 상기 복수의 레퍼런스 이미지를 상기 사용자 단말 장치로 제공하고, 상기 복수의 레퍼런스 이미지 중 하나가 선택되면 선택된 레퍼런스 이미지에 대응되는 조리 레벨에 따라 상기 메모리에 저장된 조리 방법을 업데이트하고, 상기 선택된 레퍼런스 이미지에 대응되는 조리 방법에 기초하여 상기 조리실의 구동을 제어할 수 있다.
한편, 조리 장치는 조리물을 향하여 레이저를 조사하는 레이저 장치를 더 포함하고, 상기 프로세서는, 상기 카메라 및 상기 레이저 장치를 이용하여 조리물의 3차원 이미지를 획득하고, 상기 조리물의 3차원 이미지에 기초하여, 상기 조리물에 대한 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별하고, 상기 촬영 이미지의 조리물 영역에 대하여 색상 보정을 수행하여 상기 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 생성할 수 있다.
이 경우, 상기 프로세서는, 상기 레이저 장치를 통해 조리물을 향하여 조사되는 선형 레이저를 상기 카메라를 통해 촬영한 이미지에 기초하여, 촬영된 선형 레이저 상의 복수의 영역 각각에 대한 3차원 공간 좌표를 획득하고, 상기 복수의 영역 중 3차원 공간 좌표의 높이 값이 0인 영역을 비조리물 영역으로 식별하고, 높이 값이 0이 아닌 영역을 조리물 영역으로 식별할 수 있다.
이 경우, 상기 프로세서는, 상기 카메라를 통해 촬영한 이미지에 기초하여 상기 촬영된 선혀여 레이저 상의 복수의 영역 각각에 대응되는 조리물의 색상 값을 획득하고, 상기 3차원 공간 좌표의 높이 값이 0인 영역 중, 높이 값이 0이 아닌 영역과 비교하여 색상 값이 기설정된 범위 이내인 영역을 조리물 영역으로 식별할 수 있다.
한편, 상기 프로세서는, 상기 조리물의 3차원 이미지와 상기 조리물에 대한 촬영 이미지를 매칭하여 상기 촬영 이미지로부터 식별된 조리물의 외곽 영역의 내측을 조리물 영역으로 식별할 수 있다.
한편, 본 개시의 일 실시예에 따른 사용자 단말 장치는, 조리실 내부를 촬영하는 카메라를 포함하는 조리 장치를 제어하기 위한 어플리케이션이 저장된 메모리, 디스플레이, 통신 인터페이스 및 상기 어플리케이션이 실행되면 상기 조리 장치에서 조리를 수행할 요리를 입력 받기 위한 요리 선택 UI를 표시하도록 상기 디스플레이를 제어하고, 상기 요리 선택 UI에서 입력된 요리에 대응되는 제어 신호를 상기 조리 장치로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 조리 장치로부터 조리물의 촬영 이미지를 수신하면 상기 촬영 이미지 및 상기 촬영 이미지와 관련된 피드백을 입력 받기 위한 복수의 메뉴를 표시하도록 상기 디스플레이를 제어하고, 상기 복수의 메뉴 중 하나가 선택되면 선택된 메뉴에 대응되는 피드백을 상기 조리 장치로 전송하는 프로세서를 포함한다.
이 경우, 상기 복수의 메뉴는 상기 조리물의 추가 조리를 요청하기 위한 제1 메뉴, 상기 조리물의 조리 실패를 알리기 위한 제2 메뉴 및 상기 조리물의 조리 성공을 알리기 위한 제3 메뉴를 포함할 수 있다.
이 경우, 상기 프로세서는, 상기 제1 메뉴가 선택되면 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하도록 상기 디스플레이를 제어하고, 상기 제2 메뉴가 선택되면 조리 실패 요인을 입력 받기 위한 실패 분석 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 요리 선택 UI에서 요리가 입력되면, 입력된 요리에 대한 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지를 표시하도록 상기 디스플레이를 제어하고, 상기 복수의 레퍼런스 이미지 중에서 하나가 선택되면 선택된 레퍼런스 이미지에 대응되는 제어 신호를 상기 조리 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
한편, 본 개시의 일 실시예에 따른 조리실 내부를 촬영하는 카메라를 포함하는 조리 장치의 제어 방법은, 요리가 선택되면 선택된 요리에 대응되는 조리 방법에 기초하여 상기 조리실을 구동하는 단계, 상기 카메라를 이용하여 상기 조리실 내부의 조리물을 촬영하는 단계, 조리 완료된 조리물의 촬영 이미지를 사용자 단말 장치로 전송하는 단계, 상기 촬영 이미지와 관련된 제1 피드백이 수신되면 상기 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 상기 사용자 단말 장치로 제공하는 단계 및 상기 촬영 이미지와 관련된 제2 피드백이 수신되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 상기 사용자 단말 장치로 제공하는 단계를 포함한다.
이 경우, 상기 제어 방법은 상기 제1 피드백이 수신된 경우, 상기 사용자 단말 장치로 제공된 복수의 이미지 중 하나가 선택되면 상기 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 제2 피드백이 수신된 경우, 상기 사용자 단말 장치로 제공된 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 상기 조리 장치에 저장된 정보를 업데이트하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 촬영 이미지에 대한 제3 피드백이 수신되면 상기 조리실의 구동이 정지하도록 제어하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 조리 장치에 구비된 디스플레이를 통해 상기 촬영 이미지를 표시하는 단계 및 조리 장치의 입력 장치를 통해 상기 제1 피드백이 입력되면 상기 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하고, 상기 입력 장치를 통해 상기 제2 피드백이 입력되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 표시하도록 상기 디스플레이를 제어하는 단계를 포함할 수 있다.
이 경우, 상기 제어 방법은 상기 제1 피드백이 입력된 경우, 상기 디스플레이에 표시된 복수의 이미지 중 하나가 선택되면 상기 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 상기 조리실의 구동을 제어하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 제2 피드백이 입력된 경우, 상기 디스플레이에 표시된 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 상기 조리 장치에 저장된 정보를 업데이트하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 조리 장치에 포함된 카메라 및 레이저 장치를 이용하여 조리물의 3차원 이미지를 획득하는 단계, 상기 조리물의 3차원 이미지에 기초하여, 상기 조리물에 대한 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별하는 단계 및 상기 촬영 이미지의 조리물 영역에 대하여 색상 보정을 수행하여 상기 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 생성하는 단계를 더 포함할 수 있다.
이 경우, 상기 조리물 영역과 비조리물 영역을 식별하는 단계는, 상기 레이저 장치를 통해 조리물을 향하여 조사되는 선형 레이저를 상기 카메라를 통해 촬영한 이미지에 기초하여, 촬영된 선형 레이저 상의 복수의 영역 각각에 대한 3차원 공간 좌표를 획득하고, 상기 복수의 영역 중 3차원 공간 좌표의 높이 값이 0인 영역을 비조리물 영역으로 식별하고, 높이 값이 0이 아닌 영역을 조리물 영역으로 식별할 수 있다.
이 경우, 상기 조리물 영역과 비조리물 영역을 식별하는 단계는, 상기 카메라를 통해 조리물을 촬영한 이미지에 기초하여, 상기 촬영된 선형 레이저 상의 복수의 영역 각각에 대응되는 조리물의 색상 값을 획득하고, 상기 3차원 공간 좌표의 높이 값이 0인 영역 중, 높이 값이 0이 아닌 영역과 비교하여 색상 값이 기설정된 범위 이내인 영역을 조리물 영역으로 식별할 수 있다.
한편, 상기 조리물 영역과 비조리물 영역을 식별하는 단계는, 상기 조리물의 3차원 이미지와 상기 조리물에 대한 촬영 이미지를 매칭하여 상기 촬영 이미지로부터 식별된 조리물의 외곽 영역의 내측을 조리물 영역으로 식별할 수 있다.
도 1은 본 개시의 일 실시예에 따른 조리 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 조리 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 조리 장치의 세부적인 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 사용자 단말 장치의 구성을 설명하기 위한 블록도이다.
도 5는 본 개시의 일 실시예에 따른 사용자 단말 장치를 통해, 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 사용자 단말 장치를 통해, 요리 선택 UI가 제공되고 선택된 요리에 따라 조리실을 구동하기 위한 신호를 조리 장치로 전송하는 것을 도시한 도면이다.
도 7은 조리 완료된 조리물에 대한 촬영 이미지 및 사용자로부터 조리물의 조리 상태에 대해 입력 받는 복수의 메뉴를 표시하는 UI가 제공되고, 조리물의 추가 조리를 요청하기 위한 제1 메뉴가 선택되는 경우 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 8은 도 7에서 선택된 이미지에 대응되는 조리가 수행된 후 조리 완료된 조리물을 촬영한 이미지를 표시하는 UI를 나타내는 도면이다.
도 9는 조리물의 조리 실패를 알리기 위한 제2 메뉴가 선택되는 경우 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 10은 조리 실패 이력이 있는 요리가 선택되는 경우 알림 메시지를 표시하는 UI를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 조리 장치에 구비된 디스플레이를 통해, 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 12는 조리 장치에 구비된 디스플레이를 통해 요리 선택 UI가 제공되는 것을 나타내는 도면이다.
도 13은 조리 장치에 구비된 디스플레이를 통해 조리 완료된 조리물에 대한 촬영 이미지 및 사용자로부터 조리물의 조리 상태에 대해 입력 받는 복수의 메뉴를 표시하는 UI가 제공되고, 조리물의 추가 조리를 요청하기 위한 제1 메뉴가 선택되는 경우 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 14는 조리물의 조리 실패를 알리기 위한 제2 메뉴가 선택되는 경우, 조리물의 조리 상태에 대한 원인을 분석하기 위해 사용자 단말 장치로 정보를 전송하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 조리 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 조리 장치에서 조리물의 3차원 이미지를 획득하는 실시예를 설명하기 위한 흐름도이다.
도 17은 카메라와 레이저 장치를 이용하여 조리물의 3차원 이미지를 획득하는 실시예를 설명하기 위한 도면이다.
도 18은 조리물의 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별하고 조리물 영역에만 색상 보정을 수행하는 실시예를 설명하기 위한 도면이다.
이하에서 설명되는 실시 예는 본 개시의 이해를 돕기 위하여 예시적으로 나타낸 것이며, 본 개시는 여기서 설명되는 실시 예들과 다르게, 다양하게 변형되어 실시될 수 있음이 이해되어야 할 것이다. 다만, 이하에서 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명 및 구체적인 도시를 생략한다. 또한, 첨부된 도면은 개시의 이해를 돕기 위하여 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있다.
본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
그리고, 본 명세서에서는 본 개시의 각 실시 예의 설명에 필요한 구성요소를 설명한 것이므로, 반드시 이에 한정되는 것은 아니다. 따라서, 일부 구성요소는 변경 또는 생략될 수도 있으며, 다른 구성요소가 추가될 수도 있다. 또한, 서로 다른 독립적인 장치에 분산되어 배치될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 도면들을 참고하여 본 개시를 상세히 설명하도록 한다.
도 1은 본 개시의 일 실시예에 따른 조리 시스템을 개략적으로 나타낸 도면이다.
도 1을 참고하면, 조리 시스템은 조리 장치(100), 사용자 단말 장치(200) 및 서버(300)를 포함할 수 있다.
조리 장치(100), 사용자 단말 장치(200) 및 서버(300)는 통신을 통해 다양한 정보를 송수신함으로써 하나의 장치를 통해 다른 장치를 제어하거나 다른 장치와 정보를 공유, 업데이트할 수 있다.
조리 장치(100)는 전기 또는 가스를 이용하여 발생시킨 고온의 열을 조리물에 가함으로써 다양한 조리 동작을 수행하는 장치로, 오븐, 인덕션, 전기 레인지, 가스 레인지 등에 해당할 수 있다.
사용자 단말 장치(200)는 사용자에게 정보를 제공하거나 사용자 명령을 입력 받는 등 다양한 기능을 수행할 수 있는 장치이며, 스마트폰, 태블릿, 웨어러블 장치, PC 등 다양한 전자 장치일 수 있다.
서버(300)는 외부 장치의 데이터를 수집하고 처리하는 전자 장치를 지칭할 수 있다. 예를 들어, 서버(300)는 클라우드 서버 등과 같이 서버 전용의 기능을 수행하는 장치뿐만 아니라, 다른 기능과 함께 서버의 기능을 수행할 수 있는 스마트폰, 태블릿, 웨어러블 장치, PC 등 다양한 전자 장치로 구현될 수도 있다. 다만, 이는 일 실시 예일 뿐이며, 서버(300)는 이에 열거되지 않은 다양한 종류의 전자 장치로 구현되는 것 또한 가능하다. 또한, 서버(300)는 하나의 장치로 구현되거나, 또는 복수의 장치로 구성되는 집합체로 구현될 수 있다. 일 예로, 서버(300)는 SmartThings쪠 서비스를 제공하는 서버일 수 있다.
본 개시의 일 실시예에 따른 조리 시스템에 있어서, 조리 장치(100)는 조리 대상인 조리물을 촬영하기 위한 카메라를 포함하며, 카메라를 통해 촬영한 이미지를 포함하는 정보를 사용자 단말 장치(200)로 전송할 수 있다. 이 경우, 조리 장치(100)는 사용자 단말 장치(200)로 직접 정보를 전송하거나, 서버(300)를 통해 전송할 수 있다.
사용자 단말 장치(200)는 수신한 촬영 이미지를 디스플레이를 통해 사용자에게 제공할 수 있으며, 촬영 이미지에 대한 사용자 입력을 수신할 수 있다. 사용자 단말 장치(200)는 사용자 입력에 따른 피드백을 조리 장치(100)로 전송할 수 있다. 이 경우, 사용자 단말 장치(200)는 조리 장치(100)로 직접 정보를 전송하거나, 서버(300)를 통해 전송할 수 있다.
조리 장치(100)는 사용자 단말 장치(200)로부터 수신한 피드백에 기초하여 조리 장치(100)의 다양한 구성들을 제어할 수 있다. 일 예로, 조리 장치(100)는 조리물의 촬영 이미지에 대하여 추가 조리를 요청하는 피드백, 조리 실패를 알리는 피드백, 조리 성공을 알리는 피드백 등을 수신할 수 있으며, 각각의 피드백에 따라 조리물에 대해 추가 조리를 수행하도록 조리실을 제어하거나, 이후 동일한 조리를 수행할 경우에 사용자에게 제공하기 위한 알림 메시지를 생성할 수 있다.
이에 따라, 사용자에게 보다 익숙한 모바일 디바이스와 같은 사용자 단말 장치(200)를 통해 조리 장치(100)의 정보를 제공하고 이에 대한 사용자 명령을 입력 받아 조리 장치(100)를 제어할 수 있으므로, 조리 환경에 대한 사용자의 접근성 및 편의성을 향상시킬 수 있다.
조리 장치(100) 및 사용자 단말 장치(200) 각각의 동작과 관련한 상세한 설명은 이후 도면들을 참고하여 후술하기로 한다.
도 2는 본 개시의 일 실시예에 따른 조리 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참고하면, 조리 장치(100)는 조리실(110), 카메라(120), 통신 인터페이스(130) 및 메모리(140)를 포함한다.
조리실(110)은 조리물을 수용하는 공간을 포함하며, 조리물에 대한 조리 동작을 수행하기 위한 구성이다. 조리실(110)은 열을 생성하기 위한 가열 부재, 조리물을 회전, 이동시킬 수 있는 구동 장치 등을 포함할 수 있다.
카메라(120)는 조리실(110) 내부에 구비되며, 조리실(110) 내부를 촬영할 수 있다. 특히, 카메라(120)는 조리실(110) 내부에 수용되는 조리물을 촬영할 수 있다.
통신 인터페이스(130)는 외부 장치와 통신을 수행하여 다양한 정보를 송수신할 수 있다. 조리 장치(100)는 통신 인터페이스(130)를 통해 사용자 단말 장치(200), 서버(300) 등 다양한 외부 장치와 통신할 수 있다.
통신 인터페이스(130)는 근거리 통신망(LAN: Local Area Network), 인터넷 네트워크, 이동 통신 네트워크를 통해 외부 장치와 통신을 수행할 수 있음은 물론, BT(Bluetooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), WI-FI Direct(Wireless Fidelity Direct), Zigbee, NFC 등과 같은 다양한 통신 방식 등을 통해 외부 장치와 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스(130)는 네트워크 통신을 수행하기 위한 다양한 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스(130)는 블루투스 칩, 와이파이 칩, 무선 통신 칩 등을 포함할 수 있다.
메모리(140)에는 조리 장치(100) 또는 프로세서(150)의 동작에 필요한 각종 명령어(instruction), 프로그램 또는 데이터가 저장될 수 있다.
메모리(140)에는 조리 장치(100)에서 조리 가능한 다양한 요리 정보가 저장될 수 있으며, 요리 별 조리 방법에 대한 정보가 저장될 수 있다. 예를 들어, 메모리(140)에 저장된 조리 방법은 조리 시간, 조리 온도, 조리 패턴 등의 정보를 포함할 수 있다.
프로세서(150)는 조리실(110), 카메라(120), 통신 인터페이스(130) 및 메모리(140)와 전기적으로 연결되어 조리 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(150)는 통신 인터페이스(130)를 통해 연결된 사용자 단말 장치(200)에서 요리가 선택되면, 선택된 요리에 대응되는 조리 방법에 기초하여 조리실(110)을 구동할 수 있다. 각각의 요리에 대응되는 조리 방법에 대한 정보는 메모리(140)로부터 획득할 수 있다. 한편, 프로세서(150)는 사용자 단말 장치(200)를 통해 요리 선택 명령을 수신할 수 있을 뿐만 아니라, 조리 장치(100)에 구비된 조작 패널과 같은 입력 장치(또는 입력 인터페이스(160))를 통해 요리 선택 명령을 입력 받을 수 있다.
프로세서(150)는 조리실 내부의 조리물을 촬영하도록 카메라(120)를 제어할 수 있다. 한편, 프로세서(150)는 조리물의 조리가 완료되면, 즉 선택된 요리에 대응되는 조리 방법에 따른 조리 동작이 완료되면 조리물을 촬영하도록 카메라(120)를 제어할 수 있다.
프로세서(150)는 카메라(120)를 통해 획득한 조리물의 촬영 이미지를 사용자 단말 장치(200)로 전송하도록 통신 인터페이스(130)를 제어할 수 있다. 예를 들어, 프로세서(150)는 조리 완료된 조리물의 촬영 이미지를 사용자 단말 장치(200)로 전송할 수 있다. 이에 따라, 사용자 단말 장치(200)는 수신한 촬영 이미지를 디스플레이를 통해 사용자에게 제공할 수 있다. 한편, 프로세서(150)는 조리 장치(100)에 구비된 디스플레이(171)를 통해 촬영 이미지를 표시하도록 제어할 수도 있다.
도 3은 본 개시의 일 실시예에 따른 조리 장치의 세부적인 구성을 설명하기 위한 블록도이다.
도 3을 참고하면, 조리 장치(100)는 조리실(110), 카메라(120), 통신 인터페이스(130), 메모리(140), 입력 인터페이스(160), 출력 인터페이스(170) 및 레이저 장치(180)를 포함할 수 있다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
입력 인터페이스(160)는 다양한 사용자 명령을 입력 받을 수 있다. 예를 들어, 입력 인터페이스(160)는 조리 장치(100)가 수행 가능한 조리 동작을 수행하도록 제어하는 사용자 명령을 입력 받을 수 있다. 또한, 입력 인터페이스(160)는 조리물의 촬영 이미지에 대한 사용자의 피드백을 입력 받을 수도 있다.
입력 인터페이스(160)는 조리 장치(100)의 버튼(또는 키)을 통해 사용자 명령을 입력 받는 조작 패널, 터치 스크린을 통해 사용자 명령을 입력 받는 디스플레이, 사용자 발화 음성을 입력 받는 마이크 등으로 구현될 수 있다. 입력 인터페이스(160)는 입력 장치로 표현될 수 있다.
출력 인터페이스(170)는 디스플레이(171) 또는 스피커(172) 중 적어도 하나를 포함할 수 있다. 여기서, 디스플레이(171)는 정보를 시각적인 형태 (예: 문자, 이미지 등)로 출력하는 장치이다. 디스플레이(171)는 이미지 프레임을 디스플레이 영역의 전체 또는 일부 영역에 표시할 수 있다. 디스플레이 영역은 정보 또는 데이터가 시각적으로 표시되는 픽셀 단위의 영역 전체를 지칭할 수 있다. 스피커(172)는 정보를 청각적인 형태(예: 음성)로 출력하는 장치이다. 스피커는 오디오 처리부에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 직접 소리로 출력할 수 있다.
레이저 장치(180)는 조리실(110) 내부에 구비될 수 있으며, 조리실(110) 내부에 배치된 조리물을 향해 레이저를 조사할 수 있다. 프로세서(150)는 카메라(120) 및 레이저 장치(180)를 이용하여 조리물의 3차원 이미지를 획득할 수 있다. 예를 들어, 프로세서(150)는 레이저 장치(180)를 통해 조리물을 향하여 조사되는 선형 레이저를 카메라(120)를 통해 촬영한 이미지에 기초하여 조리물의 3차원 이미지를 획득할 수 있다.
프로세서(150)는 조리물의 3차원 이미지를 이용하여 조리물의 촬영 이미지를 조리물 영역과 비조리물 영역으로 식별할 수 있다.
레이저 장치(180)를 이용하여 조리물의 3차원 이미지를 획득하는 본 개시의 일 실시예와 관련하여서는 도 16 내지 도 18에서 후술하기로 한다.
도 4는 본 개시의 일 실시예에 따른 사용자 단말 장치의 구성을 설명하기 위한 블록도이다.
도 4를 참고하면, 사용자 단말 장치(200)는 통신 인터페이스(210), 메모리(220), 프로세서(230), 디스플레이(240) 및 스피커(250)를 포함할 수 있다.
통신 인터페이스(210)는 조리 장치(100), 서버(300) 등의 외부 장치와 통신하여 다양한 정보를 송수신할 수 있다. 통신 인터페이스(210)는 조리 장치(100)로 요리 선택 명령, 피드백 명령 등 조리 장치(100)를 제어하기 위한 신호를 전송할 수 있으며, 조리 장치(100)로부터 조리물의 촬영 이미지를 포함하는 다양한 조리 정보를 수신할 수 있다.
메모리(220)에는 조리실 내부를 촬영하는 카메라를 포함하는 조리 장치(100)를 제어하기 위한 어플리케이션이 저장될 수 있다. 사용자 단말 장치(200)는 메모리(220)에 저장된 어플리케이션을 실행하여 조리 장치(100) 또는 서버(300)와 정보를 송수신할 수 있다. 예를 들어, 사용자 단말 장치(200)는 어플리케이션 실행 화면을 통해 입력 받은 사용자 명령을 서버(300)를 통해 조리 장치(100)로 전송할 수 있다.
프로세서(230)는 어플리케이션이 최초로 실행되면 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지를 디스플레이(240)를 통해 사용자에게 제공하고, 복수의 레퍼런스 이미지 중 하나가 선택되면 선택된 레퍼런스 이미지에 따라 사용자의 조리 기호도를 저장할 수 있다. 이에 따라, 프로세서(230)는 사용자의 조리 기호도에 따라 조리 방법을 업데이트하고 업데이트된 조리 방법에 기초하여 조리실을 구동하도록 제어할 수 있다. 이와 관련한 상세한 설명은 도 5에서 후술하기로 한다.
또한, 프로세서(230)는 어플리케이션이 실행되면 조리 장치(100)에서 조리를 수행할 요리를 입력 받기 위한 요리 선택 UI를 표시하도록 디스플레이(240)를 제어하고, 요리 선택 UI에서 입력된 요리에 대응되는 제어 신호를 조리 장치(100)로 전송하도록 통신 인터페이스(210)를 제어할 수 있다. 이에 대한 상세한 설명은 도 6에서 후술하기로 한다.
또한, 프로세서(230)는 조리 장치(100)로부터 조리물의 촬영 이미지를 수신하면 촬영 이미지 및 조리물의 조리 상태에 대해 입력 받기 위한 복수의 메뉴를 표시하도록 디스플레이(240)를 제어하고, 복수의 메뉴 중 하나가 선택되면 선택된 메뉴에 대응되는 피드백을 조리 장치(100)로 전송할 수 있다. 이 경우, 복수의 메뉴는 조리물의 추가 조리를 요청하기 위한 제1 메뉴, 조리물의 조리 실패를 알리기 위한 제2 메뉴 및 조리물의 조리 성공을 알리기 위한 제3 메뉴를 포함할 수 있다. 이와 관련한 상세한 설명은 도 7에서 후술하기로 한다.
도 5는 본 개시의 일 실시예에 따른 사용자 단말 장치를 통해, 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
사용자 단말 장치(200)는 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지(511, 512, 513)를 표시할 수 있다. 서로 다른 조리 레벨을 나타내는 일 예로, 복수의 레퍼런스 이미지(511, 512, 513)는 같은 요리에 대하여 서로 다른 굽기 단계(또는, 굽기 정도)가 각각 적용된 이미지가 될 수 있다. 사용자는 복수의 레퍼런스 이미지(511, 512, 513) 중 자신의 기호도에 맞는 레퍼런스 이미지를 선택할 수 있다.
복수의 레퍼런스 이미지 중에서 하나가 선택되면, 사용자 단말 장치(200)는 선택된 레퍼런스 이미지에 따라 사용자의 조리 기호도를 저장할 수 있다. 이에 따라, 프로세서(230)는 사용자의 조리 기호도에 따라 조리 방법을 업데이트하고 업데이트된 조리 방법에 기초하여 조리실을 구동하도록 제어
일 예로, 사용자 단말 장치(200)는 선택된 레퍼런스 이미지에 대응되는 제어 신호를 조리 장치(100)로 전송할 수 있다. 조리 장치(100)는 선택된 레퍼런스 이미지에 대응되는 조리 동작, 즉 선택된 굽기 정도를 달성하기 위한 조리 동작을 수행하도록 조리실을 제어할 수 있다.
또한, 선택된 레퍼런스 이미지에 대응되는 조리 레벨에 따라 메모리에 저장된 조리 방법을 업데이트할 수 있다. 이 경우, 조리 장치(100)의 메모리에 저장된 복수의 요리 각각에 대한 조리 방법을 선택된 조리 레벨에 따라 업데이트 할 수 있다. 예를 들어, 조리 레벨 2단계에 대응되는 레퍼런스 이미지(512)가 선택되면, 저장된 복수의 요리 각각에 대한 조리 방법을 조리 레벨 2단계로 설정할 수 있다.
복수의 레퍼런스 이미지 및 복수의 레퍼런스 이미지 각각에 매칭되는 조리 방법은 사용자 단말 장치(200) 또는 조리 장치(100)의 메모리에 저장되어 있을 수 있다.
도 6은 본 개시의 일 실시예에 따른 사용자 단말 장치를 통해, 요리 선택 UI가 제공되고 선택된 요리에 따라 조리실을 구동하기 위한 신호를 조리 장치로 전송하는 것을 도시한 도면이다.
사용자 단말 장치(200)는 조리 장치(100)를 통해 조리를 수행할 요리를 선택 받기 위한 UI를 표시할 수 있다. 요리 선택 UI는 사용자 단말 장치(200)에 저장된 어플리케이션의 실행 화면을 통해 제공될 수 있다. 도 6을 참고하면, 조리 장치(100)에서 조리 가능한 다양한 요리 레시피(610, 611, 612, 620, 630)가 표시될 수 있다.
사용자 단말 장치(200)는 요리 선택 UI를 통해 요리가 선택되면 선택된 요리에 대응되는 조리 방법에 기초하여 조리실을 구동하는 제어 신호를 조리 장치(100)로 전송할 수 있다.
도 7은 조리 완료된 조리물에 대한 촬영 이미지 및 사용자로부터 조리물의 조리 상태에 대해 입력 받는 복수의 메뉴를 표시하는 UI가 제공되고, 조리물의 추가 조리를 요청하기 위한 제1 메뉴가 선택되는 경우 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 7을 참고하면, 사용자 단말 장치(200)는 조리 장치(100)에서 조리가 완료된 후 촬영된 조리물의 촬영 이미지(710) 및 조리물의 조리 상태에 대해 입력 받기 위한 복수의 메뉴(721, 722, 723)를 표시할 수 있다. 복수의 메뉴는 조리물의 추가 조리를 요청하기 위한 제1 메뉴(721), 조리물의 조리 실패를 알리기 위한 제2 메뉴(722) 및 조리물의 조리 성공을 알리기 위한 제3 메뉴(723)를 포함할 수 있다.
사용자는 촬영 이미지(710)를 보고 조리가 덜 된(Undercooked) 상태인지, 과도하게 조리된(Overcooked) 상태인지, 또는 알맞게 조리된(Well done) 상태인지 판단할 수 있다. 사용자는 촬영 이미지(710)에 대한 조리 상태 판단에 따라 복수의 메뉴(721, 722, 723) 중 어느 하나를 선택할 수 있다.
예를 들면, 사용자는 조리물의 조리가 덜 된 상태인 것으로 판단되면 조리물의 추가 조리를 요청하기 위한 제1 메뉴(721)를 선택할 수 있다. 또한, 사용자는 조리물이 과도하게 조리된 상태인 것으로 판단되면 조리 실패를 알리기 위한 제2 메뉴(722)를 선택할 수 있고, 조리물이 알맞게 조리된 상태인 것으로 판단되면 조리 성공을 알리기 위한 제3 메뉴(723)를 선택할 수 있다.
사용자 단말 장치(200)는 제1 메뉴(721)가 선택되면 촬영 이미지에 대한 제1 피드백을 조리 장치(100)로 전송할 수 있다. 조리 장치(100)는 제1 피드백이 수신되면 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지(731, 732, 733)를 사용자 단말 장치(200)로 제공하고, 복수의 이미지 중 하나가 선택되면 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 조리실(110)의 구동을 제어할 수 있다.
조리 장치(100)는 제1 피드백이 사용자 단말 장치(200)로부터 수신되면 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지(731, 732, 733)를 사용자 단말 장치(200)로 제공할 수 있다. 조리 장치(100)는 사용자 단말 장치(200)에서 복수의 이미지(731, 732, 733) 중 하나를 선택하는 선택 명령을 수신하면, 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 조리실(110)의 구동을 제어할 수 있다.
이 경우, 복수의 이미지(731, 732, 733)는 조리 장치(100)의 카메라(120)를 통해 촬영된 촬영 이미지(710과 같이 조리가 덜 된 것으로 판단되는 조리물의 촬영 이미지)를 보정하여 생성된 이미지에 해당할 수 있다. 즉, 도 7과 같은 로스팅 요리의 경우, 조리물의 촬영 이미지의 색상 보정을 통해 추가적인 조리에 따른 브라우닝(browning)의 정도를 표시함으로써 추가 조리 수행 시 예상되는 결과에 따른 조리물의 이미지를 단계 별로 사용자에게 제공할 수 있다. 이에 따라, 사용자는 원하는 추가 조리의 정도를 직관적으로 판단할 수 있으며, 선택한 이미지에 대응되는 추가 조리를 수행하도록 하는 제어 명령을 조리 장치(100)로 전송할 수 있다.
조리물의 촬영 이미지를 이용하여 추가적인 조리에 따른 예상 결과 이미지를 생성하는 동작은 조리 장치(100), 사용자 단말 장치(200) 또는 서버(300)에서 수행될 수 있다. 이 경우, 촬영 이미지에 다른 이미지(예컨대, 더 강한 굽기 정도가 적용된 조리물의 레퍼런스 이미지)의 스타일을 합성하는 스타일 전환(style transfer) 방식을 적용하여 예상 결과 이미지를 생성할 수 있다.
사용자 단말 장치(200)는 제2 메뉴(722)가 선택되면 촬영 이미지에 대한 제2 피드백을 조리 장치(100)로 전송할 수 있다. 조리 장치(100)는 제2 피드백이 수신되면 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 사용자 단말 장치(200)로 제공하고, 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 메모리(140)에 저장된 정보를 업데이트할 수 있다.
한편, 사용자 단말 장치(200)는 조리 실패 요인을 입력 받기 위한 실패 분석 UI를 표시할 수 있다. 이와 관련하여서는 도 9에서 후술하기로 한다.
한편, 사용자 단말 장치(200)는 제3 메뉴(623)가 선택되면 조리 장치(100)의 조리실 구동이 정지되도록 제어하는 제3 피드백을 전송함으로써, 조리 장치(100)의 조리 동작이 종료되도록 할 수 있다.
한편, 본 개시의 다른 실시예에 따르면 조리 장치(100)는 사용자의 피드백 입력 없이, 조리물의 촬영 이미지와 기 저장된 조리물의 조리 완성 이미지에 대한 비교를 통해 조리 상태를 판단할 수 있다. 이 경우, 조리 장치(100)는 촬영 이미지와 조리 완성 이미지의 비교 결과에 기초하여 추가 조리가 요구되는 상태인지, 조리가 실패된 상태인지 또는 조리가 성공된 상태인지를 판단하여 각각의 조리 상태에 대응되는 동작을 수행할 수 있다.
도 8은 도 7에서 선택된 이미지에 대응되는 조리가 수행된 후 조리 완료된 조리물을 촬영한 이미지를 표시하는 UI를 나타내는 도면이다.
조리 장치(100)는 추가 조리를 완료한 후, 조리물을 촬영한 촬영 이미지(810)를 사용자 단말 장치(200)로 제공할 수 있다.
한편, 조리물에 대한 촬영 이미지 및 조리물의 조리 상태에 대해 입력 받기 위한 복수의 메뉴를 표시하는 UI는 사용자 단말 장치(200)뿐만 아니라, 조리 장치(100)에 구비된 디스플레이(171)를 통해서도 제공될 수 있다. 이와 관련하여서는 도 11 내지 14에서 후술하기로 한다.
도 9는 조리물의 조리 실패를 알리기 위한 제2 메뉴가 선택되는 경우 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 9를 참고하면, 사용자 단말 장치(200)는 조리 장치(100)에서 조리가 완료된 후 촬영된 조리물의 촬영 이미지(910) 및 조리물의 조리 상태에 대해 입력 받기 위한 복수의 메뉴(921, 922, 923)를 표시할 수 있다.
사용자 단말 장치(200)는 조리물의 조리 실패를 알리기 위한 제2 메뉴(922)가 선택되면 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴(930)를 제공하고, 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 조리 장치(100)의 메모리(140)에 저장된 정보를 업데이트할 수 있다. 이 경우, 업데이트는 조리 방법에 포함된 조리 시간, 조리 온도, 조리 패턴 중 적어도 하나를 수정하는 업데이트 또는 다음 조리 시에 제공할 알림 메시지를 생성하는 업데이트를 포함할 수 있다.
사용자 단말 장치(200)는 다양한 조리 실패 요인을 선택할 수 있는 메뉴(930)를 제공하고, 사용자로부터 조리 실패 요인을 입력 받아 메모리(140)에 저장함으로써 다음에 동일한 조리를 수행하는 경우 사용자에게 조리 실패 이력에 대한 알림 메시지를 제공할 수 있다.
도 10은 조리 실패 이력이 있는 요리가 선택되는 경우 알림 메시지를 표시하는 UI(1010)를 나타내는 도면이다.
도 10을 참고하면, 사용자가 선택한 요리에 대해 조리 실패 이력이 있는 경우, 조리 동작을 수행하기 이전에 지난번 조리에서 촬영되었던 조리물의 촬영 이미지(1011, 조리 실패 이미지) 및 사용자가 선택하였던 조리 실패 요인(1012)을 제공할 수 있다.
도 11은 본 개시의 일 실시예에 따른 조리 장치(100)에 구비된 디스플레이(171)를 통해, 서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이고, 도 12는 조리 장치(100)에 구비된 디스플레이(171)를 통해 요리 선택 UI가 제공되는 것을 나타내는 도면이다.
조리 장치(100)의 디스플레이(171)를 통해 표시되는 UI와 관련하여서는 앞서 도 6 내지 도 8에서 설명한 사용자 단말 장치(200)의 UI에 대한 내용이 동일하게 적용될 수 있으므로, 중복되는 설명은 생략하도록 한다.
도 13은 조리 장치에 구비된 디스플레이를 통해 조리 완료된 조리물에 대한 촬영 이미지 및 사용자로부터 조리물의 조리 상태에 대해 입력 받는 복수의 메뉴를 표시하는 UI가 제공되고, 조리물의 추가 조리를 요청하기 위한 제1 메뉴가 선택되는 경우 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 13을 참고하면, 조리 장치(100)는 조리 완료된 조리물의 촬영 이미지(1310) 및 조리물의 조리 상태에 대해 입력 받기 위한 복수의 메뉴(1321, 1322, 1323)를 디스플레이(171)를 통해 표시할 수 있다. 복수의 메뉴는 조리물의 추가 조리를 요청하기 위한 제1 메뉴(1321), 조리물의 조리 실패를 알리기 위한 제2 메뉴(1322) 및 조리물의 조리 성공을 알리기 위한 제3 메뉴(1323)를 포함할 수 있다.
이 경우, 조리 장치(100)는 조리 장치(100)에 구비된 조작 패널과 같은 입력 장치(또는 입력 인터페이스(160))를 통해 사용자 명령을 입력 받을 수 있다. 한편, 디스플레이(171)가 터치 스크린으로 구현되는 경우 디스플레이(171) 상의 터치 입력을 통해 사용자 명령을 입력 받을 수 있다.
조리 장치(100)는 제1 메뉴(1321)에 대한 선택을 입력 받으면 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지(1331, 1332, 1333)를 디스플레이(171)를 통해 표시할 수 있다. 조리 장치(100)는 복수의 이미지 중 하나가 선택되고, 추가 조리를 시작 UI(1340)를 통해 추가 조리 시작 명령을 입력 받으면 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 조리실(110)의 구동을 제어할 수 있다.
그리고, 조리 장치(100)는 추가 조리가 완료되면 조리물을 촬영한 촬영 이미지(1350)를 디스플레이(171)를 통해 표시할 수 있다.
도 14는 조리물의 조리 실패를 알리기 위한 제2 메뉴가 선택되는 경우, 조리물의 조리 상태에 대한 원인을 분석하기 위해 사용자 단말 장치로 정보를 전송하는 UI가 제공되는 것을 설명하기 위한 도면이다.
도 14를 참고하면, 조리 장치(100)는 조리가 완료된 후 촬영된 조리물의 촬영 이미지(1410) 및 조리물의 조리 상태에 대해 입력 받기 위한 복수의 메뉴(1421, 1422, 1423)를 표시할 수 있다.
조리 장치(100)는 조리물의 조리 실패를 알리기 위한 제2 메뉴(922)에 대한 선택이 입력되면 조리물의 조리 상태에 대한 원인을 분석하기 위해 사용자 단말 장치로 정보를 전송하는 UI(1430)를 표시할 수 있다. 이 경우, 조리 장치(100)로부터 사용자 단말 장치(200)로 정보가 전송되면 사용자 단말 장치(200)는 실패 분석 UI(도 9의 930 참고)를 사용자에게 제공할 수 있다.
도 15는 본 개시의 일 실시예에 따른 조리 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 15를 참고하면, 본 개시의 일 실시예에 따른 조리 장치의 제어 방법은 요리가 선택되면 선택된 요리에 대응되는 조리 방법에 기초하여 조리실을 구동하는 단계(S1510), 카메라를 이용하여 조리실 내부의 조리물을 촬영하는 단계(S1520), 조리 완료된 조리물의 촬영 이미지를 사용자 단말 장치로 전송하는 단계(S1530), 촬영 이미지에 대한 제1 피드백이 수신되면 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 사용자 단말 장치로 제공하는 단계(S1540) 및 촬영 이미지에 대한 제2 피드백이 수신되면 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 사용자 단말 장치로 제공하는 단계(S1550)를 포함한다.
먼저, 조리 장치는 요리가 선택되면 선택된 요리에 대응되는 조리 방법에 기초하여 조리실을 구동(S1510)할 수 있다.
그리고, 조리 장치는 카메라를 이용하여 조리물을 촬영(S1520)할 수 있다.
그리고, 조리 장치는 조리 완료된 조리물의 촬영 이미지를 사용자 단말 장치로 전송(S1530)할 수 있다.
그리고, 조리 장치는 촬영 이미지에 대한 제1 피드백이 수신되면 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 사용자 단말 장치로 제공(S1540)할 수 있다.
그리고, 조리 장치는 촬영 이미지에 대한 제2 피드백이 수신되면 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 사용자 단말 장치로 제공 (S1550)할 수 있다.
이하, 도 16 내지 도 18을 참고하여 본 개시의 일 실시예에 따른 레이저 장치를 이용하여 조리물의 3차원 이미지를 획득하는 실시예에 대해 설명한다.
도 16은 본 개시의 일 실시예에 따른 조리 장치에서 조리물의 3차원 이미지를 획득하는 실시예를 설명하기 위한 흐름도, 도 17은 카메라(120)와 레이저 장치(180)를 이용하여 조리물의 3차원 이미지를 획득하는 실시예를 설명하기 위한 도면, 도 18은 조리물의 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별하고 조리물 영역에만 색상 보정을 수행하는 실시예를 설명하기 위한 도면이다.
도 16을 참고하면, 조리 장치는 조리물의 3차원 이미지를 획득(S1610)하고, 조리물의 3차원 이미지에 기초하여 조리물에 대한 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별(S1620)하고, 촬영 이미지의 조리물 영역에 대하여 색상 보정을 수행하여 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 생성(S1630)할 수 있다.
먼저, 조리 장치는 조리물의 3차원 이미지를 획득(S1610)할 수 있다. 이 경우, 조리 장치는 레이저 장치(180)를 통해 조리물을 향하여 조사되는 선형 레이저를 카메라(120)를 통해 촬영한 이미지에 기초하여 조리물의 3차원 이미지를 획득할 수 있다.
도 17을 참고하면, 레이저 장치(180)가 조리물을 향해 선형 레이저를 조사하면 조리물 상에 조사되는 선형 레이저는 조리물 표면의 굴곡에 따라 굴곡진 형태로 맺히게 된다. 조리 장치는 조리실을 구동하여 조리물을 회전시킬 수 있으며, 이에 따라 조리물을 360도 회전시키며 조사된 레이저의 형상을 카메라(120)를 통해 촬영하여, 조리물의 3차원 이미지를 획득할 수 있다.
구체적으로, 프로세서(150)는 촬영된 선형 레이저 상의 복수의 영역에 대하여 3차원 공간 좌표, 예컨대 X축, Y축, Z축에 대한 좌표를 획득할 수 있다.
이 경우, 프로세서(150)는 촬영된 선형 레이저 상의 복수의 영역 중, 3차원 공간 좌표의 높이 값, 예컨대 Z축 좌표 값이 0인 영역을 비조리물 영역으로 식별할 수 있다. 여기에서 조리실의 바닥면에 대한 높이 값이 0으로 설정될 수 있다. 또한, 프로세서(150)는 촬영된 선형 레이저 상의 복수의 영역 중 높이 값이 0이 아닌 영역을 조리물 영역으로 식별할 수 있다.
한편, 조리물을 촬영한 이미지를 추가적으로 고려하여 조리물 영역과 비조리물 영역을 구분하는 정확도를 높일 수 있다. 구체적으로, 프로세서(150)는 촬영된 선형 레이저 상의 복수의 영역 각각의 위치와, 조리물을 촬영한 이미지에서의 위치를 매칭하여, 복수의 영역 각각에 대응되는 조리물의 색상 값을 획득할 수 있다. 즉, 선형 레이저가 조사되는 조리물의 표면의 색상 값(예컨대 RGB 값)을 획들할 수 있다. 프로세서(150)는 촬영된 선형 레이저 상의 복수의 영역 중 높이 값이 0인 영역 중, 높이 값이 0이 아닌 영역과 비교하여 색상 값이 기설정된 범위 이내인 영역을 조리물 영역으로 식별할 수 있다. 이에 따라, 조리물 표면의 색상 값을 고려하여 조리물의 색상과 유사한 색상을 가진 영역까지 조리물 영역으로 식별할 수 있다.
레이저 장치(180)의 레이저 조사 방향과 카메라(120)의 촬영 방향은 일정 각도를 형성하도록 배치될 수 있다.
그리고, 조리 장치는 조리물의 3차원 이미지에 기초하여 조리물에 대한 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별(S1620)하고, 촬영 이미지의 조리물 영역에 대하여 색상 보정을 수행하여 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 생성(S1630)할 수 있다.
이 경우, 조리 장치는 조리물의 3차원 이미지와 조리물에 대한 촬영 이미지를 매칭하여 촬영 이미지로부터 식별된 조리물의 외곽 영역의 내측을 조리물 영역으로 식별할 수 있다.
도 18을 참고하면, 프로세서(150)는 조리물을 촬영한 촬영 이미지(1810)를 조리물의 3차원 이미지와 매칭하여, 촬영 이미지(1810)로부터 조리물의 외곽 영역을 식별하고, 외곽 영역의 내측을 조리물 영역(1820)으로 식별할 수 있다. 프로세서(150)는 식별한 조리물 영역에 대한 색상 보정을 수행한 이미지(1830)를 생성할 수 있다. 보다 상세하게는, 로스팅 요리의 경우 조리물의 촬영 이미지의 색상 보정을 통해 추가적인 조리에 따른 브라우닝(browning)의 정도를 조리 단계에 따라 다르게 보정함으로써 추가 조리 수행 시 예상되는 결과에 따른 조리물의 이미지를 단계 별로 사용자에게 제공할 수 있다. 즉, 조리물에 대한 추가 조리 조건을 선택 받기 위한 이미지(1840)를 생성할 수 있다. 이에 따라, 사용자는 원하는 추가 조리의 정도를 직관적으로 판단할 수 있다. 도 18에서는 하나의 이미지를 생성하는 것을 예시적으로 도시하였으나, 도 5와 같이 조리 단계에 따른 복수의 이미지를 제공할 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 조리 장치에 있어서,
    조리물을 수용하기 위한 조리실;
    상기 조리실 내부를 촬영하기 위한 카메라;
    통신 인터페이스;
    요리 별 조리 방법을 저장하는 메모리; 및
    요리가 선택되면 상기 선택된 요리에 대응되는 조리 방법에 기초하여 상기 조리실을 구동하고, 상기 조리실 내부의 조리물을 촬영하도록 상기 카메라를 제어하고, 조리물의 촬영 이미지를 사용자 단말 장치로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 촬영 이미지와 관련된 제1 피드백이 수신되면 상기 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지를 상기 사용자 단말 장치로 제공하고,
    상기 촬영 이미지와 관련된 제2 피드백이 수신되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 상기 사용자 단말 장치로 제공하는 프로세서;를 포함하는, 조리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 피드백이 수신된 경우, 상기 사용자 단말 장치로 제공된 복수의 이미지 중 하나가 선택되면 상기 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 상기 조리실의 구동을 제어하는, 조리 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 피드백이 수신된 경우, 상기 사용자 단말 장치로 제공된 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 상기 메모리에 저장된 정보를 업데이트하는, 조리 장치.
  4. 제3항에 있어서,
    상기 업데이트는 상기 조리 방법에 포함된 조리 시간, 조리 온도, 조리 패턴 중 적어도 하나를 수정하는 업데이트 및 다음 조리 시에 제공할 알림 메시지를 생성하는 업데이트 중 적어도 하나를 포함하는, 조리 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영 이미지와 관련된 제3 피드백이 수신되면 상기 조리실의 구동이 정지하도록 제어하는, 조리 장치.
  6. 제1항에 있어서,
    디스플레이; 및
    사용자의 피드백을 입력 받는 입력 장치;를 더 포함하고,
    상기 프로세서는,
    상기 촬영 이미지를 표시하도록 상기 디스플레이를 제어하고,
    상기 입력 장치를 통해 상기 제1 피드백이 입력되면 상기 조리물에 대한 추가 조리 조건을 선택하기 위한 복수의 이미지를 표시하고, 상기 입력 장치를 통해 상기 제2 피드백이 입력되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 표시하도록 상기 디스플레이를 제어하는, 조리 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 제1 피드백이 입력된 경우, 상기 디스플레이에 표시된 복수의 이미지 중 하나가 선택되면 상기 선택된 이미지에 대응되는 추가 조리 조건에 따라 추가 조리를 수행하도록 상기 조리실의 구동을 제어하는, 조리 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 제2 피드백이 입력된 경우, 상기 디스플레이에 표시된 복수의 메뉴 중 적어도 하나의 메뉴가 선택되면 선택된 메뉴에 기초하여 상기 메모리에 저장된 정보를 업데이트하는, 조리 장치.
  9. 제1항에 있어서,
    상기 메모리는,
    서로 다른 조리 레벨을 나타내는 복수의 레퍼런스 이미지 및 상기 복수의 레퍼런스 이미지 각각에 매칭되는 조리 방법을 각 요리 별로 저장하고,
    상기 프로세서는,
    상기 복수의 레퍼런스 이미지를 상기 사용자 단말 장치로 제공하고, 상기 복수의 레퍼런스 이미지 중 하나가 선택되면 선택된 레퍼런스 이미지에 대응되는 조리 레벨에 따라 상기 메모리에 저장된 조리 방법을 업데이트하고, 상기 선택된 레퍼런스 이미지에 대응되는 조리 방법에 기초하여 상기 조리실의 구동을 제어하는, 조리 장치.
  10. 제1항에 있어서,
    조리물을 향하여 레이저를 조사하는 레이저 장치;를 더 포함하고,
    상기 프로세서는,
    상기 카메라 및 상기 레이저 장치를 이용하여 조리물의 3차원 이미지를 획득하고,
    상기 조리물의 3차원 이미지에 기초하여, 상기 조리물에 대한 촬영 이미지로부터 조리물 영역과 비조리물 영역을 식별하고,
    상기 촬영 이미지의 조리물 영역에 대하여 색상 보정을 수행하여 상기 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 생성하는, 조리 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 레이저 장치를 통해 조리물을 향하여 조사되는 선형 레이저를 상기 카메라를 통해 촬영한 이미지에 기초하여, 촬영된 선형 레이저 상의 복수의 영역 각각에 대한 3차원 공간 좌표를 획득하고, 상기 복수의 영역 중 3차원 공간 좌표의 높이 값이 0인 영역을 비조리물 영역으로 식별하고, 높이 값이 0이 아닌 영역을 조리물 영역으로 식별하는, 조리 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 촬영한 이미지에 기초하여 상기 촬영된 선혀여 레이저 상의 복수의 영역 각각에 대응되는 조리물의 색상 값을 획득하고, 상기 3차원 공간 좌표의 높이 값이 0인 영역 중, 높이 값이 0이 아닌 영역과 비교하여 색상 값이 기설정된 범위 이내인 영역을 조리물 영역으로 식별하는, 조리 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 조리물의 3차원 이미지와 상기 조리물에 대한 촬영 이미지를 매칭하여 상기 촬영 이미지로부터 식별된 조리물의 외곽 영역의 내측을 조리물 영역으로 식별하는, 조리 장치.
  14. 사용자 단말 장치에 있어서,
    조리실 내부를 촬영하는 카메라를 포함하는 조리 장치를 제어하기 위한 어플리케이션이 저장된 메모리;
    디스플레이;
    통신 인터페이스; 및
    상기 어플리케이션이 실행되면 상기 조리 장치에서 조리를 수행할 요리를 입력 받기 위한 요리 선택 UI를 표시하도록 상기 디스플레이를 제어하고, 상기 요리 선택 UI에서 입력된 요리에 대응되는 제어 신호를 상기 조리 장치로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 조리 장치로부터 조리물의 촬영 이미지를 수신하면 상기 촬영 이미지 및 상기 촬영 이미지와 관련된 피드백을 입력 받기 위한 복수의 메뉴를 표시하도록 상기 디스플레이를 제어하고, 상기 복수의 메뉴 중 하나가 선택되면 선택된 메뉴에 대응되는 피드백을 상기 조리 장치로 전송하는 프로세서;를 포함하는, 사용자 단말 장치.
  15. 조리실 내부를 촬영하는 카메라를 포함하는 조리 장치의 제어 방법에 있어서,
    요리가 선택되면 선택된 요리에 대응되는 조리 방법에 기초하여 상기 조리실을 구동하는 단계;
    상기 카메라를 이용하여 상기 조리실 내부의 조리물을 촬영하는 단계;
    조리 완료된 조리물의 촬영 이미지를 사용자 단말 장치로 전송하는 단계;
    상기 촬영 이미지와 관련된 제1 피드백이 수신되면 상기 조리물에 대한 추가 조리 조건을 선택 받기 위한 복수의 이미지를 상기 사용자 단말 장치로 제공하는 단계; 및
    상기 촬영 이미지와 관련된 제2 피드백이 수신되면 상기 조리물의 조리 상태에 대한 원인을 분석하기 위한 복수의 메뉴를 상기 사용자 단말 장치로 제공하는 단계;를 포함하는, 제어 방법.
PCT/KR2022/005215 2021-04-13 2022-04-11 조리 장치 및 이의 제어 방법 WO2022220520A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22788376.6A EP4268688A4 (en) 2021-04-13 2022-04-11 COOKING APPARATUS AND CONTROL METHODS THEREFOR
CN202280018217.8A CN116916795A (zh) 2021-04-13 2022-04-11 烹饪设备及其控制方法
US17/840,695 US20220325896A1 (en) 2021-04-13 2022-06-15 Cooking apparatus and control method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0047946 2021-04-13
KR20210047946 2021-04-13
KR1020220021468A KR20220141737A (ko) 2021-04-13 2022-02-18 조리 장치 및 이의 제어 방법
KR10-2022-0021468 2022-02-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/840,695 Continuation US20220325896A1 (en) 2021-04-13 2022-06-15 Cooking apparatus and control method thereof

Publications (1)

Publication Number Publication Date
WO2022220520A1 true WO2022220520A1 (ko) 2022-10-20

Family

ID=83640468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005215 WO2022220520A1 (ko) 2021-04-13 2022-04-11 조리 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2022220520A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101737498B1 (ko) * 2016-11-08 2017-05-19 리나스대성(주) 원격 제어 가능한 오븐 및 오븐 제어 단말 장치
KR20180032234A (ko) * 2016-09-21 2018-03-30 엔에이치엔엔터테인먼트 주식회사 요리 지원 서비스 제공 방법 및 시스템
JP2018534514A (ja) * 2015-09-10 2018-11-22 ブラバ・ホーム・インコーポレイテッド オーブン内カメラ
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
WO2021040095A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 카메라를 구비한 조리기기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018534514A (ja) * 2015-09-10 2018-11-22 ブラバ・ホーム・インコーポレイテッド オーブン内カメラ
KR20180032234A (ko) * 2016-09-21 2018-03-30 엔에이치엔엔터테인먼트 주식회사 요리 지원 서비스 제공 방법 및 시스템
KR101737498B1 (ko) * 2016-11-08 2017-05-19 리나스대성(주) 원격 제어 가능한 오븐 및 오븐 제어 단말 장치
KR20190105531A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
WO2021040095A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 카메라를 구비한 조리기기

Similar Documents

Publication Publication Date Title
WO2018048094A1 (en) Cook top, range hood and control methods thereof
WO2018062900A1 (en) Display device
WO2021040095A1 (ko) 카메라를 구비한 조리기기
WO2016060370A1 (en) Terminal for internet of things and operation method of the same
WO2016072635A1 (en) User terminal device and method for control thereof and system for providing contents
WO2018147629A1 (en) Electronic device including speaker
WO2014104733A1 (en) Method of receiving connection information from mobile communication device, computer-readable storage medium having recorded thereon the method, and digital image-capturing apparatus
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
EP3523960A1 (en) Device and method of displaying images
WO2018190637A1 (ko) 디바이스의 통신 연결 방법 및 그 장치
WO2015167236A1 (en) Electronic device and method for providing emergency video call service
WO2016126072A1 (en) Electronic device for performing call reservation and method thereof
WO2016039582A1 (en) Method and apparatus for recognizing iris
WO2016064128A1 (en) Control device, method of controlling the same, and integrated control system
WO2018093160A2 (ko) 디스플레이장치, 시스템 및 기록매체
WO2018135800A1 (en) Electronic apparatus, control method of the same, and recording media
WO2022211432A1 (ko) 온도 센싱 장치를 포함하는 후드 장치 및 온도 센싱 방법
EP3295363A1 (en) Terminal device and method for protecting information thereof
WO2017065418A1 (ko) 전자장치 및 그 제어방법
WO2017104859A1 (ko) 사물인터넷 서비스 시나리오 생성을 위한 컴퓨터 프로그램, 휴대용 단말기, 및 게이트웨이 장치
WO2022220520A1 (ko) 조리 장치 및 이의 제어 방법
WO2019135619A1 (ko) 조리 과정에 대한 타임라인을 결정할 수 있는 전자 장치
WO2021149932A1 (en) Cooking apparatus and method for controlling thereof
WO2022149922A1 (ko) 조리 기기 및 조리 기기의 제어 방법
EP4268688A1 (en) Cooking apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788376

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022788376

Country of ref document: EP

Effective date: 20230728

WWE Wipo information: entry into national phase

Ref document number: 202280018217.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE