WO2021040095A1 - 카메라를 구비한 조리기기 - Google Patents

카메라를 구비한 조리기기 Download PDF

Info

Publication number
WO2021040095A1
WO2021040095A1 PCT/KR2019/011113 KR2019011113W WO2021040095A1 WO 2021040095 A1 WO2021040095 A1 WO 2021040095A1 KR 2019011113 W KR2019011113 W KR 2019011113W WO 2021040095 A1 WO2021040095 A1 WO 2021040095A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
command
module
image
user
Prior art date
Application number
PCT/KR2019/011113
Other languages
English (en)
French (fr)
Inventor
한다윤
박윤식
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/011113 priority Critical patent/WO2021040095A1/ko
Priority to CN201980006416.5A priority patent/CN112911974A/zh
Priority to US16/636,895 priority patent/US20210401223A1/en
Priority to KR1020207000190A priority patent/KR20220049437A/ko
Priority to EP19863987.4A priority patent/EP3811832A4/en
Publication of WO2021040095A1 publication Critical patent/WO2021040095A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • a communication module may be provided to receive an update of the previously learned result from an external server.
  • the user interface may include a speaker that provides a user with a voice guiding a cooking mode based on the recognized cooking object.
  • An object of the present invention is to provide a cooking appliance that can be easily used through a voice command.
  • a cooking apparatus capable of recognizing subjective and emotional control commands and effectively reflecting them.
  • FIG. 4 shows a control flow of a cooking appliance according to an embodiment of the present invention
  • FIG. 6 illustrates an example in which a cooking prediction image in a medium, done state is displayed on a user interface of a cooking appliance and/or an external terminal
  • a cooktop 17 forming a separate cooking area may be provided above the cabinet 10.
  • the rear display unit 18 may be provided.
  • the rear display unit 18 may also be referred to as a part of the user interface.
  • the UI may be provided to allow a user to input a cooking condition or to check a cooking state.
  • the UI may include a display, and may display one or more of various images such as an image generated through a camera module, an image downloaded through a server, and an image stored in the memory 92. It is possible to display an image that is currently photographed or an image that has been photographed in the past.
  • the microphone module 50 may be provided to recognize a user's voice command. Therefore, the microphone module 50 may also be referred to as a part of the UI. Since voice commands are possible through the microphone module, the user can easily input control commands even if there is no operation such as buttons or rotary knobs.
  • the control unit 90 may include an artificial intelligence module 91.
  • the artificial intelligence module 91 may be separated from the control unit and provided to communicate with the control unit wired or wirelessly.
  • the controller may control the operation of the cooking appliance based on the output of the artificial intelligence module.
  • the user may input a cooking command or a cooking variable through the cooking prediction image. That is, the cooking prediction image is matched with information such as a cooking command or a cooking variable. Accordingly, selecting a specific cooking prediction image may be the same as selecting information such as a specific cooking command or cooking variable.
  • the user may input a cooking command (S10) or set a cooking variable (S20) through a UI, a microphone module, or an external terminal.
  • the setting of the cooking variable may be for changing a cooking variable set by a cooking command.
  • the artificial intelligence module may output the specific image as a cooking prediction image. For example, when there are 10 cooking prediction images according to the cooking degree, a cooking prediction forest land having the 7th highest cooking degree may be output for a voice command of "cook it well". Thereafter, when the user provides a voice command of "more cooked", a cooking prediction image having the 8th highest degree of cooking may be output. If the user wants to continuously increase the degree of cooking, a cooking prediction image with the 10th highest degree of cooking may be finally output. When the user wants to cook with a higher degree of cooking, a cooking prediction image corresponding thereto is not output. Accordingly, the image generated after cooking is completed can be used as a new cooking prediction image having the 11th highest degree of cooking.
  • FIG. 5 to 7 illustrate cooking prediction images for the same cooking object.
  • FIG. 5 shows an example of a cooking prediction image corresponding to "less cooked”
  • FIG. 6 shows “suitably cooked”
  • FIG. 7 shows an example of a cooking prediction image corresponding to "well cooked”.

Abstract

본 발명은 조리기기에 관한 것으로, 구체적으로는 조리 대상물이 조리 공간 내에 수용되어 조리가 수행되는 조리기기에 관한 것이다. 본 발명의 일실시예에 따르면, 캐비닛; 조리 대상물을 수용하도록 구비되는 캐비티(cavity); 상기 캐비닛에 회전 가능하게 구비되며, 투시 윈도우를 갖는 도어; 상기 캐비티 내에 수용된 조리 대상물을 촬영하여 이미지를 생성하도록 구비되는 카메라 모듈; 상기 조리 대상물을 가열하여 조리하는 히팅 모듈; 사용자가 조리 명령을 입력하거나 또는 조리 온도와 조리 시간을 포함하는 조리 변수를 입력하도록 구비되는 사용자 인터페이스; 학습에 의해, 조리 시작 후 현재까지의 조리 변수 추이를 입력으로 하고, 조리 완료 후 예측되는 조리 대상물의 이미지(조리 예측 이미지)를 출력하는 인공지능모듈; 그리고 상기 조리 명령 또는 조리 변수를 기반으로, 상기 카메라 모듈, 히팅 모듈 그리고 인공지능모듈의 구동을 제어하는 제어부를 포함하는 조리기기 및 이의 제어방법이 제공될 수 있다.

Description

카메라를 구비한 조리기기
본 발명은 조리기기에 관한 것으로, 구체적으로는 조리 대상물이 조리 공간 내에 수용되어 조리가 수행되는 조리기기에 관한 것이다.
조리기기는 조리 대상물에 열을 가하여 조리하기 위한 장치 또는 가전제품을 의미한다. 조리 대상물이 수용된 용기에 직접 열을 가하여 대상물을 조리하는 조리기기가 있으며, 조리 공간 내에 조리 대상물을 수용하여 조리 공간 자체를 가열하여 대상물을 조리하는 조리기기가 있다.
조리 공간 또는 조리 대상물 수용 공간은 캐비티라 할 수 있고, 도어가 닫히면 캐비티 내부 공간이 외부 공간과 격리되고 도어가 열리면 캐비티 내부 공간이 외부 공간과 연통된다.
이러한 조리기기 중 오븐은 캐비티 내부 공간에서 조리 대상물이 조리되는 가전제품 중 하나라 할 수 있다.
오븐에서의 가열원 즉 히팅 방식에 따라, 광파 오븐, 전자파 오븐, 가스 오븐 또는 전기 히터 오븐 등으로 구분될 수 있다. 물론, 더욱 세분화할 수도 있을 것이다.
오븐과 같은 조리기기는 일정 공간 내부에 대상물을 수용하여 조리하므로, 조리 상태를 육안으로 파악하기 어렵다. 따라서, 적정 조리 상태를 파악하기 어렵다. 이러한 이유로 많은 조리기기의 전면에 구비되는 도어에 일부 투시 투명창을 마련하여, 조리 공간 내부의 조리 대상물을 외부에서 볼 수 있도록 하고 있다. 그러나, 투시 투명창의 대부분은 편광 필름 등으로 처리되어 육안으로 대상물의 조리 상태를 파악하는 것은 쉽지 않다. 따라서, 많은 경우 도어를 개방하여 육안으로 대상물의 조리 상태를 파악하는 것을 반복하게 된다.
오븐과 같은 조리기기에서의 조리 시간은 상대적으로 매우 길다. 따라서, 도어의 개폐를 복수 회 반복하는 것은 여간 수고로운 일이 아닐 수 없다. 이러한 이유로, 많은 조리기기에서는 조리 대상물의 레시피(recipe)를 제공하고 있다. 즉, 레시피마다 제안되거나 세팅되는 조리 변수를 갖고 있다.
그러나, 세팅된 레시피대로 조리가 수행되더라도, 대부분의 사용자들은 조리 완료 전에 도어를 열고 조리 대상물 상태를 확인하는 사용 형태를 갖는다.
그러므로, 도어 개방을 최소화하면서도 조리 상태를 효과적으로 파악할 수 있는 조리기기가 제공될 필요가 있다. 아울러, 종래 조리 경험을 이용하여 조리 만족도를 높일 수 있는 조리기기가 제공될 필요가 있다.
본 발명은, 기본적으로 전술한 종래의 조리기기의 문제를 해결하고자 함을 목적으로 한다.
본 발명의 일실시예를 통하여, 카메라를 통해서 조리 대상을 인지하여 사용자 맞춤형 조리기기를 제공하고자 한다.
본 발명의 일실시예를 통하여, 음성 명령을 통하여 용이하게 사용할 수 있는 조리기기를 제공하고자 한다. 특히, 주관적이고 감성적인 제어 명령을 인식하고 이를 효과적으로 반영할 수 있는 조리기기를 제공하고자 한다.
본 발명의 일실시예를 통하여, 조리 완료 후 예측되는 조리 대상물의 이미지(조리 예측 이미지)를 사용자에게 제공하여, 조리 도중 사용자가 조리 대상물을 육안으로 확인하는 것을 최소화할 수 있는 조리기기를 제공하고자 한다.
본 발명의 일실시예를 통하여, 조리 변수의 변경에 대응하여 조리 예측 이미지를 변경함으로써, 사용자가 조리 변수의 조작이나 세팅을 보다 용이하게 입력할 수 있는 조리기기를 제공하고자 한다.
본 발명의 일실시예를 통하여, 조리 예측 이미지를 통하여 조리 명령 또는 조리 변수 입력이 가능하도록 하여, 매우 편리한 사용자 인터페이스를 갖는 조리기기를 제공하고자 한다.
본 발명의 일실시예를 통하여, 조리 명령이나 조리 변수를 입력으로 하고 조리 예측 이미지를 출력으로 하는 인공지능 학습을 적용하여, 진화하고 스마트한 조리기기를 제공하고자 한다.
본 발명의 일실시예를 통하여, 외부 서버 또는 외부 단말기와 통신 가능하도록 하여, 사용자 인터페이스를 외부 단말기로 확장할 수 있는 조리기기를 제공하고자 한다.
전술한 목적을 구현하기 위하여, 본 발명의 일실시예에 따르면, 캐비닛; 조리 대상물을 수용하도록 구비되는 캐비티(cavity); 상기 캐비닛에 회전 가능하게 구비되며, 투시 윈도우를 갖는 도어; 상기 캐비티 내에 수용된 조리 대상물을 촬영하여 이미지를 생성하도록 구비되는 카메라 모듈; 상기 조리 대상물을 가열하여 조리하는 히팅 모듈; 사용자가 조리 명령을 입력하거나 또는 조리 온도와 조리 시간을 포함하는 조리 변수를 입력하도록 구비되는 사용자 인터페이스; 학습에 의해, 조리 시작 후 현재까지의 조리 변수 추이를 입력으로 하고, 조리 완료 후 예측되는 조리 대상물의 이미지(조리 예측 이미지)를 출력하는 인공지능모듈; 그리고 상기 조리 명령 또는 조리 변수를 기반으로, 상기 카메라 모듈, 히팅 모듈 그리고 인공지능모듈의 구동을 제어하는 제어부를 포함하는 조리기기 및 이의 제어방법이 제공될 수 있다.
여기서 조리 명령은 특정 레시피에 대한 조리 시작 명령일 수 있다. 특정 레시피가 결정되면 이에 대한 조리 변수는 자동으로 세팅될 수 있다.
조리 변수는 구체적으로 어떻게 조리를 수행할지 여부를 결정하는 변수이다. 일례로, 조리 시간이나 조리 온도를 포함할 수 있다. 더욱 구체적으로는 조리 시간이 경과됨에 따른 조리 온도의 변화 또한 조리 변수일 수 있다.
일례로, 조리 시작 후 예열 온도, 조리 중간의 온도 그리고 조리 말기의 온도가 서로 다르게 세팅될 수도 있다.
상기 조리 대상물의 촬영에 의해 생성되는 이미지를 저장하는 메모리를 포함함이 바람직하다.
상기 메모리에는 기생성된 이미지들을 저장될 수 있다. 즉, 사용자가 직접 사용하면서 생성되는 이미지들뿐만 아니라, 조리기기 판매자 또는 생산자가 생성한 이미지들이 저장될 수 있다. 아울러, 타사용자들이 조리기기를 사용하면서 생성한 이미지들이 저장될 수도 있다. 즉, 서버를 통해서 이미지들이 업데이트될 수 있다.
상기 메모리는, 동일 조리 대상물에 대해서 생성되는 복수 개의 이미지 각각을, 상기 조리 대상물의 색상 변화를 기반으로 조리 정도에 따라 구분하여 저장하는 것이 바람직하다. 따라서, 동일 조리 대상물에 대한 10 장의 이미지가 있는 경우, 조리 정도에 따라 구분되도록 저장될 수 있다.
상기 인공지능모듈은, 상기 메모리에 저장된 이미지 중에서 상기 조리 예측 이미지에 대응되는 특정 이미지가 있는 경우, 상기 특정 이미지를 상기 조리 예측 이미지로 출력하는 것이 바람직하다.
물론, 특정 이미지가 없는 경우, 서버를 통해서 특정 이미지를 다운로드 받아서 출력할 수도 있다. 이때, 각각의 이미지들은 입력 인자들과 매칭되도록 저장되어 있음이 바람직하다. 아울러, 인공지능모듈에서는 특정 이미지가 없는 경우, 학습 과정을 통해서 새로운 이미지를 생산하여 출력하는 것도 가능하다.
즉, 조리 정도의 차이는 조리 대상물의 색상 변화를 통해서 파악될 수 있다. 따라서, 특정 이미지가 없는 경우 조리 정도의 전후 이미지들을 통해서 특정 이미지를 생산할 수도 있을 것이다.
상기 사용자 인터페이스는, 상기 조리 예측 이미지를 디스플레이하도록 구비됨이 바람직하다. 이를 위해서, 조리기기에는 디스플레이 또는 터치 디스플레이가 구비될 수 있다. 사용자는 조리 예측 이미지를 통해서 육안으로 조리 대상물의 조리 상태를 조리 도중 살펴보지 않게 된다. 따라서, 사용이 매우 편리하다.
상기 사용자 인터페이스는, 사용자의 음성으로 조리 명령 또는 조리 변수를 수신하는 마이크 모듈을 포함할 수 있다. 사용자가 손으로 조리 명령 조리 변수를 직접 선택하지 않을 수 있다. 따라서, 사용이 매우 편리하다.
상기 마이크 모듈에서 수신된 사용자의 음성에서, 상기 조리 예측 이미지를 기준으로 상대적인 조리 정도의 증감 명령 구분하여 인식하는 음성인식 모듈을 포함함을 특징으로 하는 조리기기.
상기 음성인식 모듈은 단순히 조리 온도 증감이나 조리 시간 증감과 같은 직접적인 조리 변수 세팅 명령은 물론, 보다 주관적, 감성적 그리고 상대적인 명령을 인식하도록 구비될 수 있다.
예를 들어, 조리 정도의 상대적인 증감을 나타내는 명령어로 "그대로", "더 익힘" 그리고 "덜 익힘"과 같은 형태의 음성 명령을 인식할 수 있다. 즉, 현재의 조리 명령 또는 조리 변수를 통해서 예측되는 조리 정도에서 이러한 명령어를 인식 반영할 수 있다. 따라서, 이러한 음성 명령을 통해서, 현재 예측되는 조리 정도에서 증감이 맞도록 조리 변수를 변경 세팅할 수 있다.
그리고, 조리 정도의 증감 정도의 차이도 음성 명령을 통해 인식될 수 있다. 즉, "더 익힘"이라는 명령어와 "많이 더 익힘"이라는 명령어의 조리 정도 차이를 인식할 수 있다. 이에 따라 조리 변수의 변경 폭을 더 크게 할 수 있다.
상기 제어부는, 상기 음성인식 모듈에서 인식한 상대적인 조리 정도의 증감 명령에 기반하여, 현재의 조리 변수를 재설정할 수 있다.
상기 사용자 인터페이스는, 상기 조리 명령 또는 조리 변수가 변경되는 경우, 변경된 조리 예측 이미지를 디스플레이함이 바람직하다. 따라서, 사용자는 재설정한 조리 명령 또는 조리 변수에 기반하여, 조리 정도가 얼마나 변하는지를 직관적으로 파악할 수 있다. 따라서, 사용이 매우 편리하다.
상기 사용자 인터페이스는, 상기 변경된 조리 예측 이미지에 대응되어 변경된 조리 시간을 제공함이 바람직하다.
상기 메모리에 저장된 이미지 중 어느 하나를 사용자가 선택함으로써, 상기 조리 명령 또는 조리 변수를 입력받는 것이 가능하다. 따라서, 사용자가 조리 명령이나 조리 변수를 각종 입력 수단(일례로, 버튼이나 로터리 놉 등)을 통해 직접 선택하는 것이 아니라, 조리가 완료된 이미지를 보고 조리 명령 또는 조리 변수를 입력할 수 있다. 사용자가 조리 완료된 이미지를 선택하면, 이러한 이미지에 대응되는 조리 명령 또는 조리 변수가 세팅될 수 있다. 따라서, 사용자가 복잡하게 조리 명령 또는 조리 변수를 결정하여 선택하는 수고를 없앨 수 있다.
상기 조리 예측 이미지를 외부 단말기로 전송하기 위한 통신 모듈이 구비될 수 있다. 이를 통해서, 조리기기는 외부 단말기로 사용자 인터페이스를 확장할 수 있다.
일반적으로 많은 조리기기에는 디스플레이, 특히 컬러 이미지나 동영상을 구현하는 디스플레이가 탑재되지 않는다. 반면, 외부 단말기 일례로 스마트 폰의 경우에는 해상도 높은 터치 디스플레이가 탑재됨이 일반적이다. 따라서, 사용자는 외부 단말기를 마치 조리기기의 사용자 인터페이스인 것처럼 사용할 수 있다. 다시 말하면, 조리기기의 사용자 인터페이스를 외부 단말기로 확장할 수 있다.
사용자는 조리기기로부터 제공받는 각종 조리 정보(조리 명령, 조리 변수, 조리 예측 이미지, 조리 잔여 시간, 조리 진행 여부 등)를 통해, 현재의 조리기기의 상태를 용이하게 파악할 수 있다. 아울러, 조리 명령이나 조리 변수의 재설정 명령을 용이하게 할 수 있다. 특히, 조리 예측 이미지를 이용하여 조리 명령이나 조리 변수의 재설정을 더욱 용이하게 할 수 있다.
이를 위해서, 조리기기에는 통신 모듈이 구비됨이 바람직하다. 상기 통신모듈을 통해 상기 외부 단말기로부터 상기 조리 명령 또는 조리 변수의 변경을 수신받을 수 있다.
상기 조리기기는 외부 서버를 통해서 외부 단말기와 통신할 수 있다. 물론, 조리기기가 외부 단말기와 직접 통신할 수도 있다.
상기 인공지능 모듈의 학습 결과를 외부 서버로 전달하기 위한 통신 모듈이 구비될 수 있다.
외부 서버로부터 기학습 결과를 업데이트 받기 위한 통신 모듈이 구비될 수 있다.
상기 카메라 모듈은, 상기 제어부와 통신 가능하고 투시 윈도우 외측에 착탈 가능하게 구비되거나, 또는 상기 투시 윈도우 내부에 구비될 수 있다.
상기 카메라 모듈은, 조리 시작 전 상기 조리 대상물을 인식하기 위하여, 상기 조리 대상물을 촬영하여 이미지를 생성할 수 있다.
상기 조리 대상물에 대응되는 종래 조리 대상물에 대한 조리 연혁(히스토리)가 있는 경우, 조리 예측 이미지가 기저장되어 있을 것이다. 따라서, 기 저장된 조리 예측 이미지들을 사용자에게 제공할 수 있다. 사용자는 특정 조리 예측 이미지를 선택함으로써, 조리 명령 또는 조리 변수의 입력을 갈음할 수 있다. 왜냐하면, 특정 조리 예측 이미지는 특정 조리 명령이나 조리 변수의 세팅값과 매칭되어 있기 때문이다.
상기 사용자 인터페이스는, 상기 인식된 조리 대상물에 기반하여, 사용자에게 조리 모드를 안내하는 음성을 제공하는 스피커를 포함할 수 있다.
상기 사용자 인터페이스는, 상기 인식된 조리 대상물에 기반하여, 사용자에게 조리 모드를 안내하도록 디스플레이하도록 구비되는 것이 바람직하다. 디스플레이가 불가한 경우에는, 외부 단말기로 조리 모드 정보를 송신하여, 외부 단말기에서 조리 모드가 안내되도록 디스플레이될 수 있다.
외부 서버와 통신하도록 통신 모듈이 구비되며, 상기 통신 모듈은, 상기 외부 서버를 통해서 외부 단말기로 조리 정보를 송신하며, 상기 외부 단말기로부터의 조리 명령을 상기 외부 서버를 통해서 수신할 수 있다.
전술한 실시예들에서의 특징들은, 서로 모순되거나 배타적이지 않는 한, 다른 실시예들에서 복합적으로 구현될 수 있다.
본 발명의 일실시예를 통하여, 카메라를 통해서 조리 대상을 인지하여 사용자 맞춤형 조리기기를 제공할 수 있다.
본 발명의 일실시예를 통하여, 음성 명령을 통하여 용이하게 사용할 수 있는 조리기기를 제공하고자 한다. 특히, 주관적이고 감성적인 제어 명령을 인식하고 이를 효과적으로 반영할 수 있는 조리기기를 제공할 수 있다.
본 발명의 일실시예를 통하여, 조리 완료 후 예측되는 조리 대상물의 이미지(조리 예측 이미지)를 사용자에게 제공하여, 조리 도중 사용자가 조리 대상물을 육안으로 확인하는 것을 최소화할 수 있는 조리기기를 제공할 수 있다.
본 발명의 일실시예를 통하여, 조리 변수의 변경에 대응하여 조리 예측 이미지를 변경함으로써, 사용자가 조리 변수의 조작이나 세팅을 보다 용이하게 입력할 수 있는 조리기기를 제공할 수 있다.
본 발명의 일실시예를 통하여, 조리 예측 이미지를 통하여 조리 명령 또는 조리 변수 입력이 가능하도록 하여, 매우 편리한 사용자 인터페이스를 갖는 조리기기를 제공할 수 있다.
본 발명의 일실시예를 통하여, 조리 명령이나 조리 변수를 입력으로 하고 조리 예측 이미지를 출력으로 하는 인공지능 학습을 적용하여, 진화하고 스마트한 조리기기를 제공할 수 있다.
본 발명의 일실시예를 통하여, 외부 서버 또는 외부 단말기와 통신 가능하도록 하여, 사용자 인터페이스를 외부 단말기로 확장할 수 있는 조리기기를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 조리기기의 외형을 도시하고,
도 2는 도 1에 도시된 조리기기의 도어가 분해된 모습을 도시하고,
도 3은 본 발명의 일실시예에 따른 조리기기의 제어 구성을 도시하고,
도 4는 본 발명의 일실시예에 따른 조리기기의 제어 플로우를 도시하고,
도 5는 조리 정도가 약한(rare, underdone) 상태 에서의 조리 예측 이미지가 조리기기의 사용자 인터페이스 및/또는 외부 단말기에 디스플레이된 일례를 도시하고,
도 6은 조리 정도가 중간(medium, done) 상태에서의 조리 예측 이미지가 조리기기의 사용자 인터페이스 및/또는 외부 단말기에 디스플레이된 일례를 도시하고,
도 7은 조리 정도가 강한(well-done) 상태에서의 조리 예측 이미지가 조리기기의 사용자 인터페이스 및/또는 외부 단말기에 디스플레이된 일례를 도시하고 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 조리기기에 대해서 상세히 설명한다.
도 1은 본 발명의 일실시예에 적용될 수 있는 조리기기를 도시하고 있다. 구체적으로는 도어(100)의 전면 상부에 핸들(150)이 구비되고, 도어 하부의 회전 중심에 따라 회전하면서 개폐되는 조리기기를 도시하고 있다.
조리기기는 외형을 형성하는 캐비닛(10)을 포함하고, 상기 캐비닛(10) 내부에는 조리가 수행되는 캐비티(11)가 위치된다. 이러한 캐비티를 대상물 수용부라 할 수 있다. 마찬가지로, 상기 캐비닛(10)에 회전 가능하게 구비되는 도어(100)가 구비되며, 이러한 도어(100)를 통해서 대상물 수용부(11)를 볼 필요성이 있다. 즉, 캐비티 내부에 조리 대상물의 조리 상태를 파악하도록 할 수 있다.
조리기기에는 사용자의 조작을 위한 컨트롤패널(12)이 구비될 수 있으며, 컨트롤패널(12)에는 조작부(13)가 구비될 수 있다. 이러한 조작부 중 일례가 놉일 수 있다. 상기 컨트롤패널에는 로터리 높과 같은 선택 수단뿐만 아니라 버튼과 같은 선택 수단이 구비될 수 있다. 또한, 조리 시간이나 조리 상태를 표시하는 디스플레이부가 구비될 수 있다.
따라서, 이러한 컨트롤패널(12)을 사용자 인터페이스라 할 수 있다.
조리기기인 경우에는 캐비닛(10)의 상부에 별도의 조리 영역을 형성하는 쿡탑(17)이 구비될 수 있다. 그리고, 필요에 따라 후방 디스플레이부(18)가 구비될 수 있다. 여기서 상기 후방 디스플레이부(18)도 사용자 인터페이스의 일부라 할 수 있다.
이하에서는 도 2를 참조하여 도 1에 도시된 조리기기의 도어 구조에 대해서 상세히 설명한다. 상기 도어 구조는 캐비티 내부(조리 공간)이 매우 고온이므로, 고온을 견딜 수 있으며 카메라 모듈이 고온으로부터 안정성을 부여받을 수 있는 구조를 갖는 것이 바람직하다.
도어(100)는 캐비닛(10)과 연결되어 대상물이 수용되는 대상물 수용부(11)를 개폐하도록 구비된다. 상기 도어(100)에는 핸들(150)이 구비되어, 사용자는 상기 핸들(150)을 잡고 상기 도어(100)를 열고 닫게 된다.
상기 도어(100)는 복수 개의 프레임들로 이루어질 수 있다. 이러한 패널들이 결합되어 도어 프레임(205)를 형성할 수 있다.
상기 도어 프레임(205)은 도어의 전면을 이루는 아웃 도어(210)와 도어의 후면을 이루는 도어 라이너(280)를 포함할 수 있다. 이러한 아웃 도어(210)와 도어어라이너(280) 사이에는 소정 공간이 형성될 수 있다.
상기 아웃 도어(210)와 도어라이너(280) 사이에는 내측 프레임(230)이 구비될 수 있다. 그리고, 상기 프레임들(210, 230, 280)의 중앙에는 대상물 수용부 내부를 볼 수 있도록 중공부(214, 231, 281)가 각각 형성될 수 있다. 이러한 중공부들이 투시 윈도우(120)를 형성한다. 그리고, 이러한 윈도우들에 대응되는 단열 패널(240)과 전면패널(110)이 구비될 수 있다.
상기 아웃 도어(210)에는 전면패널(110)이 구비될 수 있다. 상기 전면패널(110)은 상기 아웃 도어(210)의 전방에서 상기 아웃 도어(210)에 결합될 수 있다. 그러나, 아웃 도어(210)의 후방에서 전면패널(110)이 결합됨이 바람직하다.
상기 전면패널(110)은 상기 아웃 도어(210)의 중공부(214)보다 크게 형성될 수 있다. 즉, 상기 중공부를 완전히 차단하도록 형성될 수 있다. 이러한 전면패널(110)은 유리 재질로 형성될 수 있다. 상기 전면패널(110)은 상기 아웃 도어(210)와 함께 도어(100)의 전면을 형성하게 된다.
상기 전면패널(110)은 투시 윈도우를 형성하는 한편 카메라가 장착되는 구성일 수 있다. 따라서, 상기 전면패널(110)에 카메라 모듈(30)이 밀착되도록 구비될 수 있다.
상기 카메라 모듈(30)은 상기 전면패널(110)의 후방에서 밀착되도록 장착될 수 있다. 물론, 상기 카메라 모듈(30)은 상기 전면패널(110)의 전방에서 밀착되도록 장착될 수 있다. 어느 경우나, 상기 카메라 모듈은 투시 윈도우를 통해서 캐비티 내부를 촬영하는 위치에 장착될 수 있다.
상기 카메라 모듈(30)은 자석이나 별도의 브라켓을 통해서 도어에 착탈 가능하게 구비될 수 있다. 이 경우, 카메라 모듈은 제어부(100)와 통신하도록 구비될 수 있다. 상기 카메라 모듈은 제어부의 제어를 통해서 이미지를 생성하고 생성된 이미지를 조리기기로 전송할 수 있다.
상기 전면패널(110)과 함께 윈도우 패널(240)이 구비될 수 있다. 상기 윈도우 패널(240)는 단열을 위해 구비되므로 단열패널이라 할 수 있다. 이러한 단열 패널도 복수 겹으로 형성될 수 있으며, 유리 재질로 형성됨이 바람직하다.
상기 도어(100)의 내부에는 도어(100)가 열리고 닫히는 힌지(295)가 구비될 수 있다. 상기 가전제품은 풀 다운(PULL-DOWN) 형태의 도어일 수 있다. 따라서, 상기 힌지(295)는 댐퍼를 포함할 수 있다.
상기 도어(100)의 하부에는 차폐 패널(290)이 형성될 수 있다.
한편, 도 2에 도시된 바와 달리, 카메라 모듈(30)은 도어 내부에 구비될 수 있다. 전면 패널과 단열 패널 사이, 단열 패널과 단열 패널 등, 열기가 직접 카메라 모듈로 전달되지 않도록 도어 내부에 매설되어 장착될 수 있다.
투시 윈도우(120)는 전체적으로 편광 필름으로 처리될 수 있다. 그러나, 이러한 편광 필름 처리로 인해 이미지의 해상도가 저하되거나 선명한 이미지를 생성하기 어려울 수 있다.
따라서, 카메라 모듈과 대응되는 투시 윈도우 부분에는 편광 필름 처리가 배제되거나 최소화될 수 있다.
이하에서는, 도 3을 참조하여, 본 발명의 일실시예에 따른 조리기기의 제어구성에 대해서 상세히 설명한다.
조리 대상물을 촬영하여 이미지를 생성하도록 카메라 모듈(30)이 구비된다. 상기 카메라 모듈(30)은 캐비티 내에 수용된 조리 대상물을 촬영하도록 구비된다.
캐비티 내부의 환경은 매우 고온이라 할 수 있다. 따라서, 고온으로부터 카메라 모듈을 보호할 필요가 있다. 따라서, 상기 카메라 모듈(30)은 도어의 전방에 구비될 수 있다. 즉, 캐비티와 직접 접촉하는 도어의 내면이 아닌 도어의 외면이나 도어의 내면과 외면 사이에 구비될 수 있다.
또한, 상기 카메라 모듈(30)은 착탈 형태로 구비될 수 있다. 도어의 전면에 카메라 모듈이 필요에 따라 장착되거나 제거될 수 있다. 이 경우, 상기 카메라 모듈은 제어부(90)와 통신 연결되도록 구비될 수 있다.
조리 대상물을 가열하여 조리하기 위하여 히팅 모듈(40)이 구비된다. 상기 히팅 모듈은 가스 히터나 전기 히터와 같이 대상물을 가열하는 히팅 모듈일 수 있으며, 마이크로 웨이브를 이용하여 대상물을 조리하는 히팅 모듈일 수 있다. 제어부(90)는 히팅 모듈의 작동 시간, 작동 시점 그리고 작동 조건(온도, 출력) 등을 제어하게 된다.
UI(사용자 인터페이스)는 사용자가 조리 조건을 입력하거나 조리 상태를 파악할 수 있도록 구비될 수 있다. 상기 UI는 디스플레이를 포함할 수 있으며, 카메라 모듈을 통해 생성된 이미지, 서버를 통해 다운받은 이미지, 메모리(92)에 저장된 이미지 등 다양한 이미지 중 어느 하나 이상을 디스플레이할 수 있다. 현재 촬영된 이미지 또는 과거에 촬영된 이미지를 디스플레이할 수 있다.
구체적으로, 현재 촬영된 이미지와 조리 완료 후 예측되는 이미지를 디스플레이할 수 있다. 따라서, 현재 촬영된 이미지와 예측되는 이미지를 통해서 사용자는 현재 조리 정도를 직관적으로 파악할 수 있다.
마이크 모듈(50)은 사용자의 음성 명령을 인식하도록 구비될 수 있다. 따라서, 마이크 모듈(50)은 UI의 일부라고도 할 수 있다. 마이크 모듈을 통해서 음성 명령이 가능하므로 버튼이나 로터리 놉과 같은 조작이 없더라도 사용자가 용이하게 제어 명령을 입력할 수 있다.
스피커(70)는 조리기기에서 현재의 상태나 알람 등을 음성으로 출력하기 위하여 구비될 수 있다. 따라서, 스피커(70)는 UI의 일부라고도 할 수 있다. 사용자의 음성 명령에 대해서 조리기기의 스피커(70)는 확인 메시지를 음성으로 출력할 수 있다. 즉, 음성 명령을 확인하기 위한 음성 출력이나 수신된 음성 명령을 수행한다는 음성 출력을 스피커를 통해서 수행할 수 있다.
제어부(90)는 UI나 마이크 모듈(50)을 통해서 입력된 사용자의 명령을 기반으로 하여 조리기기의 작동을 제어하게 된다.
제어부(90)는 인공지능모듈(91)을 포함할 수 있다. 물론, 인공지능모듈(91)은 제어부와 분리되어 제어부와 유무선 통신하도록 구비될 수도 있다. 제어부는 인공지능모듈의 출력을 기반으로 하여 조리기기의 작동을 제어할 수 있다.
제어부(92)는 메모리(92)를 포함할 수 있다. 물론, 메모리(92)는 제어부와 분리되어 구비될 수 있으며, 제어부와 유무선 통신하도록 구비될 수 있다.
제어부(92)은 음성인식모듈(93)을 포함할 수 있다. 물론, 음성인식모듈(93)은 제어부와 분리되어 제어부와 유무선 통신하도록 구비될 수 있다. 마이크 모듈(50)을 통해 수신된 사용자의 음성 명령을 인식하고 분석하는 기능을 음성인식모듈에서 수행할 수 있다.
조리기기(100)은 외부 서버(1)와 통신 연결될 수 있다. 이를 위해서 조리기기는 통신모듈(60)을 포함할 수 있다. 조리기기가 외부 서버와 통신 연결됨으로써, 카메라 모듈을 통해 생성된 이미지 및 관련 정보를 외부 서버로 전달할 수 있다.
일례로, 조리가 완료된 후 생성된 이미지는 조리 히스토리와 관련된 정보와 매칭될 수 있다. 즉, 어떠한 조리 과정을 거쳐 완성된 조리 대상물의 이미지인지 알 수 있다. 일례로, 조리 대상물의 종류, 요리명, 조리 코스, 조리 온도와 시간 조건 등의 정보와 조리 이미지가 서로 매칭될 수 있다. 물론, 조리가 완성된 후의 이미지뿐만 아니라 조리 시작이나 조리 도중의 이미지가 생성될 수 있으며, 각각의 이미지에서도 마찬가지로 관련 정보가 매칭될 수 있다. 따라서, 조리기기(100)를 통해서 조리 경험이 누적됨에 따라 이미지 및 관련 정보가 누적될 수 있다.
또한, 조리기기(100)는 서버를 통해서 이미지 및 관련 정보를 다운 받을 수도 있다. 즉, 서버에 누적된 다른 조리기기의 조리 경험을 용이하게 전달받을 수 있다.
따라서, 동일한 조리기기를 통한 타 사용자의 조리 경험 및 정보를 용이하게 전달받음으로써 사용자는 매우 효과적이고 용이하게 조리기기를 이용할 수 있다.
한편, 상기 서버(1)는 음성 인식을 제공하는 서버일 수 있다. 이 경우, 조리기기에는 음성인식모듈이 장착될 필요가 없다. 즉, 조리기기의 마이크 모듈을 통해 수신된 음성 명령은 서버(1)로 전달되고, 서버에서 음성 명령을 인식하고 분석할 수 있다.
따라서, 조리기기 자체에서는 음성 인식 및 분석을 위한 복잡하고 고가의 모듈을 필요로 하지 않기 때문에, 성능 대비 조리기기의 가격을 낮출 수 있어 사용자 만족도를 높일 수 있다.
사용자는 외부 단말기(2)를 통해서 조리기기의 원격 제어나 모니터링 등 다양한 원격 서비스를 이용할 수 있다. 즉, 조리기기와 연동된 외부 단말기(2)는 서버를 통해서 조리기기와 통신 연결될 수 있다.
외부 단말기에는 조리기기와 연관된 어플리케이션이 설치되며, 사용자는 이러한 어플리케이션을 실행함으로써 다양한 원격 서비스를 이용할 수 있다. 일반적으로, 외부 단말기는 고화질의 디스플레이를 갖는다. 그리고, 스피커와 마이크 모듈을 갖는다. 따라서, 외부 단말기의 스피커, 마이크 모듈 그리고 디스플레이는 조리기기의 UI의 확장을 가능하게 할 수 있다.
다시 말하면, 조리기기에 대한 음성 명령, 조리 대상물 이미지의 디스플레이, 조리 명령에 대한 확인 음성 출력이나 조리 실행 음성 출력 등이 외부 단말기를 통해서 구현될 수 있다.
사용자는 조리기기와 떨어진 상태에서 외부 단말기를 통해, 조리 상태, 조리 조건, 조리 예상 시간, 조리 예측 이미지, 조리 명령, 조리 조건 변경 등 다양한 원격 서비스를 이용할 수 있다. 일례로, 사용자는 외부 단말기를 통해서 음성으로 조리 명령을 입력할 수 있다. 또한, 사용자는 외부 단말기를 통해서 음성으로 조리 온도와 조리 시간을 포함하는 조리 변수를 입력할 수 있다. 따라서, 조리기기 자체의 UI를 외부 단말기로 확장하는 것이 가능하게 된다.
외부 단말기를 통해서, 조리 명령이나 조리 변수를 수신하면, 제어부는 이를 기반으로 하여 조리기기의 작동을 제어하게 된다. 즉, 카메라 모듈, 히팅 모둘 그리고 인공지능모듈의 구동을 제어할 수 있다.
한편, 인공지능모듈은, 조리기기 자체의 UI나 외부 단말기를 통해 수신된 조리 명령이나 조리 변수를 입력으로 하고, 조리 완료 후 예측되는 조리 대상물의 이미지(조리 예측 이미지)를 출력할 수 있다. 조리 예측 이미지는 카메라 모듈에서 생성하여 메모리에 저장된 이미지 중 어느 하나일 수 있으며, 서버를 통해 업데이트된 이미지 중 어느 하나일 수 있다.
현재의 조리 명령이나 조리 변수와 매칭되거나 최적으로 매칭될 수 있는 조리 예측 이미지를 출력함으로써 사용자는 자신의 조리 명령이나 조리 변수 입력의 적정 여부를 판단할 수 있다.
다른 관점에서, 사용자는 조리 예측 이미지를 통해서 조리 명령이나 조리 변수를 입력하는 것이 가능하다. 즉, 조리 예측 이미지는 조리 명령이나 조리 변수와 같은 정보들과 매칭되어 있다. 따라서, 특정 조리 예측 이미지를 선택하는 것은 특정 조리 명령이나 조리 변수와 같은 정보를 선택하는 것과 동일할 수 있다.
일례로, 잘 익혀진 조리 대상물의 이미지를 선택하면 이러한 조리의 히스토리에 대한 정보를 선택한 것이라 할 수 있다. 따라서, 사용자는 복잡하고 번거로운 조리 명령이나 조리 변수의 선택을 배제하고 용이하게 조리 명령이나 조리 변수를 선택할 수 있다. 즉, 하나의 이미지만 선택함으로써 이러한 과정들을 단번에 수행하는 것이 가능하다.
이하에서는, 도 4를 참조하여, 본 발명의 일실시예에 따른 조리기기의 제어방법에 대해서 상세히 설명한다.
사용자가 UI, 마이크 모듈이나 외부 단말기를 통해서 조리 명령의 입력(S10)이나 조리 변수 세팅(S20)을 수행할 수 있다. 상기 조리 변수의 세팅은 조리 명령에 의해 세팅된 조리 변수를 변경하기 위한 것일 수 있다.
이 과정의 전, 이 과정 중 그리고 이 과정 후 조리 대상을 인지(S5)하는 단계가 수행될 수 있다. 조리 대상의 인지는 카메라 모듈에서 조리 대상물을 촬영하여 이미지를 생성함으로써 수행될 수 있다. 물론, 조리 대상의 인지는 조리 준비 과정에서 수행될 수 있으며, 이는 사용자가 조리 대상물을 조리기기에 투입하는 것이라 할 수 있다. 아울러, 조리기기의 전원을 인가하는 등의 조리 준비 과정도 포함될 수 있다.
조리 명령과 조리 변수가 세팅되면, 조리 예측 이미지가 표시(S30)될 수 있다. 조리 예측 이미지는 현재의 조리 명령과 조리 변수에 따라 특정 조리 예측 이미지가 표시될 수 있다. 이전 학습의 결과가 표시될 수 있으며, 메모리에 저장된 이미지가 표시될 수도 있다. 물론, 이러한 조리 예측 이미지는 인지된 조리 대상물에 대응되는 이미지인 것이 바람직하다.
예를 들어, "닭 구이" 요리를 하는 경우 조리 전의 닭 이미지가 생성되어 조리 대상물이 인지될 수 있다. 이 경우, "닭 구이"에 해당하는 조리 예측 이미지가 선택되어 표시되는 것이 바람직하다. 조리 예측 이미지를 통해서 조리 정도를 파악할 수 있는데, 이러한 조리 정도는 기 입력된 조리 명령과 조리 변수에 따라 달라진다고 할 수 있다.
따라서, 사용자는 조리 예측 이미지를 통해서 조리 정도를 예측할 수 있다. 일례로, 더 익힌 요리를 원하는 경우, 조리 변수 변경을 수행할 수 있다. 이때, 사용자는 음성으로 "더 익혀줘"라는 명령을 제공할 수 있다. 조리기기에서는 이러한 음성 명령은 인식하여, 조리 시간을 증가시키거나 및/또는 조리 온도를 높임으로써 조리 정도를 가변할 수 있다.
한편, 사용자의 선택이 종료하면 조리(S40)가 수행될 수 있다. 조리가 수행됨에 따라 조리 대상물의 촬영(S50)이 반복적 또는 주기적으로 수행될 수 있다. 촬영 시점까지의 조리 히스토리(조리 명령이나 조리 변수, 조리 변수의 변경 추이 등) 정보가 획득될 수 있다. 따라서, 생성되는 이미지와 이러한 관련 정보가 매칭되어 저장될 수 있다.
즉, 조리 조건을 입력으로 하여 조리 예측 이미지가 학습을 통해서 도출될 수 있다. 이러한 학습 결과는 전술한 조리 예측 이미지 표시(S30)에서 이용될 수 있다. 일례로, 동일 조리 대상물에 대한 이미지들 중 현재의 조리 조건과 가장 유사한 조리 예측 이미지를 출력하여 표시할 수 있다.
일례로, 표시되는 조리 예측 이미지는 변경될 수 있다. 이는 사용자의 요청에 의한 것일 수 있다. 다시 말하면, 사용자가 조리 조건을 조리 도중 변경하는 경우에 이에 해당하는 조리 예측 이미지가 표시될 수 있다. 물론, 조리 도중에 현재의 조리 조건에 더욱 부합되는 조리 예측 이미지가 표시될 수도 있을 것이다.
한편, 조리 대상 인지 후 사용자는 특정 조리 예측 이미지를 선택할 수 있다. 일례로, 조리 대상 인지 후 해당하는 조리 예측 이미지들이 복수 개 표시될 수 있다. 순차적으로 표시될 수 있으며, 사용자가 스크롤이나 버튼을 조작함으로써 복수 개의 조리 예측 이미지들 중 어느 하나를 선택할 수 있다.
특정 조리 예측 이미지를 선택하는 것은 조리 조건을 선택하는 것이라 할 수 있다. 왜냐하면, 특정 조리 예측 이미지 자체에서 조리 조건이 매칭되어 있기 때문이다. 따라서, 특정 조리 예측 이미지를 선택함으로써, 조리 명령 선택이나 조리 변수 세팅과 같은 과정들을 단순화하는 것이 가능하다. 즉, 조리 시간이나 조리 온도와 같은 세부적이고 복잡한 조건을 사용자가 인지하여 선택할 필요가 없게 된다.
사용자가 특정 조리 예측 이미지를 선택하면, 해당하는 조리 조건이 표시될 수 있으며, 특히 예상 조리 시간이 표시될 수 있다.
조리 설정 시간을 경과 여부를 판단하거나 강제 조리 종료 여부를 판단하는 등의 조리 종료 여부를 판단(S70)하고, 조리 종료가 아닌 경우 상술한 과정들을 반복하여 수행할 수 있다. 물론 조리 종료 조건이 만족되면 조리가 종료될 수 있다.
한편, 복수 개의 조리 예측 이미지들은 조리 정도에 따라서 서로 구분되어 저장될 수 있다. 즉, 덜 익힌 조리 대상물, 알맞게 익힌 조리 대상물 그리고 잘 익힌 조리 대상물들이 서로 구분되도록 저장될 수 있다. 이는 감성적인 사용자의 음성 명령에 효과적으로 대응하기 위한 것이라 할 수 있다.
조리 정도의 구분은 조리 대상물의 색상 차이 내지는 변화를 기반으로 하여 구분될 수 있다.
인공지능모듈은, 상기 메모리에 저장된 이미지 중에서 상기 조리예측 이미지에 대응되는 특정 이미지가 있는 경우, 상기 특정 이미지를 조리 예측 이미지로 출력할 수 있다. 일례로, 조리 정도에 따라 10 개의 조리 예측 이미지들이 있는 경우, "잘 익혀줘"라는 음성 명령에 대해서 7번째로 익힘 정도가 높은 조리 예측 임지가 출력될 수 있다. 이후, 사용자가 "더 익혀줘"라는 음성 명령을 제공하면, 8번째로 익힘 정도가 높은 조리 예측 이미지를 출력할 수 있다. 사용자가 지속적으로 익힘 정도를 높히길 원하면, 최종적으로 10번째로 익힘 정도가 높은 조리 예측 이미지가 출력될 수 있다. 사용자가 좀 더 익힘 정도가 높은 조리를 원하는 경우, 이에 대응되는 조리 예측 이미지가 출력되지 않는다. 따라서, 조리 완료 후 생성되는 이미지는 11번째로 익힘 정도가 높은 새로운 조리 예측 이미지로 활용할 수 있게 된다.
본 실시예에 따르면, 사용자가 마이크 모듈을 통해서 조리 예측 이미지를 기준으로 상대적인 조리 정도의 증감 명령을 할 수 있다. 제어부 또는 음성인식모듈은 이러한 상대적인 조리 정도의 증감 명령을 구분하여 인식할 수 있다. 그리고, 이러한 명령에 대응하여 변경되는 조리 예측 이미지를 표시할 수 있다. 물론, 조리기기 자체 또는 외부 단말기를 통해서 이러한 조리 예측 이미지가 표시될 수 있다. 그러므로, 직관적으로 용이하게 사용할 수 있는 조리기기가 제공될 수 있다.
따라서, 본 실시예에 따르면, 조리 예측 이미지의 확장 및 다양화가 가능하게 된다. 즉, 사용자의 경험에 바탕으로 하여 진화하는 조리 예측 이미지를 제공할 수 있다. 그러므로, 맞춤 조리기기를 제공하는 것이 가능하며, 스마트하며 사용이 편리한 조리기기를 제공할 수 있다.
이하에서는, 도 5 내지 도 7을 참조하여, 조리 예측 이미지들에 대한 실시예에 대해서 상세히 설명한다.
도 5 내지 도 7에는 동일 조리 대상물에 대한 조리 예측 이미지들을 도시하고 있다. 도 5에는 "덜 익음", 도 6에는 "적당히 익음" 그리고 도 7에는 "잘 익음"에 대응되는 조리 예측 이미지의 일례가 도시되어 있다.
조리 정도는 조리 대상물의 색상 변화를 통해서 파악될 수 있다. 조리 대상물에 따라 색상 변화는 다양할 수 있다. 일례로, 짙은 빨간색이나 짙은 갈색으로 갈 수록 조리 정도가 높을 수 있다.
조리 예측 이미지가 도 6에 도시된 이미지이며, 이러한 이미지가 표시될 수 있다. 사용자는 이러한 이미지를 선택함으로써 조리 명령과 조리 변수의 세팅을 갈음할 수 있다.
조리 전 또는 조리 도중, 사용자가 더 익힌 조리를 원하는 경우, 조리 변수의 변경을 수행할 수 있다. 사용자가 음성 명령으로 "더 익혀줘"라는 명령을 내리면, 조리 예측 이미지는 도 7에 도시된 이미지로 변경되어 표시될 수 있다.
조리기기에서 음성이나 디스플레이로 명령의 변경을 확인하면, 사용자는 이를 승인하는 명령을 UI나 음성을 통해서 제공할 수 있다.
제어부는, 변경된 조리 예측 이미지에 매칭되는 바와 같이 조리 변수를 변경하여 세팅하고, 변경된 조리 변수를 기반으로 조리를 수행하게 된다. 최종적으로는 변경된 조리 예측 이미지에 대응되는 조리를 수행하게 된다.
한편, 조리 예측 이미지의 표시나 조리 명령의 제공(변경)은 외부 단말기를 통해서 수행될 수도 있다.
사용자는 조리기기에서 이격된 위치에서 외부 단말기를 통해서 조리기기의 원격 제어나 모니터링이 가능하다. 즉, 외부 단말기는 서버와 통신하고, 서버는 조리기기와 통신함으로써 이러한 과정들이 수행될 수 있다.
그러므로, 사용자는 조리기기를 직접 조작하거나 조리기기에 접근하지 않더라도 용이하게 조리기기를 사용할 수 있게 된다.
발명의 상세한 설명에 기재되어 있음.

Claims (20)

  1. 캐비닛;
    조리 대상물을 수용하도록 구비되는 캐비티;
    상기 캐비닛에 회전 가능하게 구비되며, 투시 윈도우를 갖는 도어;
    상기 캐비티 내에 수용된 조리 대상물을 촬영하여 이미지를 생성하도록 구비되는 카메라 모듈;
    상기 조리 대상물을 가열하여 조리하는 히팅 모듈;
    사용자가 조리 명령을 입력하거나 또는 조리 온도와 조리 시간을 포함하는 조리 변수를 입력하도록 구비되는 사용자 인터페이스;
    학습에 의해, 조리 시작 후 현재까지의 조리 변수 추이를 입력으로 하고, 조리 완료 후 예측되는 조리 대상물의 이미지(조리 예측 이미지)를 출력하는 인공지능모듈; 그리고
    상기 조리 명령 또는 조리 변수를 기반으로, 상기 카메라 모듈, 히팅 모듈 그리고 인공지능모듈의 구동을 제어하는 제어부를 포함하는 조리기기.
  2. 제 1 항에 있어서,
    상기 조리 대상물의 촬영에 의해 생성되는 이미지를 저장하는 메모리를 포함함을 특징으로 하는 조리기기.
  3. 제 2 항에 있어서,
    상기 메모리는, 동일 조리 대상물에 대해서 생성되는 복수 개의 이미지 각각을, 상기 조리 대상물의 색상 변화를 기반으로 조리 정도에 따라 구분하여 저장하는 것을 특징으로 하는 조리기기.
  4. 제 1 항에 있어서,
    상기 인공지능모듈은, 상기 메모리에 저장된 이미지 중에서 상기 조리 예측 이미지에 대응되는 특정 이미지가 있는 경우, 상기 특정 이미지를 상기 조리 예측 이미지로 출력하는 것을 특징으로 하는 조리기기.
  5. 제 1 항에 있어서,
    상기 사용자 인터페이스는, 상기 조리 예측 이미지를 디스플레이하도록 구비됨을 특징으로 하는 조리기기.
  6. 제 5 항에 있어서,
    상기 사용자 인터페이스는, 사용자의 음성으로 조리 명령 또는 조리 변수를 수신하는 마이크 모듈을 포함함을 특징으로 하는 조리기기.
  7. 제 6 항에 있어서,
    상기 마이크 모듈에서 수신된 사용자의 음성에서, 상기 조리 예측 이미지를 기준으로 상대적인 조리 정도의 증감 명령 구분하여 인식하는 음성인식 모듈을 포함함을 특징으로 하는 조리기기.
  8. 제 7 항에 있어서,
    상기 제어부는, 상기 음성인식 모듈에서 인식한 상대적인 조리 정도의 증감 명령에 기반하여, 현재의 조리 변수를 재설정하는 것을 특징으로 하는 조리기기.
  9. 제 5 항에 있어서,
    상기 사용자 인터페이스는, 상기 조리 명령 또는 조리 변수가 변경되는 경우, 변경된 조리 예측 이미지를 디스플레이함을 특징으로 하는 조리기기.
  10. 제 9 항에 있어서,
    상기 사용자 인터페이스는, 상기 변경된 조리 예측 이미지에 대응되어 변경된 조리 시간을 제공하도록 구비됨을 특징으로 하는 조리기기.
  11. 제 5 항에 있어서,
    상기 메모리에 저장된 이미지 중 어느 하나를 사용자가 선택함으로써, 상기 조리 명령 또는 조리 변수를 입력받는 것을 특징으로 하는 조리기기.
  12. 제 1 항에 있어서,
    상기 조리 예측 이미지를 외부 단말기로 전송하기 위한 통신 모듈이 구비됨을 특징으로 하는 조리기기.
  13. 제 12 항에 있어서,
    상기 통신모듈을 통해 상기 외부 단말기로부터 상기 조리 명령 또는 조리 변수의 변경을 수신받는 것을 특징으로 하는 조리기기.
  14. 제 1 항에 있어서,
    상기 인공지능 모듈의 학습 결과를 외부 서버로 전달하기 위한 통신 모듈을 포함함을 특징으로 하는 조리기기.
  15. 제 1 항에 있어서,
    외부 서버로부터 기학습 결과를 업데이트 받기 위한 통신 모듈을 포함함을 특징으로 하는 조리기기.
  16. 제 1 항에 있어서,
    상기 카메라 모듈은, 상기 제어부와 통신 가능하고 투시 윈도우 외측에 착탈 가능하게 구비되거나, 또는 상기 투시 윈도우 내부에 구비되는 것을 특징으로 하는 조리기기.
  17. 제 1 항에 있어서,
    상기 카메라 모듈은, 조리 시작 전 상기 조리 대상물을 인식하기 위하여, 상기 조리 대상물을 촬영하여 이미지를 생성하는 것을 특징으로 하는 조리기기.
  18. 제 17 항에 있어서,
    상기 사용자 인터페이스는, 상기 인식된 조리 대상물에 기반하여, 사용자에게 조리 모드를 안내하는 음성을 제공하는 스피커를 포함함을 특징으로 하는 조리기기.
  19. 제 17 항에 있어서,
    상기 사용자 인터페이스는, 상기 인식된 조리 대상물에 기반하여, 사용자에게 조리 모드를 안내하도록 디스플레이하도록 구비되는 것을 특징으로 하는 조리기기.
  20. 제 1 항에 있어서,
    외부 서버와 통신하도록 통신 모듈이 구비되며,
    상기 통신 모듈은, 상기 외부 서버를 통해서 외부 단말기로 조리 정보를 송신하며, 상기 외부 단말기로부터의 조리 명령을 상기 외부 서버를 통해서 수신하는 것을 특징으로 하는 조리기기.
PCT/KR2019/011113 2019-08-30 2019-08-30 카메라를 구비한 조리기기 WO2021040095A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2019/011113 WO2021040095A1 (ko) 2019-08-30 2019-08-30 카메라를 구비한 조리기기
CN201980006416.5A CN112911974A (zh) 2019-08-30 2019-08-30 具备摄像头的烹饪设备
US16/636,895 US20210401223A1 (en) 2019-08-30 2019-08-30 Cooking device having camera
KR1020207000190A KR20220049437A (ko) 2019-08-30 2019-08-30 카메라를 구비한 조리기기
EP19863987.4A EP3811832A4 (en) 2019-08-30 2019-08-30 COOKING DEVICE WITH CAMERA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/011113 WO2021040095A1 (ko) 2019-08-30 2019-08-30 카메라를 구비한 조리기기

Publications (1)

Publication Number Publication Date
WO2021040095A1 true WO2021040095A1 (ko) 2021-03-04

Family

ID=74684224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/011113 WO2021040095A1 (ko) 2019-08-30 2019-08-30 카메라를 구비한 조리기기

Country Status (5)

Country Link
US (1) US20210401223A1 (ko)
EP (1) EP3811832A4 (ko)
KR (1) KR20220049437A (ko)
CN (1) CN112911974A (ko)
WO (1) WO2021040095A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220520A1 (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 조리 장치 및 이의 제어 방법
WO2023136615A1 (ko) * 2022-01-13 2023-07-20 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940153B2 (en) 2020-12-01 2024-03-26 GMG Products, LLC Fuel conditioner for grill
WO2024043493A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 조리 기기 및 조리 기기의 제어 방법
WO2024043503A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 조리 기기 및 조리 기기의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073929A (ko) * 2000-01-22 2001-08-03 윤종용 전자렌지의 음성인식에 의한 조리제어장치와 그 방법
US20100147823A1 (en) * 2008-12-17 2010-06-17 Whirlpool Corporation Oven control system with graphical display
KR101737498B1 (ko) * 2016-11-08 2017-05-19 리나스대성(주) 원격 제어 가능한 오븐 및 오븐 제어 단말 장치
JP2018534514A (ja) * 2015-09-10 2018-11-22 ブラバ・ホーム・インコーポレイテッド オーブン内カメラ
KR20190043830A (ko) * 2017-10-19 2019-04-29 주식회사 컴투루 조리기기 기반 레시피 저작 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2930918A1 (en) * 2014-04-07 2015-10-14 Indesit Company S.p.A. Oven comprising a camera
US10739013B2 (en) * 2015-05-05 2020-08-11 June Life, Inc. Tailored food preparation with an oven

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073929A (ko) * 2000-01-22 2001-08-03 윤종용 전자렌지의 음성인식에 의한 조리제어장치와 그 방법
US20100147823A1 (en) * 2008-12-17 2010-06-17 Whirlpool Corporation Oven control system with graphical display
JP2018534514A (ja) * 2015-09-10 2018-11-22 ブラバ・ホーム・インコーポレイテッド オーブン内カメラ
KR101737498B1 (ko) * 2016-11-08 2017-05-19 리나스대성(주) 원격 제어 가능한 오븐 및 오븐 제어 단말 장치
KR20190043830A (ko) * 2017-10-19 2019-04-29 주식회사 컴투루 조리기기 기반 레시피 저작 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3811832A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220520A1 (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 조리 장치 및 이의 제어 방법
WO2023136615A1 (ko) * 2022-01-13 2023-07-20 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20220049437A (ko) 2022-04-21
US20210401223A1 (en) 2021-12-30
CN112911974A (zh) 2021-06-04
EP3811832A4 (en) 2022-01-19
EP3811832A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
WO2021040095A1 (ko) 카메라를 구비한 조리기기
EP2444735B1 (en) Cooker and control method thereof
US10674569B2 (en) Domestic appliance, in particular cooking oven, with a camera
EP2444734B1 (en) Cooker and control unit
EP2444732B1 (en) Cooker
JP3182361B2 (ja) 電子レンジ
US11051370B2 (en) Device for cooking by heating and control method for same
CN108369010A (zh) 智能烹饪设备和智能烹饪系统及其辅助方法
WO2010147368A2 (ko) 조리기기 및 그 제어방법
WO2020055029A1 (ko) 조리 기기 및 이의 제어 방법
WO2021149932A1 (en) Cooking apparatus and method for controlling thereof
WO2022145612A1 (ko) 조리기기 및 그 제어방법
WO2019124645A1 (en) Induction heating cooker and method of controlling display thereof
WO2023287131A1 (ko) 조리 기기 및 그의 제어 방법
WO2017086678A1 (ko) 조리장치 및 그 제어방법
US20210207811A1 (en) Method for preparing a cooking product, cooking device, and cooking device system
WO2010147366A2 (ko) 조리기기 및 그 제어방법
JPH11118155A (ja) 加熱調理器及び情報端末機器
WO2022220520A1 (ko) 조리 장치 및 이의 제어 방법
KR20000071915A (ko) 화상표시기가 구비된 인터넷 전자레인지 장치와 사용방법
JP2002186057A (ja) 家電機器の遠隔操作方法及び家電機器内部の視認方法
WO2023136615A1 (ko) 전자 장치 및 그 제어 방법
WO2022215912A1 (ko) 서버 및 그 제어 방법
WO2024043444A1 (ko) 조리 기기 및 조리 기기의 제어 방법
WO2024043503A1 (ko) 조리 기기 및 조리 기기의 제어 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019863987

Country of ref document: EP

Effective date: 20200331

NENP Non-entry into the national phase

Ref country code: DE