KR20230065774A - 조리 장치 및 이의 제어 방법 - Google Patents

조리 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20230065774A
KR20230065774A KR1020210151685A KR20210151685A KR20230065774A KR 20230065774 A KR20230065774 A KR 20230065774A KR 1020210151685 A KR1020210151685 A KR 1020210151685A KR 20210151685 A KR20210151685 A KR 20210151685A KR 20230065774 A KR20230065774 A KR 20230065774A
Authority
KR
South Korea
Prior art keywords
cooking
food
contamination
state information
control information
Prior art date
Application number
KR1020210151685A
Other languages
English (en)
Inventor
가기환
류종엽
박경춘
송민진
이정원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210151685A priority Critical patent/KR20230065774A/ko
Priority to PCT/KR2022/017193 priority patent/WO2023080696A1/ko
Priority to EP22890427.2A priority patent/EP4325119A1/en
Priority to US18/142,918 priority patent/US20230274561A1/en
Publication of KR20230065774A publication Critical patent/KR20230065774A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00—Heating by electric, magnetic or electromagnetic fields
    • H05B6/64—Heating using microwaves
    • H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
    • H05B6/6467—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors using detectors with R.F. transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Food Science & Technology (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Electric Ovens (AREA)

Abstract

조리 장치가 개시된다. 본 조리 장치는 조리실, 카메라, 복수의 조리 제어 정보가 저장된 메모리 및 조리실 내부에 위치한 조리물을 촬영하도록 카메라를 제어하는 프로세서를 포함하며, 프로세서는, 카메라를 통해 촬영한 촬영 이미지로부터 조리물의 상태 정보를 추출하고, 카메라의 렌즈 오염에 따른 촬영 이미지의 오염도를 산출하며, 오염도에 기초하여 조리물의 상태 정보를 보정하고, 보정된 상태 정보에 대응되는 조리 제어 정보를 메모리로부터 획득하여 조리 제어 정보에 따라 조리물을 조리하도록 조리실을 제어한다.

Description

조리 장치 및 이의 제어 방법{COOKING APPARATUS AND CONTROL METHOD THEREOF}
본 개시는 조리 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 조리실 내부의 조리물을 촬영한 촬영 이미지로부터 조리물의 상태 정보를 획득하고, 조리물의 상태 정보에 따라 조리물을 조리하는 조리 장치 및 이의 제어 방법에 관한 것이다.
조리 장치는 굽기, 튀기기, 끓이기 등 다양한 조리 기능을 수행할 수 있는 장치이다. 최근에는 조리 장치에 카메라를 구비하여 조리물을 촬영하여 조리물에 대한 정보를 획득하는 조리 장치가 개발되고 있다.
다만, 종래의 조리 장치는 조리실 내부에 발생하는 증기, 이물질 등으로 인해 카메라 렌즈가 오염된 상태에서 조리물을 촬영하게 되면 촬영 이미지로부터 조리물에 대해 획득하는 정보의 신뢰도가 떨어지는 문제점이 존재하였다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 카메라 렌즈의 오염도에 따라 촬영 이미지로부터 추출된 조리물의 상태 정보를 보정하여 자동 조리를 수행하는 조리 장치 및 이의 제어 방법을 제공함에 있다.
또한, 렌즈가 지나치게 오염되어 촬영 이미지로부터 신뢰도 있는 상태 정보를 획득할 수 없는 경우 촬영 이미지 이외의 센싱 정보를 이용하여 조리물의 상태 정보를 획득하는 실시 예를 포함한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 카메라 렌즈의 오염도에 따라 촬영 이미지로부터 추출된 조리물의 상태 정보를 보정하여 자동 조리를 수행하는 조리 장치 및 이의 제어 방법을 제공함에 있다.
또한, 렌즈가 지나치게 오염되어 촬영 이미지로부터 신뢰도 있는 상태 정보를 획득할 수 없는 경우 촬영 이미지 이외의 센싱 정보를 이용하여 조리물의 상태 정보를 획득하는 실시 예를 포함한다.
도 1은 본 개시의 일 실시예에 따른 조리 장치의 외부 및 내부를 개략적으로 도시한 사시도이다.
도 2는 본 개시의 일 실시예에 따른 조리 장치에 구비된 카메라를 통해 조리물을 촬영한 이미지를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 조리 장치의 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 조리 장치의 세부 구성을 설명하기 위한 블록도이다.
도 5는 본 개시의 일 실시예에 따른 조리 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 조리 장치의 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 조리 장치가 렌즈 오염을 고려하여 자동 조리를 진행하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 조리 장치가 렌즈 오염을 고려하여 자동 조리를 진행하는 동작을 보다 구체적으로 설명하기 위한 도면이다.
도 9는 촬영 이미지로부터 획득한 조리물의 상태 정보의 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리에 저장된 조리 상태 정보 DB로부터 탐색하는 동작을 설명하기 위한 도면이다.
도 10은 조리물의 상태 정보의 변화 패턴의 매칭 여부를 확인하는 동작을 설명하기 위한 도면이다.
도 11은 저장된 조리 상태 정보 DB의 변화 패턴을 가변하여, 촬영 이미지로부터 획득된 변화 패턴과 매칭 여부를 확인하는 동작을 설명하기 위한 도면이다.
도 12는 저장된 조리 상태 정보 DB의 변화 패턴을 국소적으로 가변하여, 촬영 이미지로부터 획득된 변화 패턴과 매칭 여부를 확인하는 동작을 설명하기 위한 도면이다.
이하에서 설명되는 실시 예는 본 개시의 이해를 돕기 위하여 예시적으로 나타낸 것이며, 본 개시는 여기서 설명되는 실시 예들과 다르게, 다양하게 변형되어 실시될 수 있음이 이해되어야 할 것이다. 다만, 이하에서 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명 및 구체적인 도시를 생략한다. 또한, 첨부된 도면은 개시의 이해를 돕기 위하여 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있다.
본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
그리고, 본 명세서에서는 본 개시의 각 실시 예의 설명에 필요한 구성요소를 설명한 것이므로, 반드시 이에 한정되는 것은 아니다. 따라서, 일부 구성요소는 변경 또는 생략될 수도 있으며, 다른 구성요소가 추가될 수도 있다. 또한, 서로 다른 독립적인 장치에 분산되어 배치될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하 도면들을 참고하여 본 개시를 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 조리 장치의 외부 및 내부를 개략적으로 도시한 사시도이다.
도 1을 참고하면, 조리 장치(100)는 외관을 형성하는 본체(10), 조리물을 수용하기 위한 조리실(110), 조리실(110)을 개폐하기 위한 도어(11) 및 조리실(110) 내부를 촬영하기 위한 카메라(120)를 포함할 수 있다. 여기에서, 조리 장치(100)는 오븐, 전자레인지, 에어 프라이어 등 조리 동작을 수행하는 다양한 장치로 구현될 수 있다.
카메라(120)는 조리물이 조리실(110) 내에서 조리되는 동안 조리실(110) 내에 위치한 조리물을 촬영하여 촬영 이미지를 획득할 수 있다. 이때, 카메라(120)는 조리실(110)의 내부에 위치하여 조리물이 조리되는 동안 조리물의 표면을 촬영할 수 있다.
한편, 카메라(120)에서 조리실(110) 방향으로 노출된 렌즈를 포함할 수 있으며, 렌즈의 표면은 조리 과정에서 발생하는 증기(e.g. vapor, gas, …) 또는 조리물로부터 튄 기름과 같은 이물질로 인해 오염될 수 있다. 렌즈가 오염되면 카메라(120)를 통해 촬영된 촬영 이미지에 영향을 미칠 수 있다.
도 2는 본 개시의 일 실시예에 따른 조리 장치에 구비된 카메라를 통해 조리물을 촬영한 이미지를 설명하기 위한 도면이다.
도 2를 참고하면, 렌즈가 오염되지 않은 상태에서의 조리물 촬영 이미지(210)와, 렌즈가 오염된 상태에서의 조리물 촬영 이미지(221, 222)의 차이를 확인할 수 있다. 렌즈가 오염된 상태에서 촬영된 이미지에서는 조리물의 형태가 흐리게 나타나거나(221), 조리물의 일부가 가려질(222) 수 있다.
조리 장치(100)는 촬영된 이미지로부터 조리물의 상태 정보를 추출할 수 있으며, 렌즈가 오염된 상태에서 조리물을 촬영한 이미지로부터 추출된 상태 정보는 실제 조리물의 상태를 제대로 반영하지 못할 수 있다. 이에 따라, 본 개시의 일 실시예에 따른 조리 장치(100)는 렌즈 오염도에 따라 조리물의 상태 정보를 보정하고, 보정된 상태 정보를 이용하여 조리를 수행하는 방법을 제안한다.
한편, 본 개시의 일 실시예에 따른 조리 장치(100)의 특징은 카메라(120) 렌즈 구성이 오염되는 경우에 한정되는 것은 아니며 카메라(120)와 조리물 사이의 영역에 배치되는 다른 구성(예컨대 투명 가림막)이 오염되는 경우 등 촬영 이미지에 영향을 미칠 수 있는 다양한 경우에도 적용 가능함은 물론이다.
도 3은 본 개시의 일 실시예에 따른 조리 장치의 구성을 설명하기 위한 블록도이다.
도 3을 참고하면, 조리 장치(100)는 조리실(110), 카메라(120), 메모리(130) 및 프로세서(140)를 포함한다.
조리실(110)은 조리물을 수용하는 공간을 포함하며, 조리물에 대한 조리 동작을 수행하기 위한 구성이다. 조리실(110)은 열을 생성하기 위한 가열 부재, 조리물을 회전, 이동시킬 수 있는 구동 장치 등을 포함할 수 있다.
카메라(120)는 조리실(110) 내부에 구비되며, 조리실(110) 내부를 촬영할 수 있다. 특히, 카메라(120)는 조리실(110) 내부에 수용되는 조리물을 촬영할 수 있다.
메모리(130)에는 조리 장치(100) 또는 프로세서(140)의 동작에 필요한 각종 명령어(instruction), 프로그램 또는 데이터가 저장될 수 있다.
메모리(130)에는 복수의 조리 제어 정보가 저장될 수 있다. 메모리(130)에는 조리 장치(100)에서 조리 가능한 다양한 요리 정보가 저장될 수 있으며, 요리 별 조리 방법에 대한 정보가 저장될 수 있다. 예를 들어, 메모리(130)에 저장된 조리 제어 방법은 조리 시간, 조리 온도, 조리 패턴 등의 정보를 포함할 수 있다.
프로세서(140)는 조리실(110), 카메라(120) 및 메모리(130)와 전기적으로 연결되어 조리 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(140)는 조리실(110) 내부에 위치한 조리물을 촬영하도록 카메라(120)를 제어할 수 있다. 그리고, 프로세서(140)는 카메라(120)를 통해 촬영한 촬영 이미지로부터 조리물의 상태 정보를 추출하고, 카메라(120)의 렌즈 오염에 따른 촬영 이미지의 오염도를 산출하며, 오염도에 기초하여 조리물의 상태 정보를 보정하고, 보정된 상태 정보에 대응되는 조리 제어 정보를 메모리(130)로부터 획득하여 조리 제어 정보에 따라 조리물을 조리하도록 조리실(110)을 제어할 수 있다.
도 4는 본 개시의 일 실시예에 따른 조리 장치의 세부 구성을 설명하기 위한 블록도이다.
도 4를 참고하면, 조리 장치(100)는 조리실(110), 카메라(120), 메모리(130), 프로세서(140), 센서(150), 통신부(160) 및 입출력 인터페이스(170)를 포함할 수 있다. 도 4에 도시된 구성 중 도 3에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
센서(150)는 조리실(110) 내에 위치하여 조리물이 촬영되는 동안 조리와 관련된 정보를 감지할 수 있다. 조리와 관련된 정보는 조리실(110) 내에 위치한 조리물 표면의 온도, 조리물 내부의 온도, 조리물 표면의 수분 함량, 조리물 내부의 수분 함량, 조리 장치(100) 내부의 온도, 조리 장치(100) 내부의 습도 등을 포함할 수 있다. 따라서, 센서(150)는 음식물 내부의 온도를 측정할 수 있는 온도 프로브 센서, 음식물의 표면 온도를 측정할 수 있는 비접촉 온도 센서, 조리 장치(100) 내부의 온도를 알 수 있는 온도 센서, 조리 장치(100) 내부의 수증기량의 변화를 감지하는 습도 센서 등을 포함할 수 있다. 다른 실시예에 따르면, 센서는 조리 장치(100) 내에 위치한 조리물의 중량을 감지하는 중량 센서 또는 조리 장치(100) 내에 발생한 연기를 감지하는 연기 감지 센서와 같은 다른 센서로 구현될 수 있다.
프로세서(140)는 카메라(120) 렌즈의 오염도가 제1 임계값 이상이면 카메라(120)가 아닌 적어도 하나의 다른 센서(150)에서 센싱한 결과에 대응되는 조리 제어 정보를 메모리(130)로부터 획득할 수 있다. 이에 따라, 카메라(120)의 렌즈가 지나치게 오염되어 촬영 이미지로부터 신뢰도 있는 조리물의 상태 정보를 획득할 수 없는 경우에는 촬영 이미지가 아닌 센서(150)의 센싱 결과를 이용함으로써 렌즈 오염에 따라 촬영 이미지를 통해 획득하는 조리물의 상태 정보의 신뢰도가 낮아지는 단점을 보완할 수 있다.
통신부(160)는 외부 장치와 통신을 수행하여 다양한 정보를 송수신할 수 있다. 이를 위해, 통신부(160)는 근거리 통신망(LAN: Local Area Network), 인터넷 네트워크, 이동 통신 네트워크를 통해 외부 장치와 통신을 수행할 수 있음은 물론, BT(Bluetooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), WI-FI Direct(Wireless Fidelity Direct), Zigbee, NFC 등과 같은 다양한 통신 방식 등을 통해 외부 장치와 통신을 수행할 수 있다. 이를 위해, 통신부(160)는 네트워크 통신을 수행하기 위한 다양한 통신 모듈을 포함할 수 있다. 예를 들어, 통신부(160)는 블루투스 칩, 와이파이 칩, 무선 통신 칩 등을 포함할 수 있다.
입출력 인터페이스(170)는 다양한 사용자 명령을 입력 받거나 사용자에게 다양한 정보를 제공하기 위한 구성이다. 예를 들어, 조리 장치(100)는 입출력 인터페이스(170)를 통해 조리 장치(100)를 제어하기 위한 사용자 명령을 입력 받거나, 외부 장치로 전송하기 위한 사용자 명령을 입력 받을 수 있다. 예를 들어, 사용자 발화 음성을 입력 받는 마이크, 정보를 시각적인 형태로 출력하는 디스플레이, 정보를 청각적인 형태로 출력하는 스피커 등을 포함할 수 있다.
도 5는 본 개시의 일 실시예에 따른 조리 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 5를 참고하면, 본 개시의 일 실시예에 따른 조리 장치의 제어 방법은, 카메라(120)를 통해 조리실(110) 내부에 위치한 조리물을 촬영하는 단계(S510), 카메라(120)를 통해 촬영한 촬영 이미지로부터 조리물의 상태 정보를 추출하는 단계(S520), 카메라(120)의 렌즈 오염에 따른 촬영 이미지의 오염도를 산출하는 단계(S530), 오염도에 기초하여 조리물의 상태 정보를 보정하는 단계(S540), 보정된 상태 정보에 대응되는 조리 제어 정보를 복수의 조리 제어 정보를 저장하는 조리 장치로부터 획득하는 단계(S550) 및 획득된 조리 제어 정보에 따라 조리물을 조리하는 단계(S560)를 포함한다.
먼저, 조리 장치(100)는 카메라(120)를 통해 조리실(110) 내부에 위치한 조리물을 촬영(S510)할 수 있다.
그리고, 조리 장치(100)는 카메라(120)를 통해 촬영한 촬영 이미지로부터 조리물의 상태 정보를 추출(S520)할 수 있다.
그리고, 조리 장치(100)는 카메라(120)의 렌즈 오염에 따른 촬영 이미지의 오염도를 산출(S530)할 수 있다.
이 경우, 조리 장치(100)는 촬영 이미지 내에서 조리물이 식별되는 관심 영역의 크기 및 카메라의 렌즈 오염으로 인해 가려진 영역의 크기를 비교하여 오염도를 산출할 수 있다.
그리고, 조리 장치(100)는 오염도에 기초하여 조리물의 상태 정보를 보정(S540)할 수 있다.
이 경우, 조리 장치(100)는 오염도에 비례하여 조리물의 형태, 색상, 크기 중 적어도 하나의 상태 값을 조정하여 상태 정보를 보정할 수 있다.
그리고, 조리 장치(100)는 보정된 상태 정보에 대응되는 조리 제어 정보를 복수의 조리 제어 정보를 저장하는 조리 장치로부터 획득(S550)할 수 있다.
이 경우, 오염도가 제1 임계값 이상이면, 적어도 하나의 다른 센서에서 센싱한 결과에 대응되는 조리 제어 정보를 획득할 수 있다. 여기에서, 조리 장치(100)는 온도 센서에서 감지한 온도 변화 및 타이머에서 카운팅한 시간에 기초하여 조리물의 상태 정보를 추정하고, 추정된 상태 정보에 대응되는 조리 제어 정보를 획득할 수 있다.
또한, 오염도가 제1 임계값 미만이며 제2 임계값 이상이면, 오염도에 기초하여 보정된 상태 정보에 대응되는 조리 제어 정보를 획득할 수 있다.
한편, 오염도가 제2 임계값 미만이면 미 보정된 상태 정보에 대응되는 조리 제어 정보를 획득할 수 있다.
그리고, 조리 장치(100)는 획득된 조리 제어 정보에 따라 조리물을 조리(S560)할 수 있다.
도 6은 본 개시의 일 실시예에 따른 조리 장치의 동작을 설명하기 위한 도면이다.
조리 장치(100)는 조리가 시작되면, 카메라(120)를 통해 조리물을 촬영(S610)하고, 촬영 이미지에서 조리물이 식별되는 영역인 관심 영역을 추출(S620)할 수 있다.
조리 장치(100)는 카메라(120)를 통해 촬영한 촬영 이미지로부터 조리물의 상태 정보를 추출(S630)하고, 카메라(120)의 렌즈 오염도를 판단(S640)할 수 있다.
조리 장치(100)는 촬영 이미지의 관심 영역으로부터, 조리물의 상태 정보를 추출(S630)할 수 있다. 여기에서, 조리 장치(100)는 조리물의 형태, 색상, 크기 등의 상태 값을 획득할 수 있다. 예를 들어, 조리 장치(100)는 촬영 이미지 상에서 조리물의 경계선을 추출함으로써 촬영 이미지 상에서 조리물이 차지하는 면적을 식별하여 조리물의 크기 값을 획득할 수 있으며, 조리물의 색상과 관련하여 촬영 이미지의 관심 영역에 대응되는 픽셀들의 색상 값을 획득할 수 있다.
추출된 조리물의 상태 정보는 메모리(130)에 저장된 조리 상태 정보 데이터베이스(DB)에 포함된 정보와 매칭될 수 있다. 예를 들어, 메모리(130)에는 복수의 조리 제어 정보 각각에 대응되는 복수의 조리물 변화 패턴이 저장될 수 있으며, 프로세서(140)는 기설정된 시간 동안 조리물의 상태 정보를 축적하여 상태 정보의 변화 패턴을 획득하고, 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리(130)에서 탐색하여 탐색된 조리물 변화 패턴에 대응되는 조리 제어 정보를 메모리(130)로부터 획득할 수 있다. 이와 관련한 상세한 설명은 도 9 내지 도 12를 참고하여 후술하도록 한다.
조리 장치(100)는 촬영 이미지로부터 카메라(120)의 렌즈 오염에 따른 오염도를 산출함으로써 렌즈 오염도를 판단(S640)할 수 있다. 여기에서, 조리 장치(100)는 촬영 이미지 상에서 인접한 픽셀들의 변화 값(gradient)을 추출하여 카메라(120) 렌즈가 증기(e.g. vapor, gas, …)에 의해 가려진 정도를 판단할 수 있다. 또한, 조리 장치(100)는 촬영 이미지 상에서 경계선을 추출하거나 변화 지점을 감지함으로써 이물질에 의해 카메라(120) 렌즈가 가려진 영역을 식별할 수 있다.
조리 장치(100)는 다양한 방식으로 오염도를 산출할 수 있다. 예를 들어, 조리 장치(100)는 촬영 이미지 내에서 조리물이 식별되는 관심 영역의 크기와, 카메라(120)의 렌즈 오염으로 인해 가려진 영역의 크기를 비교하여 오염도를 산출할 수 있다. 이 경우, 관심 영역의 크기 대비 가려진 영역의 크기의 비율을 오염도로 산출할 수 있다. 다른 실시예에 따르면, 조리 장치(100)는 촬영 이미지의 전체 크기 대비 카메라(120)의 렌즈 오염으로 인해 가려진 영역의 크기의 비율을 오염도로 산출할 수도 있다.
한편, 조리 장치(100)는 오염도에 따라 조리물 상태 정보를 보정(S650)할 수 있다. 이 경우, 조리 장치(100)는 조리물 상태 정보에 포함된 상태 값을 오염도에 기초하여 조정할 수 있다. 예를 들어, 조리 장치(100)는 오염도에 비례하여 상기 조리물의 형태, 색상, 크기 중 적어도 하나의 상태 값을 조정할 수 있다. 오염도가 촬영 이미지의 전체 크기 대비 이물질로 인해 가려진 영역의 크기의 비율인 경우, 조리 장치(100)는 조리물의 크기 값이 오염도 값에 비례하여 증가되도록 조정할 수 있다. 예컨대, 촬영 이미지의 전체 크기에서 이물질로 인해 가려진 영역이 40%라면, 조리물의 크기 또한 40% 가려진 것으로 추정하여 조리물의 크기 값이 40% 커지도록 조정할 수 있다. 이에 따라, 오염도에 기초하여 조리물의 상태 정보를 보정할 수 있다.
그리고, 조리 장치(100)는 렌즈 오염을 고려한 자동 조리를 진행(S660)할 수 있다. 이와 관련한 상세한 설명은 도 7 내지 도 8을 참고하여 후술하도록 한다.
도 7은 본 개시의 일 실시예에 따른 조리 장치가 렌즈 오염을 고려하여 자동 조리를 진행하는 동작을 설명하기 위한 도면이다.
도 7을 참고하면, 조리 장치(100)는 카메라(120) 렌즈의 오염도에 따라 서로 다른 조리 알고리즘을 적용하여 조리 동작을 수행할 수 있다.
조리 장치(100)는 오염도가 제2 임계값 미만이면(S710, N), 카메라(120) 렌즈가 오염되지 않은 것으로 판단하여 자동 조리 알고리즘을 적용(S711)할 수 있다. 여기에서, 자동 조리 알고리즘은 메모리(130)에 기 저장된 조리 제어 정보에 따라 조리 장치(100)를 제어하는 알고리즘을 의미할 수 있다.
카메라(120) 렌즈의 오염도가 제1 임계값 미만이며 제2 임계값 이상이면(S720, N), 조리 장치(100)는 오염도에 기초하여 보정된 상태 정보에 대응되는 조리 제어 정보를 메모리(130)로부터 획득하고, 획득된 조리 제어 정보에 따라 조리 동작을 수행하도록 조리 장치(100)를 제어하는 보상 알고리즘을 적용(S721)할 수 있다.
한편, 오염도가 제1 임계값 이상이면(S720, Y), 적어도 하나의 다른 센서에서 센싱한 결과에 대응되는 조리 제어 정보를 메모리(130)로부터 획득하여, 획득된 조리 제어 정보에 따라 조리 동작을 수행하도록 조리 장치(100)를 제어하는 대체 알고리즘을 적용(S730)할 수 있다.
도 8은 본 개시의 일 실시예에 따른 조리 장치가 렌즈 오염을 고려하여 자동 조리를 진행하는 동작을 보다 구체적으로 설명하기 위한 도면이다.
도 8을 참고하면, 조리 장치(100)는 오염도가 제2 임계값 미만인 경우(S810, N), 즉 카메라(120) 렌즈가 오염되지 않았다고 판단되는 경우 현재 조리 장치(100)에서 자동 조리 알고리즘이 적용되고 있는 상태인지 여부를 판단(S820)할 수 있다. 조리 장치(100)는 현재 자동 조리 알고리즘이 적용되는 것으로 판단되면(S820, Y) 자동 조리 알고리즘을 적용하는 현 상태를 유지하고(S821), 자동 조리 알고리즘 이외의 알고리즘이 적용되어 있는 상태인 경우(S820, N) 자동 조리 알고리즘으로 모드를 변경(S822)할 수 있다.
한편, 조리 장치(100)는 오염도가 제2 임계값 이상이면(S810, Y), 즉 카메라(120) 렌즈가 오염된 것으로 판단되는 경우, 오염도가 제2 임계값보다 큰 제1 임계값 이상인지 판단(S830)할 수 있다.
여기에서, 오염도가 제1 임계값 이상이면 카메라(120)의 렌즈가 지나치게 오염되어 촬영 이미지로부터 신뢰도 있는 조리물의 상태 정보를 획득할 수 없는 경우를 의미할 수 있다. 이에 따라, 오염도가 제1 임계값 이상이라고 판단되면(S830, Y), 적어도 하나의 다른 센서(150)에서 센싱한 결과에 대응되는 조리 제어 정보를 제2 조리 상태 정보 DB를 저장하는 메모리(132)로부터 획득하여, 획득된 조리 제어 정보에 따라 조리 동작을 수행하도록 조리 장치(100)를 제어하는 대체 알고리즘을 적용(S870)할 수 있다.
한편, 조리 장치(100)는 오염도가 제1 임계값 미만이며 제2 임계값 이상이면(S830, N), 오염도에 기초하여 상태 정보를 보정하고, 보정된 상태 정보에 대응되는 조리 제어 정보를 메모리(131)에 저장된 제1 조리 상태 정보 DB로부터 획득할 수 있다. 이 경우, 보정된 상태 정보에 매칭되는 조리 제어 정보가 메모리(131)로부터 탐색되는지 여부에 따라, 조리 패턴 예측 가능 여부를 판단(S840)할 수 있다. 상태 정보와 매칭되는 조리 제어 정보의 탐색 동작과 관련한 상세한 설명은 도 9 내지 12에서 후술하기로 한다.
카메라(120)를 통해 촬영된 촬영 이미지로부터 추출한 조리물의 상태 정보로부터 조리 패턴이 예측 가능한 것으로 판단되면(S840, Y), 조리 장치(100)는 조리 패턴 예측 알고리즘을 적용(S860)하여 조리 동작을 수행할 수 있다. 이 경우, 조리 패턴 예측 알고리즘은 조리물의 상태 정보의 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리(131)에서 탐색하여 탐색된 조리물 변화 패턴에 대응되는 조리 제어 정보에 따라 조리 동작을 수행하는 것을 의미한다.
한편, 조리 패턴이 예측 불가능한 것으로 판단되면(S840, N), 조리 장치(100)는 비례 보상 알고리즘을 적용(S850)하여 조리 동작을 수행할 수 있다. 이 경우, 비례 보상 알고리즘은 오염도에 비례하여 조리물의 상태 정보(예컨대 형태, 색상, 크기와 관련된 상태 값)를 보정하고, 보정된 상태 정보에 대응되는 조리 제어 정보를 메모리(131)로부터 획득하여 조리 동작을 수행하는 것을 의미한다.
이에 따라, 촬영 이미지로부터 추출할 수 있는 조리물 상태 정보의 신뢰도에 따라 서로 다른 방식으로 조리 알고리즘을 적용할 수 있다.
도 9는 촬영 이미지로부터 획득한 조리물의 상태 정보의 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리에 저장된 조리 상태 정보 DB로부터 탐색하는 동작을 설명하기 위한 도면이다.
도 9를 참고하면, 프로세서(140)는 기설정된 시간 동안 조리물의 상태 정보를 축적하여 상태 정보의 변화 패턴(910)을 획득하고, 획득된 변화 패턴(910)과 매칭되는 조리물 변화 패턴(920)을 메모리(130)에서 탐색할 수 있다. 획득된 변화 패턴(910)과 매칭되는 변화 패턴(920)이 탐색되면, 탐색된 조리물 변화 패턴(920)에 대응되는 조리 제어 정보를 메모리(130)로부터 획득하여, 조리 동작을 수행할 수 있다.
이에 따라, 조리물의 상태 정보를 분석하여 조리 상태의 변화를 예측할 수 있으며, 예측된 결과에 따른 조리 동작을 수행함으로써 조리물에 적합한 조리를 자동으로 수행할 수 있다.
한편, 메모리(130)에 저장된 조리물 변화 패턴으로부터 매칭되는 변화 패턴을 탐색하는 것에 실패할 수 있다.
도 10은 조리물의 상태 정보의 변화 패턴의 매칭 여부를 확인하는 동작을 설명하기 위한 도면이다.
도 10을 참고하면, 메모리(130)에 저장된 조리 상태 정보 DB의 조리물 변화 패턴과 매칭되는 상태 정보의 변화 패턴(1010)이 존재할 수 있는 반면, 매칭되는 변화 패턴을 찾지 못한 상태 정보의 변화 패턴(1020)이 있을 수 있다. 이 경우, 프로세서(140)는 촬영 이미지로부터 획득된 변화 패턴 또는 메모리(130)에 저장된 변화 패턴을 가변하여, 매칭되는 변화 패턴을 탐색할 수 있다.
도 11은 저장된 조리 상태 정보 DB의 변화 패턴을 가변하여, 촬영 이미지로부터 획득된 변화 패턴과 매칭 여부를 확인하는 동작을 설명하기 위한 도면이다.
프로세서(140)는 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리(130)에서 탐색하지 못한 경우 획득된 변화 패턴을 메모리(130)에 저장된 변화 패턴(1110)을 가변한 변화 패턴(1120)과 매칭하여, 매칭되는 변화 패턴을 획득할 수 있다.
도 11을 참고하면, 저장된 변화 패턴(1110)의 전체적인 스케일을 가변함으로써, 가변된 변화 패턴(1120)과 촬영 이미지로부터 획득된 변화 패턴을 매칭할 수 있다.
한편, 도 12를 참고하면, 저장된 변화 패턴(1210)의 스케일을 국소적으로 가변하여, 가변된 변화 패턴(1220)과 촬영 이미지로부터 획득된 변화 패턴을 매칭할 수 있다.
한편, 프로세서(140)는 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리(130)에서 탐색하지 못한 경우 획득된 변화 패턴을 가변한 변화 패턴과 매칭되는 조리물 변화 패턴을 메모리(130)에서 탐색하여, 매칭되는 변화 패턴을 획득할 수도 있다.
한편, 상술한 본 개시의 다양한 실시예에 따른 조리 장치에서의 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 조리 장치의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버 장치, 어플리케이션 스토어의 서버 장치, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 조리 장치 110: 조리실
120: 카메라

Claims (15)

  1. 조리 장치에 있어서,
    조리실;
    카메라;
    복수의 조리 제어 정보가 저장된 메모리; 및
    상기 조리실 내부에 위치한 조리물을 촬영하도록 상기 카메라를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 카메라를 통해 촬영한 촬영 이미지로부터 상기 조리물의 상태 정보를 추출하고, 상기 카메라의 렌즈 오염에 따른 상기 촬영 이미지의 오염도를 산출하며,
    상기 오염도에 기초하여 상기 조리물의 상태 정보를 보정하고,
    보정된 상태 정보에 대응되는 조리 제어 정보를 상기 메모리로부터 획득하여 상기 조리 제어 정보에 따라 상기 조리물을 조리하도록 상기 조리실을 제어하는, 조리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 오염도가 제1 임계값 이상이면, 적어도 하나의 다른 센서에서 센싱한 결과에 대응되는 조리 제어 정보를 상기 메모리로부터 획득하여, 상기 조리 제어 정보에 따라 상기 조리물을 조리하도록 상기 조리실을 제어하는, 조리 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 오염도가 상기 제1 임계값 미만이며 제2 임계값 이상이면, 상기 오염도에 기초하여 보정된 상태 정보에 대응되는 조리 제어 정보를 상기 메모리로부터 획득하며,
    상기 오염도가 상기 제2 임계값 미만이면 미 보정된 상기 상태 정보에 대응되는 조리 제어 정보를 상기 메모리로부터 획득하는, 조리 장치.
  4. 제3항에 있어서,
    온도 센서; 및
    타이머;를 더 포함하고,
    상기 프로세서는,
    상기 오염도가 상기 제1 임계값 이상이면 상기 온도 센서에서 감지한 온도 변화 및 상기 타이머에서 카운팅한 시간에 기초하여 상기 조리물의 상태 정보를 추정하고, 상기 추정된 상태 정보에 대응되는 조리 제어 정보를 상기 메모리로부터 획득하는, 조리 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영 이미지 내에서 상기 조리물이 식별되는 관심 영역의 크기 및 상기 카메라의 렌즈 오염으로 인해 가려진 영역의 크기를 비교하여 상기 오염도를 산출하고,
    상기 오염도에 비례하여 상기 조리물의 형태, 색상, 크기 중 적어도 하나의 상태 값을 조정하여 상기 상태 정보를 보정하는, 조리 장치.
  6. 제1항에 있어서,
    상기 메모리에는 상기 복수의 조리 제어 정보 각각에 대응되는 복수의 조리물 변화 패턴이 저장되고,
    상기 프로세서는,
    기설정된 시간 동안 상기 조리물의 상태 정보를 축적하여 상기 상태 정보의 변화 패턴을 획득하고, 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 상기 메모리에서 탐색하여 탐색된 조리물 변화 패턴에 대응되는 조리 제어 정보를 상기 메모리로부터 획득하는, 조리 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 상기 메모리에서 탐색하지 못한 경우 상기 획득된 변화 패턴을 가변한 변화 패턴과 매칭되는 조리물 변화 패턴을 상기 메모리에서 탐색하는, 조리 장치.
  8. 조리 장치의 제어 방법에 있어서,
    카메라를 통해 조리실 내부에 위치한 조리물을 촬영하는 단계;
    상기 카메라를 통해 촬영한 촬영 이미지로부터 상기 조리물의 상태 정보를 추출하는 단계;
    상기 카메라의 렌즈 오염에 따른 상기 촬영 이미지의 오염도를 산출하는 단계;
    상기 오염도에 기초하여 상기 조리물의 상태 정보를 보정하는 단계;
    보정된 상태 정보에 대응되는 조리 제어 정보를 복수의 조리 제어 정보를 저장하는 상기 조리 장치로부터 획득하는 단계; 및
    상기 획득된 조리 제어 정보에 따라 상기 조리물을 조리하는 단계;를 포함하는, 제어 방법.
  9. 제8항에 있어서,
    상기 획득하는 단계는,
    상기 오염도가 제1 임계값 이상이면, 적어도 하나의 다른 센서에서 센싱한 결과에 대응되는 조리 제어 정보를 획득하고,
    상기 조리하는 단계는,
    상기 획득된 조리 제어 정보에 따라 상기 조리물을 조리하는, 제어 방법.
  10. 제9항에 있어서,
    상기 획득하는 단계는,
    상기 오염도가 상기 제1 임계값 미만이며 제2 임계값 이상이면, 상기 오염도에 기초하여 보정된 상태 정보에 대응되는 조리 제어 정보를 획득하고,
    상기 오염도가 상기 제2 임계값 미만이면 미 보정된 상기 상태 정보에 대응되는 조리 제어 정보를 획득하는, 제어 방법.
  11. 제9항에 있어서,
    상기 조리 장치는 온도 센서; 및 타이머;를 더 포함하고,
    상기 획득하는 단계는,
    상기 오염도가 상기 제1 임계값 이상이면 상기 온도 센서에서 감지한 온도 변화 및 상기 타이머에서 카운팅한 시간에 기초하여 상기 조리물의 상태 정보를 추정하고, 상기 추정된 상태 정보에 대응되는 조리 제어 정보를 획득하는, 제어 방법.
  12. 제8항에 있어서,
    상기 오염도를 산출하는 단계는,
    상기 촬영 이미지 내에서 상기 조리물이 식별되는 관심 영역의 크기 및 상기 카메라의 렌즈 오염으로 인해 가려진 영역의 크기를 비교하여 상기 오염도를 산출하고,
    상기 보정하는 단계는,
    상기 오염도에 비례하여 상기 조리물의 형태, 색상, 크기 중 적어도 하나의 상태 값을 조정하여 상기 상태 정보를 보정하는, 제어 방법.
  13. 제8항에 있어서,
    상기 조리 장치에는 상기 복수의 조리 제어 정보 각각에 대응되는 복수의 조리물 변화 패턴이 저장되고,
    상기 획득하는 단계는,
    기설정된 시간 동안 상기 조리물의 상태 정보를 축적하여 상기 상태 정보의 변화 패턴을 획득하고, 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 상기 조리 장치에서 탐색하는 단계;를 포함하고,
    탐색된 조리물 변화 패턴에 대응되는 조리 제어 정보를 획득하는, 제어 방법.
  14. 제13항에 있어서,
    상기 탐색하는 단계는,
    상기 획득된 변화 패턴과 매칭되는 조리물 변화 패턴을 상기 조리 장치에서 탐색하지 못한 경우 상기 획득된 변화 패턴을 가변한 변화 패턴과 매칭되는 조리물 변화 패턴을 탐색하는, 제어 방법.
  15. 조리 장치를 제어 하기 위한 프로그램이 저장된 컴퓨터 판독가능 기록 매체에 있어서,
    상기 프로그램은,
    카메라를 통해 조리실 내부에 위치한 조리물을 촬영하는 단계;
    상기 카메라를 통해 촬영한 촬영 이미지로부터 상기 조리물의 상태 정보를 추출하는 단계;
    상기 카메라의 렌즈 오염에 따른 상기 촬영 이미지의 오염도를 산출하는 단계;
    상기 오염도에 기초하여 상기 조리물의 상태 정보를 보정하는 단계; 및
    보정된 상태 정보에 대응되는 조리 제어 정보를 복수의 조리 제어 정보를 저장하는 상기 조리 장치로부터 획득하는 단계; 및
    상기 획득된 조리 제어 정보에 따라 상기 조리물을 조리하는 단계;를 포함하는, 기록 매체.
KR1020210151685A 2021-11-05 2021-11-05 조리 장치 및 이의 제어 방법 KR20230065774A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210151685A KR20230065774A (ko) 2021-11-05 2021-11-05 조리 장치 및 이의 제어 방법
PCT/KR2022/017193 WO2023080696A1 (ko) 2021-11-05 2022-11-04 조리 장치 및 이의 제어 방법
EP22890427.2A EP4325119A1 (en) 2021-11-05 2022-11-04 Cooking apparatus and control method therefor
US18/142,918 US20230274561A1 (en) 2021-11-05 2023-05-03 Cooking apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210151685A KR20230065774A (ko) 2021-11-05 2021-11-05 조리 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20230065774A true KR20230065774A (ko) 2023-05-12

Family

ID=86241910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210151685A KR20230065774A (ko) 2021-11-05 2021-11-05 조리 장치 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US20230274561A1 (ko)
EP (1) EP4325119A1 (ko)
KR (1) KR20230065774A (ko)
WO (1) WO2023080696A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101644711B1 (ko) * 2014-12-08 2016-08-01 엘지전자 주식회사 전자레인지 및 전자레인지의 제어 방법
KR102467319B1 (ko) * 2016-03-11 2022-11-16 삼성전자주식회사 오븐 및 그 제어방법
KR101778561B1 (ko) * 2016-04-20 2017-09-14 주식회사 아이엠에스일렉트로닉스 카메라의 오염 검출 및 안내장치, 그리고 그의 제어방법
KR20210059532A (ko) * 2019-11-15 2021-05-25 엘지전자 주식회사 가전기기 및 가전기기 제어 방법
KR20210066452A (ko) * 2019-11-28 2021-06-07 엘지전자 주식회사 조리장치 및 조리장치 제어방법

Also Published As

Publication number Publication date
US20230274561A1 (en) 2023-08-31
EP4325119A1 (en) 2024-02-21
WO2023080696A1 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
EP3131410B1 (en) Method and apparatus for controlling a cooking process of a food
KR102400018B1 (ko) 자동 조리 장치 및 방법
JP6050559B2 (ja) コーヒー豆の初期焙煎度の特定
AU2019201466B2 (en) Apparatus and method for monitoring preparation of a food product
JP6577365B2 (ja) 栄養素量算出装置およびそれを備えた冷蔵庫
US10785456B1 (en) Methods for viewing and tracking stored items
US11856287B2 (en) Cooking apparatus and controlling method thereof
KR20230065774A (ko) 조리 장치 및 이의 제어 방법
US20230089725A1 (en) Cooking apparatus and controlling method thereof
KR101987990B1 (ko) 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기
US20180218219A1 (en) Information processing apparatus and information processing method
JP2023054824A (ja) 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法
JP7171970B1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
US20190286225A1 (en) Information processing apparatus and non-transitory computer readable medium
KR101964531B1 (ko) 로스팅 정확도 결정 방법 및 상기 방법을 수행하는 로스팅기
CN111666961A (zh) 智能家电及其识别食材类型的方法、装置、电子设备
WO2023106035A1 (ja) 食品廃棄時点管理制御装置、食品廃棄時点管理システム、および食品廃棄時点管理方法
KR20230064242A (ko) 전자 장치 및 이의 제어 방법
KR20240000322A (ko) 조리 장치 및 이의 제어 방법
JP2023109750A (ja) 食品廃棄時点管理制御装置、食品廃棄時点管理システム、および食品廃棄時点管理方法
CN114554170A (zh) 多传感器白平衡同步的方法和使用该方法的电子装置
JP2016209259A (ja) 冷蔵庫