KR20220041611A - 조리 장치 및 그 제어 방법 - Google Patents

조리 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220041611A
KR20220041611A KR1020200125099A KR20200125099A KR20220041611A KR 20220041611 A KR20220041611 A KR 20220041611A KR 1020200125099 A KR1020200125099 A KR 1020200125099A KR 20200125099 A KR20200125099 A KR 20200125099A KR 20220041611 A KR20220041611 A KR 20220041611A
Authority
KR
South Korea
Prior art keywords
cooking
food
cooking state
food object
change amount
Prior art date
Application number
KR1020200125099A
Other languages
English (en)
Inventor
가기환
한성주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200125099A priority Critical patent/KR20220041611A/ko
Priority to EP21872677.6A priority patent/EP4129129A4/en
Priority to US17/429,836 priority patent/US11856287B2/en
Priority to PCT/KR2021/008669 priority patent/WO2022065641A1/ko
Priority to CN202180040258.2A priority patent/CN115666337A/zh
Publication of KR20220041611A publication Critical patent/KR20220041611A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F27—FURNACES; KILNS; OVENS; RETORTS
    • F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
    • F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
    • F27D21/02—Observation or illuminating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F27—FURNACES; KILNS; OVENS; RETORTS
    • F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
    • F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
    • F27D21/02—Observation or illuminating devices
    • F27D2021/026—Observation or illuminating devices using a video installation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

조리 장치가 개시된다. 본 조리 장치는 카메라, 카메라를 통해 획득된 복수의 이미지에서 음식물 객체를 식별하고, 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 카메라를 통해 실시간으로 획득되는 이미지의 캡쳐 간격을 조정하고, 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성하는 프로세서를 포함한다.

Description

조리 장치 및 그 제어 방법{COOKING APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 조리 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 조리 장치에서 음식물을 조리하는 동영상을 생성하는 조리 장치 및 그 제어방법에 대한 것이다.
조리 장치에서 직접 음식물의 조리 과정을 녹화할 수 있다. 조리 과정을 녹화하면, 음식물이 조리 과정에서 어떻게 변화하는지를 관찰할 수 있으며, 음식물을 만드는 재료의 적정 여부 및 조리 온도 및 조리 가열 시간 등을 조절하는데 이용할 수 있다.
하지만, 실제 조리 시간을 모두 관찰하는 것은 사용자가 너무 많은 시간이 드는 문제점이 있다. 예를 들어, 조리 과정이 1시간이 걸리는 요리가 녹화된 동영상을 시청하는 경우, 사용자는 1시간 모두를 그대로 지켜보거나, 사용자의 인위적인 행위를 통해 재생 시간 이동 명령 또는 빨리 감기 명령을 수행해야 한다.
재생 시간 이동 명령으로 동영상을 시청하는 경우, 사용자가 임의의 시간을 선택해야 하는 것이므로 사용자가 중요한 녹화 시점을 선택하지 못하고 스킵하는 경우가 발생할 수 있다.
빨리 감기 명령으로 동영상을 시청하는 경우, 불필요한 부분도 동일한 속도로 봐야하므로, 사용자가 변화가 거의 없는 부분은 빨리 감다가 다시 일반 재생 속도로 봐야 하는 경우 별도의 빨리 감기 취소 명령을 수행해야 하는 불폄함이 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 음식물의 조리 과정의 동영상을 생성함에 있어 조리 상태 변화량을 고려하는 조리 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 조리 장치는 카메라, 상기 카메라를 통해 획득된 복수의 이미지에서 음식물 객체를 식별하고, 상기 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 상기 카메라를 통해 실시간으로 획득되는 이미지의 캡쳐 간격을 조정하고, 상기 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성하는 프로세서를 포함한다.
한편, 상기 조리 상태 변화 정보는 조리 상태 변화량을 포함할 수 있고, 상기 프로세서는 상기 캡쳐 간격을 상기 획득된 음식물 객체의 변화량에 반비례하도록 조정할 수 있다.
한편, 상기 프로세서는 상기 획득된 음식물 객체의 조리 상태 변화량이 제1임계값 미만이면, 상기 카메라의 상기 캡쳐 간격을 증가시키고, 상기 획득된 음식물 객체의 조리 상태 변화량이 제2 임계값 이상이면, 상기 카메라의 상기 캡쳐 간격을 감소시킬 수 있다.
한편, 상기 프로세서는 상기 획득된 복수의 이미지에서 적어도 하나의 특징(feature) 정보를 이용하여 음식물 객체를 분석할 수 있고, 상기 획득된 음식물 객체의 조리 상태 변화량에 비례 하도록 상기 적어도 하나의 특징 정보의 개수를 조정할 수 있다.
한편, 상기 특징 정보는 윤곽선, 에지, 코너, 히스토그램, 밝기 중 적어도 하나를 포함할 수 있고, 상기 프로세서는 상기 획득된 복수의 이미지에서 상기 특징 정보를 추출할 수 있고, 상기 추출된 특징 정보에 기초하여 상기 음식물 객체 및 상기 음식물 객체의 조리 상태 변화 정보를 획득할 수 있다.
한편, 상기 프로세서는 상기 획득된 복수의 이미지에서 상기 획득된 음식물 객체의 조리 상태 변화량이 제3 임계값 이상인 영역을 대상 영역으로 식별할 수 있고, 상기 식별된 대상 영역에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득할 수 있다.
한편, 상기 프로세서는 상기 획득된 음식물 객체의 조리 상태 변화량이 제4 임계값 이상이면, 상기 카메라에서 획득되는 이미지의 해상도를 변경할 수 있다.
한편, 복수의 음식물 각각에 대응되는 음식물 정보를 저장하는 메모리를 더 포함할 수 있고, 상기 프로세서는 상기 저장된 음식물 정보에 포함된 조리 상태 변화량 및 상기 획득된 음식물 객체의 조리 상태 변화량에 기초하여 음식물 객체의 예상 조리 상태 변화량을 획득할 수 있고, 상기 획득된 음식물 객체의 예상 조리 상태 변화량에 기초하여 상기 카메라의 상기 캡쳐 간격을 변경할 수 있다.
한편, 상기 프로세서는 상기 음식물 객체의 크기 조리 상태 변화량 또는 상기 음식물 객체의 색상 조리 상태 변화량 중 적어도 하나에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득할 수 있고, 상기 획득된 조리 상태 변화량에 기초하여 상기 이미지의 캡쳐 간격을 조정할 수 있다.
한편, 조리 장치는 디스플레이를 더 포함할 수 있고, 상기 캡쳐 간격을 변경하기 위한 가이드 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
본 개시의 일 실시 예에 따른 조리 장치의 제어 방법은 복수의 이미지를 획득하는 단계, 획득된 복수의 이미지에서 음식물 객체를 식별하는 단계, 상기 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 실시간으로 획득되는 이미지의 캡쳐 간격을 조정하는 단계 및 상기 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성하는 단계를 포함한다.
한편, 상기 조리 상태 변화 정보는 조리 상태 변화량을 포함할 수 있고, 상기 캡쳐 간격을 조정하는 단계는 상기 캡쳐 간격을 상기 획득된 음식물 객체의 변화량에 반비례하도록 조정할 수 있다.
한편, 상기 캡쳐 간격을 조정하는 단계는 상기 획득된 음식물 객체의 조리 상태 변화량이 제1임계값 미만이면, 상기 캡쳐 간격을 증가시키고, 상기 획득된 음식물 객체의 조리 상태 변화량이 제2 임계값 이상이면, 상기 캡쳐 간격을 감소시킬 수 있다.
한편, 조리 장치의 제어 방법은 상기 획득된 복수의 이미지에서 적어도 하나의 특징(feature) 정보를 이용하여 음식물 객체를 분석하는 단계 및 상기 획득된 음식물 객체의 조리 상태 변화량에 비례 하도록 상기 적어도 하나의 특징 정보의 개수를 조정하는 단계를 더 포함할 수 있다.
상기 특징 정보는 윤곽선, 에지, 코너, 히스토그램, 밝기 중 적어도 하나를 포함할 수 있고, 조리 장치의 제어 방법은 상기 획득된 복수의 이미지에서 상기 특징 정보를 추출할 수 있고, 상기 추출된 특징 정보에 기초하여 상기 음식물 객체 및 상기 음식물 객체의 조리 상태 변화 정보를 획득하는 단계를 더 포함할 수 있다.
한편, 조리 장치의 제어 방법은 상기 획득된 복수의 이미지에서 상기 획득된 음식물 객체의 조리 상태 변화량이 제3 임계값 이상인 영역을 대상 영역으로 식별하는 단계 및 상기 식별된 대상 영역에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득하는 단계를 더 포함할 수 있다.
한편, 조리 장치의 제어 방법은 상기 획득된 음식물 객체의 조리 상태 변화량이 제4 임계값 이상이면, 획득되는 이미지의 해상도를 변경하는 단계를 더 포함할 수 있다.
한편, 조리 장치의 제어 방법은 복수의 음식물 각각에 대응되는 음식물 정보에 포함된 조리 상태 변화량 및 상기 획득된 음식물 객체의 조리 상태 변화량에 기초하여 음식물 객체의 예상 조리 상태 변화량을 획득하는 단계 및 상기 획득된 음식물 객체의 예상 조리 상태 변화량에 기초하여 상기 캡쳐 간격을 변경하는 단계를 더 포함할 수 있다.
한편, 조리 장치의 제어 방법은 상기 음식물 객체의 크기 조리 상태 변화량 또는 상기 음식물 객체의 색상 조리 상태 변화량 중 적어도 하나에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득하는 단계 및 상기 획득된 조리 상태 변화량에 기초하여 상기 이미지의 캡쳐 간격을 조정하는 단계를 더 포함할 수 있다.
한편, 조리 장치의 제어 방법은 상기 캡쳐 간격을 변경하기 위한 가이드 UI를 표시하는 단계를 더 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 조리 장치를 도시한 블록도이다.
도 2는 도 1의 조리 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 3은 도 1의 조리 장치의 구체적인 구성을 설명하기 위한 사시도이다.
도 4는 음식물을 조리하는 조리실의 내부 구성을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 음식물에 대한 동영상 생성 방법을 설명하기 위한 흐름도이다.
도 6은 시간 흐름에 따라 음식물의 조리 상태 정보를 설명하기 위한 도면이다.
도 7은 캡쳐 간격을 제어하는 조리 장치의 동작을 설명하기 위한 흐름도이다.
도 8은 도 7의 제어 동작에서 캡쳐 간격과 조리 상태 변화량의 관계를 설명하기 위한 도면이다.
도 9는 이미지를 획득하는 임계 시간을 제어하는 동작을 설명하기 위한 흐름도이다.
도 10은 도 9의 제어 동작에서 단위 시간 당 이미지 프레임의 개수와 조리 상태 변화량의 관계를 설명하기 위한 도면이다.
도 11은 이미지 특징 정보의 개수를 제어하는 동작을 설명하기 위한 도면이다.
도 12는 도 11의 제어 동작에서 이미지 특징 정보의 개수와 조리 상태 변화량의 관계를 설명하기 위한 도면이다.
도 13은 음식물 객체의 조리 조리 상태를 식별하는 기 설정된 영역을 제어하는 동작을 설명하기 위한 흐름도이다.
도 14는 도 13의 제어 동작에서 기 설정된 영역을 설명하기 위한 도면이다.
도 15는 도 13의 제어 동작에서 복수의 음식물 객체의 분석 동작을 설명하기 위한 도면이다.
도 16은 해상도를 제어하는 동작을 설명하기 위한 흐름도이다.
도 17은 음식물의 조리 상태를 예측하는 과정을 설명하기 위한 도면이다.
도 18은 시간에 따른 음식물의 조리 상태 누적 변화량을 설명하기 위한 도면이다.
도 19는 동영상 재생시 표시되는 UI를 설명하기 위한 도면이다.
도 20은 일 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 21은 다른 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 22는 또 다른 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 23은 또 다른 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 24는 본 개시의 일 실시 예에 따른 조리 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 조리 장치를 사용하는 사람 또는 조리 장치를 사용하는 장치(예: 인공지능 조리 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 조리 장치를 도시한 블록도이다.
도 1을 참조하면, 조리 장치(100)는 카메라(110) 및 프로세서(120)로 구성될 수 있다.
조리 장치(100)는 음식물(또는 조리물)을 조리하기 위한 장치를 의미할 수 있다. 구체적으로, 조리 장치(100)는 오븐, 전자레인지, 전기레인지(인덕션, 인덕션 레인지, 인덕션 쿡탑, 하이라이트) 음식물 촬상 장치중 하나를 의미할 수 있다.
카메라(110)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 카메라(110)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
카메라(110)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 전자 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
카메라(110)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 카메라(110)는 렌즈, 화소 및 AD 컨버터를 구비할 수 있다. 렌즈는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력할 수 있다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력할 수 있다. 특히, 카메라(110)는 전자 장치(100)의 전면 방향을 촬상하도록 배치되어, 전자 장치(100)의 전면에 존재하는 사용자를 촬상하여 촬상 영상을 생성할 수 있다.
프로세서(120)는 조리 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(120)는 조리 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(120)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(120)는 카메라(110)를 통해 획득된 복수의 이미지에서 음식물 객체를 식별하고, 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 카메라(110)를 통해 실시간으로 획득되는 이미지의 캡쳐 간격을 조정(또는 조절)하고, 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성할 수 있다.
프로세서(120)는 음식물(또는 조리물)을 촬상하도록 카메라(110)를 제어할 수 있다. 음식물을 촬상하는 동작은 도 4에서 구체적으로 후술한다.
프로세서(120)은 카메라(110)를 이용하여 촬상된 복수의 이미지에 기초하여 음식물 객체를 식별할 수 있다. 음식물 객체를 식별하기 위해 인공 지능 모델을 이용할 수 있다. 인공 지능 모델은 조리 장치(100)의 메모리(160)에 저장될 수 있다. 프로세서(120)는 음식물 객체의 존재 여부, 음식물 객체의 종류를 식별할 수 있다. 예를 들어, 프로세서(120)는 이미지에 기초하여 음식물이 고기인지 빵인지 식별할 수 있다.
여기서, 프로세서(120)는 식별된 음식물 객체의 조리 상태 변화 정보를 획득할 수 있다. 여기서, 조리 상태 변화 정보란 음식물 상태의 변화 정보를 의미할 수 있다. 음식물 객체의 조리 상태 변화 정보는 음식물의 변화 여부 및 음식물의 변화 정도를 나타내는 조리 상태 변화량을 포함할 수 있다.
여기서, 프로세서(120)는 조리 상태 변화량에 기초하여 캡쳐 간격을 조정할 수 있다. 프로세서(120)는 캡쳐 간격을 획득된 음식물 객체의 변화량에 반비례하도록 조정할 수 있다.
여기서, 조리 상태 변화량이란 음식물의 변화 정도를 나타내는 정보일 수 있다. 음식물의 변화 정도란 음식물의 색상의 변화, 크기의 변화, 질감의 변화 또는 표면 온도의 변화중 적어도 하나의 변화량을 포함할 수 있다.
일 실시 예에 따라 음식물의 표면 온도의 변화를 측정하기 위하여 이미지 자체만으로 판단할 수 있으며, 다른 실시 예에 따라 별도의 온도 센서(미도시)를 이용하여 판단할 수 있다.
프로세서(120)는 조리 상태 변화량을 실시간으로 측정하여 조리 상태 변화량이 작다고 식별하면 캡쳐 간격을 증가시키고, 조리 상태 변화량이 크다고 식별하면 캡쳐 간격을 감소시킬 수 있다.
여기서, 캡쳐 간격은 카메라(110)가 이미지를 촬상하는 시점 간격을 의미할 수 있다. 예를 들어, 1초에 1장씩 카메라(110)가 음식물을 촬상하면, 캡쳐 간격은 1초일 수 있고, 10초에 1장씩 카메라(110)가 음식물을 촬상하면 캡쳐 간격은 10초일 수 있다.
한편, 프로세서(120)는 획득된 음식물 객체의 조리 상태 변화량이 제1임계값 미만이면, 카메라(110)의 캡쳐 간격을 증가시키고, 획득된 음식물 객체의 조리 상태 변화량이 제2 임계값 이상이면, 카메라(110)의 캡쳐 간격을 감소시킬 수 있다.
조리 상태 변화량과 캡쳐 간격의 관계에 대해서는 도 6 내지 도 8에서 구체적으로 후술한다.
한편, 프로세서(120)는 획득된 복수의 이미지에서 적어도 하나의 특징(feature) 정보를 이용하여 음식물 객체를 분석할 수 있고, 획득된 음식물 객체의 조리 상태 변화량에 비례 하도록 적어도 하나의 특징 정보의 개수를 조정할 수 있다.
한편, 특징 정보는 윤곽선, 에지, 코너, 히스토그램, 밝기 중 적어도 하나를 포함할 수 있고, 프로세서(120)는 획득된 복수의 이미지에서 특징 정보를 추출할 수 있고, 추출된 특징 정보에 기초하여 음식물 객체 및 음식물 객체의 조리 상태 변화 정보를 획득할 수 있다.
여기서, 특징 정보는 이미지 분석 기술에 이용되는 특징점을 의미할 수 있다. 프로세서(120)는 이미지에서 주요 특징점에 기초하여 이미지를 분석하여 음식물 객체 존재 여부, 음식물 객체의 조리 상태 및 조리 상태 변화량을 획득할 수 있다. 여기서, 특징점은 사용자 설정에 따라 다양하게 설정될 수 있다.
조리 상태 변화량과 이미지 특징 정보의 관계에 대해서는 도 6, 도 11 및 도 12에서 구체적으로 후술한다.
프로세서(120)는 음식물 객체를 분석함에 있어 대상 영역을 이용할 수 있다. 구체적으로, 프로세서(120)는 획득되는 이미지의 모든 영역 중 대상 영역만에 기초하여 이미지 분석 동작을 수행할 수 있다. 모든 영역이 아닌 대상 영역을 선택적으로 분석하는 경우 데이터 처리량 및 데이터 처리 속도를 줄일 수 있다. 여기서, 프로세서(120)는 대상 영역만을 분석하기 위하여 이미지를 대상 영역만 포함하는 작은 크기의 이미지로 리사이징 동작을 수행할 수 있다.
한편, 프로세서(120)는 획득된 복수의 이미지에서 획득된 음식물 객체의 조리 상태 변화량이 제3 임계값 이상인 영역을 대상 영역으로 식별할 수 있고, 식별된 대상 영역에 기초하여 식별된 음식물 객체의 조리 상태 변화량을 획득할 수 있다.
프로세서(120)는 대상 영역만을 기초로하여 조리 상태 변화량을 획득하므로, 데이터 처리량 및 데이터 처리 시간을 줄일 수 있다. 대상 영역과 관련하여 도 13 내지 도 15에서 구체적으로 후술한다.
프로세서(120)는 조리 상태 변화량에 기초하여 이미지의 해상도를 변경할 수 있다. 프로세서(120)는 조리 상태 변화량이 높을수록 이미지의 해상도를 크게 변경할 수 있다.
한편, 프로세서(120)는 획득된 음식물 객체의 조리 상태 변화량이 제4 임계값 이상이면, 카메라(110)에서 획득되는 이미지의 해상도를 변경할 수 있다.
조리 상태 변화량이 작은 경우, 사용자는 해당 조리 과정에 별도의 관심이 없을 수 있다. 따라서, 이미지의 크기를 줄이기 위하여 해상도를 자동으로 작게 변경할 수 있다. 반대로, 조리 상태 변화량이 큰 경우 사용자는 해당 조리 과정에 관심이 있으므로, 고화질의 이미지를 획득하기 위하여 해상도를 자동으로 크게 변경할 수 있다.
해상도 변경 동작에 대해서는 도 16에서 구체적으로 후술한다.
한편, 복수의 음식물 각각에 대응되는 음식물 정보를 저장하는 메모리(160)를 더 포함할 수 있고, 프로세서(120)는 저장된 음식물 정보에 포함된 조리 상태 변화량 및 획득된 음식물 객체의 조리 상태 변화량에 기초하여 음식물 객체의 예상 조리 상태 변화량을 획득할 수 있고, 획득된 음식물 객체의 예상 조리 상태 변화량에 기초하여 카메라(110)의 캡쳐 간격을 변경할 수 있다.
여기서, 복수의 음식물 각각에 대응되는 음식물 정보는 조리 장치(100) 자체적으로 측정한 값이 아닌 이미 메모리(160)에 저장된 정보를 의미할 수 있다.
예를 들어, 음식물이 고기인 경우, 고기에 대한 일반적인 조리 과정에 기초하여 저장된 음식물 정보가 메모리(160)에 저장될 수 있다. 고기의 음식물 정보는 고기의 용량에 따라 조리 시간, 조리 온도, 조리 시간에 따른 음식물의 조리 상태, 조리 상태 변화량 중 적어도 하나를 포함할 수 있다. 이는, 조리 장치(100)의 카메라(110)가 직접 촬상하여 측정한 정보가 아니며 이미 저장된 기본 정보에 해당할 수 있다. 카메라(110)를 통해 촬상한 이미지로부터 획득한 조리 상태 변화량과 구분하기 위하여 이미 저장되어 있었던 변화량을 기본 변화량 또는 기본 조리 상태 변화량으로 기술하고 이미지로부터 획득한 조리 상태 변화량을 측정 조리 상태 변화량으로 기술할 수 있다. 여기서, 복수의 음식물 각각에 대응되는 음식물 정보는 도 18의 D_step에 대응되는 값일 수 있다.
프로세서(120)는 기본 조리 상태 변화량과 측정 조리 상태 변화량을 모두 고려하여 예상 조리 상태 변화량을 획득할 수 있다. 이와 관련된 설명은 도 18에서 구체적으로 후술한다.
한편, 프로세서(120)는 음식물 객체의 크기 조리 상태 변화량 또는 음식물 객체의 색상 조리 상태 변화량 중 적어도 하나에 기초하여 식별된 음식물 객체의 조리 상태 변화량을 획득할 수 있고, 획득된 조리 상태 변화량에 기초하여 이미지의 캡쳐 간격을 조정할 수 있다.
음식물은 조리 과정에 따라서 음식물 크기가 변경될 수 있으며(예를 들어, 빵이 부풀어 오름), 음식물의 익는 정도에 따라 색상이 변경될 수 있다(예를 들어, 빵의 반죽이 흰색에서 갈색으로 변경됨).
한편, 조리 장치(100)는 디스플레이(130)를 더 포함할 수 있고, 캡쳐 간격을 변경하기 위한 가이드 UI를 표시하도록 디스플레이(130)를 제어할 수 있다.
여기서, 프로세서(120)는 캡쳐 간격을 사용자가 선택하도록 가이드하는 가이드 UI를 표시할 수 있다. 구체적으로, 프로세서(120)는 캡쳐 간격이 상이한 모드의 이름이 표시된 가이드 UI(2011, 2012), 캡쳐 간격의 조절 정도를 나타내는 가이드 UI(2111,2112,2113), 동영상 생성 용량이 표시된 가이드 UI(2211,2212,2213), 동영상 재생 시간이 표시된 가이드 UI(2311,2312,2313) 중 적어도 하나를 디스플레이(130)에 표시할 수 있다.
가이드 UI가 표시되면, 사용자는 직관적으로 동영상 녹화 설정을 조절할 수 있어, 사용자의 편의성을 향상시킬 수 있다.
상술한 설명에서는 조리 장치(100)가 직접 카메라(110)의 캡쳐 간격 등을 조절하여 음식물을 촬상하는 것으로 설명하였다. 한편, 동영상이 녹화된 이후에 편집하는 동작에 의하여 최종 동영상이 생성될 수 있다.
다른 실시 예에 따라, 조리 장치(100)는 음식물을 일반적인 방식으로 촬상하여 동영상을 생성하고, 생성된 동영상을 조리 장치(100)가 직접 편집하는 방식으로 구현될 수 있다. 여기서, 캡쳐 간격은 카메라(110)가 촬상하는 간격이 아닌 특정 시점의 프레임(이미지)를 추출(획득)하는 간격을 의미할 수 있다.
또 다른 실시 예에 따라, 조리 장치(100)는 음식물을 일반적인 방식으로 촬상하여 동영상을 생성할 수 있다. 그리고, 조리 장치(100)는 생성된 동영상을 통신 인터페이스(140)를 통해 외부 장치에 전송할 수 있다. 그리고, 외부 장치는 수신된 동영상을 편집할 수 있다. 여기서, 캡쳐 간격은 카메라(110)가 촬상하는 간격이 아닌 특정 시점의 프레임(이미지)를 추출(획득)하는 간격을 의미할 수 있다. 즉, 조리 장치(100)는 음식물의 조리 과정을 녹화하고, 외부 장치가 녹화된 동영상을 편집할 수 있다.
동영상이 녹화된 이후의 편집 과정의 동작에 대해서는 도 9 및 도 10에서 후술한다.
캡쳐 간격, 단위 시간 당 이미지 프레임의 개수, 이미지 특징 정보의 개수, 해상도, 대상 영역을 조절하여 최종 생성된 음식물 조리 동영상은 조리 상태 변화량에 따라 재생 시간이 상이할 수 있다. 따라서, 사용자가 원하는 부분을 더 많은 프레임을 보여주기 때문에 사용자 만족도를 높일 수 있다. 또한, 본원 동영상 생성 또는 편집 방법은 데이터 처리량 및 데이터 처리 속도를 일 수 있다.
한편, 다양한 가이드 UI를 통하여 사용자가 직관적으로 동영상 생성 또는 편집 방법을 변경할 수 있으므로, 본원 동영상 생성 또는 편집 방법은 사용자의 편의성을 높일 수 있다.
한편, 이상에서는 조리 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 2를 참조하여 이하에서 설명한다.
도 2는 도 1의 조리 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 조리 장치(100)는 카메라(110), 프로세서(120), 디스플레이(130), 통신 인터페이스 (140), 사용자 인터페이스(150), 메모리(160) 및 스피커(170)로 구성될 수 있다.
한편, 카메라(110) 및 프로세서(120)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(130)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
통신 인터페이스(140)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(140)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(140)는LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(140)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(140)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(140)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(140)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
메모리(160)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(160)는 데이터 저장 용도에 따라 조리 장치(100)에 임베디드된 메모리 형태로 구현되거나, 조리 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 조리 장치(100)의 구동을 위한 데이터의 경우 조리 장치(100)에 임베디드된 메모리에 저장되고, 조리 장치(100)의 확장 기능을 위한 데이터의 경우 조리 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 조리 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 조리 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
조리 장치(100)는 스피커(170)를 포함할 수 있다. 스피커(미도시)는 입출력 인터페이스에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
조리 장치(100)는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
마이크(미도시)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(미도시)는 조리 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(미도시)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
도 3은 도 1의 조리 장치의 구체적인 구성을 설명하기 위한 사시도이다.
도 3을 참조하면, 조리 장치(100)는 일 예일 뿐이고, 본 개시의 다양한 실시 예에 따르면 조리 장치는 다양한 형태로 구현될 수 있음은 물론이다.
도 3에 도시된 바와 같이, 조리 장치(100)는 외관을 형성하는 본체(10)를 포함한다.
또한, 조리 장치(100)는 일측을 향해 개방된 조리실(20)을 구비한다. 여기서, 조리실(20)은 음식물을 수용하는 공간(즉, 수용 공간)을 의미할 수 있다. 본체(10)의 조리실(20)은 조리물(즉, 음식물)이 조리되는 조리실(20)일 수 있으며, 조리실(20)은 조리 장치(100)의 전방을 향해 개방될 수 있다.
조리실(20)은 박스 형상으로 형성되며, 조리물의 출납을 위해 전면이 개방된다. 이를 위해, 본체(10)의 전면은 조리실(20)과 연결되는 개구를 구비한다.
이 경우, 조리실(20)의 전면은 본체(10)에 연결된 도어(21)에 의해 개폐될 수 있다. 이를 위해, 도어(21)는 본체(10)에 대해 회전 가능하도록 본체(10)의 하부에 힌지 결합될 수 있다. 또한, 도어(21)의 전면 상부에는 사용자가 파지할 수 있는 도어 핸들(23)이 마련되며, 사용자는 도어 핸들(23)을 파지하여 조리실(20)을 개폐할 수 있다.
또한, 조리실(20)에는 조리물을 가열시키기 위한 히터가 마련될 수 있다. 이 경우, 히터는 전기 저항체를 포함하는 전기 히터일 수 있다. 다만, 히터는 전기 히터로 한정되는 것은 아니고 가스를 연소시켜 열을 발생시키는 가스 히터일 수도 있다.
한편, 본체(10)의 상부에는 컨트롤 패널(30)이 배치된다. 컨트롤 패널(30)은 조리 장치(100)의 각종 동작 정보를 표시하고 조리 장치(100)의 동작을 제어하기 위한 사용자 명령을 입력받는 디스플레이(31)를 포함할 수 있다. 또한, 컨트롤 패널(30)은 조리 장치(100)의 동작을 제어하기 위한 다양한 사용자 명령을 입력받는 버튼(32)을 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 조리 장치(100)는 조리실에 투입된 조리물의 크기 및 조리 상태를 고려하여, 조리물에 대한 조리를 수행할 수 있다.
구체적으로, 조리 장치(100)는 사용자가 컨트롤 패널(30)을 통해 선택한 조리물의 종류에 따라 조리물에 대한 조리 시간을 결정할 수 있다. 이때, 조리 장치(100)는 조리물의 크기를 판단하고, 판단된 크기에 따라 조리 시간을 결정할 수 있다. 예를 들어, 동일한 종류의 조리물이라도, 조리물의 크기가 작을수록 상대적으로 짧게 조리 시간을 결정하고, 조리물의 크기가 클수록 상대적으로 길게 조리 시간을 결정할 수 있다.
그리고, 조리 장치(100)는 조리물에 대한 조리가 진행되는 동안에 조리물의 조리 상태를 판단하고, 조리 상태에 기초하여 조리의 진행을 제어할 수 있다.
구체적으로, 조리 장치(100)는 조리물이 익은 정도에 따라 조리물에 대한 조리가 완료된 것으로 판단되면, 설정된 조리 시간이 종료되기 전이라도 조리를 종료할 수 있다. 예를 들어, 조리 장치(100)는 조리물이 익은 정도를 판단하고, 조리물의 익은 정도에 따라 조리물에 대한 조리가 완료된 것으로 판단되면, 조리 시간이 종료되기 전이라도 조리를 종료할 수 있다.
이와 같이, 본 개시의 다양한 실시 예에 따르면, 조리물의 종류만을 고려하여 조리 시간을 결정하는 것이 아니라, 동일한 종류의 조리물이라도 조리물의 크기에 따라 서로 다른 조리 시간이 결정될 수 있으며, 조리가 수행되는 동안에 조리물의 조리 상태에 따라 조리가 종료되는 시간이 결정될 수 있다. 이에 따라, 사용자는 조리물의 크기 등의 차이로 인한 정확한 조리법을 모르는 경우라도, 자신이 조리하고자 하는 조리물의 종류만을 선택하면, 조리 과정에 대한 모니터링 없이도 최적으로 조리물을 조리할 수 있게 된다.
도 4는 음식물을 조리하는 조리실의 내부 구성을 설명하기 위한 도면이다.
도 4를 참조하면, 조리 장치(100)의 조리실(20)안에 음식물(410)이 존재하는 실시 예를 가정한다.
음식물(410)은 용기(405)안에 있을 수 있으며, 용기(405)는 받침대(22) 위에 놓여질 수 있다. 그리고, 조리 장치(100)의 카메라(110)는 받침대(22), 용기(405) 또는 음식물(410) 중 적어도 하나를 촬상할 수 있다.
카메라(110)의 종류에 따라 시야각이 상이할 수 있으나, 카메라(110)는 조리실(20) 내부의 전체 영역을 모두 촬상할 수 있도록 배치될 수 있다.
일 실시 예에 따라, 도 4에서 개시한 바와 같이 카메라(110)는 조리실(20)의 벽면에 부착되고, 일정한 각도를 기준으로 하방으로 기울어진 상태로 배치될 수 있다. 예를 들어, 카메라(110)는 조리실(20)의 벽면에 부착된 상태에서 하방 45도로 기울어진 상태로 배치될 수 있다.
다른 실시 예에 따라, 카메라(110)는 조리실(20)의 상판(또는 천장)에 부착되고, 일정한 각도를 기준으로 하방을 향해 배치될 수 있다. 예를 들어, 카메라(110)는 조리실(20)의 상판에 부착된 상태에서 하방을 향해 배치될 수 있다.
한편, 도 4의 카메라(110)는 돌출된 형태로 기재되어 있지만, 실제 구현 시 카메라 렌즈를 보호하기 위하여 조리실(20)의 벽면 또는 조리실(20)의 상판 내부에 배치되는 형태로 구현될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 음식물에 대한 동영상 생성 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 조리 장치(100)는 음식물을 포함하는 이미지를 획득할 수 있다 (S505). 또한, 조리 장치(100)는 획득된 이미지에서 음식물 객체를 식별할 수 있다 (S510). 또한, 조리 장치(100)는 식별된 음식물 객체를 분석할 수 있다 (S515). 여기서, 음식물 객체를 분석하는 동작은 음식물 객체의 조리 상태를 분석하는 것을 의미할 수 있다. 또한, 조리 장치(100)는 분석 결과로서, 식별된 음식물 객체의 조리 상태를 예측할 수 있다 (S520). 또한, 조리 장치(100)는 예측된 조리 상태에 기초하여 조리 장치(100)를 제어할 수 있다. 여기서, 조리 장치(100)를 제어한다는 것은 조리 장치(100)에 포함된 각종 하드웨어 또는 소프트웨어를 제어하는 것을 의미할 수 있다. 예를 들어, 조리 장치(100)는 예측된 조리 상태에 기초하여 가열 온도 및 가열 시간을 조절할 수 있다. 또한, 조리 장치(100)는 예측된 조리 상태에 기초하여 카메라(110)를 제어할 수 있다. 또한, 조리 장치(100)는 예측된 조리 상태에 기초하여 동영상 편집을 수행할 수 있다.
한편, 조리 장치(100)는 상술한 동작에 기초하여 복수의 이미지를 획득할 수 있다. 그리고, 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S530).
도 6은 시간 흐름에 따라 음식물의 조리 상태 정보를 설명하기 위한 도면이다.
도 6을 참조하면, 표(605)는 음식물의 조리 과정에 대한 정보를 포함한다. 구체적으로, 음식물이 빵이라고 가정하고 조리 시간이 총 35분이라고 가정한다. 그리고, 조리 과정이 4개의 섹션으로 구분된다고 가정한다. 여기서, 4개의 섹션은 임의로 구분된 것이며 음식물 또는 조리 방법에 따라 달라질 수 있다.
빵의 조리 과정에서 제1 섹션의 시간은 20분(전체 조리 시간에서 0분~20분)이며, 조리 상태 변화량은 5%일 수 있다. 여기서, 조리 장치(100)는 제1 섹션에서 조리 상태의 변화량에 기초하여 캡쳐 간격을 20초로 설정할 수 있다. 그리고, 조리 장치(100)는 단위 시간 당 이미지 프레임 개수를 0.05개로 설정할 수 있다. 여기서, 표(605)의 단위 시간은 1초에 해당하나, 실제 구현 예에 따라 달라질 수 있다. 또한, 조리 장치(100)는 이미지 특징 정보의 개수를 2개로 설정할 수 있다.
빵의 조리 과정에서 제2 섹션의 시간은 5분(전체 조리 시간에서 20분~25분)이며, 조리 상태 변화량은 15%일 수 있다. 여기서, 조리 장치(100)는 제2 섹션에서 조리 상태의 변화량에 기초하여 캡쳐 간격을 5초로 설정할 수 있다. 그리고, 조리 장치(100)는 단위 시간 당 이미지 프레임 개수를 0.2개로 설정할 수 있다. 여기서, 표(605)의 단위 시간은 1초에 해당하나, 실제 구현 예에 따라 달라질 수 있다. 또한, 조리 장치(100)는 이미지 특징 정보의 개수를 8개로 설정할 수 있다.
빵의 조리 과정에서 제3 섹션의 시간은 5분(전체 조리 시간에서 25분~30분)이며, 조리 상태 변화량은 20%일 수 있다. 여기서, 조리 장치(100)는 제3 섹션에서 조리 상태의 변화량에 기초하여 캡쳐 간격을 1초로 설정할 수 있다. 그리고, 조리 장치(100)는 단위 시간 당 이미지 프레임 개수를 1개로 설정할 수 있다. 여기서, 표(605)의 단위 시간은 1초에 해당하나, 실제 구현 예에 따라 달라질 수 있다. 또한, 조리 장치(100)는 이미지 특징 정보의 개수를 20개로 설정할 수 있다.
빵의 조리 과정에서 제4 섹션의 시간은 5분(전체 조리 시간에서 30분~35분)이며, 조리 상태 변화량은 5%일 수 있다. 여기서, 조리 장치(100)는 제4 섹션에서 조리 상태의 변화량에 기초하여 캡쳐 간격을 20초로 설정할 수 있다. 그리고, 조리 장치(100)는 단위 시간 당 이미지 프레임 개수를 0.05개로 설정할 수 있다. 여기서, 표(605)의 단위 시간은 1초에 해당하나, 실제 구현 예에 따라 달라질 수 있다. 또한, 조리 장치(100)는 이미지 특징 정보의 개수를 2개로 설정할 수 있다.
제1 섹션 내지 제4 섹션을 참조하면, 빵의 조리 과정은 최초 20분 동안 변화량이 작다가 약 10분동안 변화량이 높아질 수 있다. 그리고, 빵은 30분 이후 변화량이 줄어들어 최종적으로 조리 과정이 완료될 수 있다.
조리 장치(100)는 조리 상태 변화량에 기초하여 캡쳐 간격을 제어할 수 있다. 표(605)의 데이터에 따르면, 캡쳐 간격과 단위 시간 당 이미지 프레임 개수가 동일한 정보를 의미할 수 있다. 하지만, 다른 실시 예(도 6과 다른 실시 예)에 따라, 캡쳐 간격과 단위 시간 당 이미지 프레임 개수가 대응되지 않을 수 있다. 예를 들어, 조리 장치(100)는 캡쳐 간격에 기초하여 이미지를 획득한 이후에 단위 시간 당 이미지 프레임 개수에 기초하여 다시 동영상 생성에 이용되는 복수의 이미지를 선택적으로 획득할 수 있다. 조리 장치(100)는 캡쳐 간격에 기초하여 100장의 이미지를 획득한 이후에, 단위 시간당 이미지 프레임 개수에 기초하여 80장의 이미지를 선태적으로 획득할 수 있다. 그리고, 조리 장치(100)는 80장의 이미지에 기초하여 동영상을 생성할 수 있다.
한편, 조리 장치(100)는 조리 상태 이미지 특징 정보의 개수를 제어할 수 있다. 구체적으로, 조리 장치(100)는 변화량이 많은 섹션에서 더 많은 이미지 특징 정보를 이용하여 음식물 객체를 식별 또는 분석할 수 있다. 이와 관련된 구체적인 설명은 도 11에서 후술한다.
도 7은 캡쳐 간격을 제어하는 조리 장치의 동작을 설명하기 위한 흐름도이다.
도 7을 참조하면, 조리 장치(100)는 캡쳐 간격에 따라 복수의 이미지를 획득할 수 있다 (S705). 또한, 조리 장치(100)는 획득된 복수의 이미지에서 음식물 객체를 식별하고, 식별된 음식물 객체의 조리 상태를 식별할 수 있다 (S710). 또한, 조리 장치(100)는 복수의 이미지 각각에 대응되는 음식물 객체의 조리 상태에 기초하여 음식물 객체의 조리 상태 변화량을 획득할 수 있다 (S715).
또한, 조리 장치(100)는 음식물의 조리가 완료되었는지 여부를 식별할 수 있다 (S720). 음식물의 조리가 완료되었는지 여부는 다양한 방법에 의해 식별될 수 있다. 일 예로, 조리 장치(100)는 음식물의 조리 상태 변화량에 기초하여 조리 완료 여부를 판단할 수 있다. 예를 들어, 조리 과정에 따라서 최초 조리 과정에서 조리 상태 변화량은 0%이고 점차적으로 조리 상태 변화량이 늘어날 수 있다. 그리고, 최종적으로 늘어난 조리 상태 변화량은 다시 0% 줄어들 수 있다. 따라서, 조리 장치(100)는 조리 상태 변화량이 0%에서 특정 값까지 올라가고 그 이후 다시 0%가 되는 시점을 기준으로 조리 완료 여부를 식별할 수 있다. 다른 예로, 조리 장치(100)는 조리 설정 시간에 기초하여 조리 완료 여부를 판단할 수 있다. 예를 들어, 조리 장치(100)의 조리 설정 시간이 기 결정될 수 있다. 사용자가 직접 조리 시간을 설정하거나 사용자가 선택한 모드에 기초하여 조리 시간이 설정될 수 있다.
음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S750).
음식물의 조리가 완료되지 않은 것으로 식별되면, 조리 장치(100)는 조리 상태 변화량이 제1 임계값 이상인지 식별할 수 있다 (S725). 조리 상태 변화량이 제1 임계값 미만이면, 조리 장치(100)는 캡쳐 간격을 증가시킬 수 있다 (S730). 그리고, 조리 장치(100)는 증가된 캡쳐 간격에 기초하여 복수의 이미지를 획득할 수 있다.
조리 상태 변화량이 제1 임계값 이상이면, 조리 장치(100)는 조리 상태 변화량이 제2 임계값 이상인지 식별할 수 있다 (S735). 조리 상태 변화량이 제2 임계값 미만이면, 조리 장치(100)는 기존에 설정되어 있던 캡쳐 간격을 유지할 수 있다 (S740). 그리고, 조리 장치(100)는 유지된 캡쳐 간격에 기초하여 복수의 이미지를 획득할 수 있다.
조리 상태 변화량이 제2 임계값 이상이면, 조리 장치(100)는 캡쳐 간격을 감소시킬 수 있다 (S745). 그리고, 조리 장치(100)는 감소된 캡쳐 간격에 기초하여 복수의 이미지를 획득할 수 있다.
S730, S740, S745 단계를 수행한 이후, 조리 장치(100)는 증가, 유지 또는 감소된 캡쳐 간격에 기초하여 이미지를 획득할 수 있으며, S705 내지 S720 단계를 반복할 수 있다. 그리고, 음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S750).
도 8은 도 7의 제어 동작에서 캡쳐 간격과 조리 상태 변화량의 관계를 설명하기 위한 도면이다.
도 8을 참조하면, 조리 장치(100)는 조리 상태 변화량과 캡쳐 간격이 반비례하도록 캡쳐 간격을 제어할 수 있다. 조리 장치(100)는 조리 상태 변화량이 작을수록 캡쳐 간격을 크게 하고, 조리 상태 변화량의 클수록 캡쳐 간격을 작게할 수 있다.
조리 상태 변화량와 캡쳐 간격이 반비례 관계가 되도록 하는 이유는 조리 상태 변화량이 작은 경우 많은 양의 이미지를 획득할 필요가 없기 때문이다. 사용자가 원하는 이미지는 변화가 없는 이미지가 아니라 변화가 일어나는 이미지일 수 있다. 따라서, 변화가 없는 이미지의 개수를 줄이고, 변화가 많은 부분의 이미지 개수를 늘리기 때문에, 최종적으로 생성되는 동영상은 사용자가 원하는 이미지를 더 많이 포함할 수 있다.
도 9는 이미지를 획득하는 임계 시간을 제어하는 동작을 설명하기 위한 흐름도이다.
도 9를 참조하면, 조리 장치(100)는 음식물 객체를 포함하는 동영상을 획득할 수 있다 (S905). 여기서, 조리 장치(100)는 편집되지 않은 동영상을 획득할 수 있다. 예를 들어, 편집되지 않은 동영상이란 카메라(110)에서 촬상되어 획득되는 동영상 그 자체를 의미할 수 있다. 일 예로, 카메라(110)의 캡쳐 간격이 조절되지 않은 경우, 동영상은 일정한 간격으로 획득한 이미지로 구성된 동영상일 수 있다.
다른 예로, 카메라(110)의 캡쳐 간격이 조절된 경우, 동영상은 캡쳐 간격이 조절되어 획득한 이미지로 구성된 동영상을 의미할 수 있다. 조리 장치(100)는 이미 캡쳐 간격이 조절된 후에 추가적으로 동영상을 편집할 수 있다.
또한, 조리 장치(100)는 획득된 동영상에서 식별된 음식물 객체의 조리 상태를 식별할 수 있다 (S910). 구체적으로, 조리 장치(100)는 동영상을 구성하는 복수의 이미지 각각을 분석하여 음식물 객체의 조리 상태를 식별(또는 분석)할 수 있다.
또한, 조리 장치(100)는 S910 단계에서 획득한 음식물 객체의 조리 상태에 기초하여 음식물 객체의 조리 상태 변화량을 획득할 수 있다 (S915). 여기서, 조리 상태 변화량이란 특점 프레임에 대응되는 변화량을 의미할 수 있다. 예를 들어, 동영상에서 1프레임의 조리 상태 변화량과 2프레임의 조리 상태 변화량 및 60프레임의 조리 상태 변화량을 획득할 수 있다. 구체적으로, 조리 장치(100)는 동영상에 포함된 모든 프레임 각각에 대한 조리 상태 변화량을 획득할 수 있다.
조리 장치(100)는 특정 프레임의 조리 상태 변화량이 제1 임계값 이상인지 식별할 수 있다 (S925). 조리 상태 변화량이 제1 임계값 미만이면, 조리 장치(100)는 제1 임계 시간마다 이미지를 획득할 수 있다 (S930). 구체적으로, 조리 장치(100)는 동영상에 포함된 모든 프레임 중 조리 상태 변화량이 제1 임계값 미만인 프레임을 식별할 수 있다. 그리고, 조리 장치(100)는 제1 임계값 미만인 프레임에서 제1 임계 시간마다 프레임(이미지)을 획득할 수 있다. 즉, 조리 장치(100)는 제1 임계값 미만인 프레임에서 제1 임계 간격 사이의 프레임(이미지)을 제거(또는 삭제 또는 스킵)할 수 있다.
예를 들어, 조리 상태 변화량이 제1 임계값 미만인 프레임이 100개(100초에 대응되는)라고 가정하고, 제1 임계 시간이 20초라고 가정한다. 조리 장치(100)는 100초에 대응되는 100개의 프레임 중 5개의 프레임만을 획득(또는 추출 또는 선택)할 수 있다. 최종적으로, 조리 장치(100)는 100초에 해당하는 영역에 5개의 프레임을 할당할 수 있다.
특정 프레임의 조리 상태 변화량이 제1 임계값 이상이면, 조리 장치(100)는 조리 상태 변화량이 제2 임계값 이상인지 식별할 수 있다 (S935). 조리 상태 변화량이 제2 임계값 미만이면, 조리 장치(100)는 제2 임계 시간마다 이미지를 획득할 수 있다. 여기서, 제2 임계 시간은 제1 임계 시간보다 작을 수 있다. 구체적으로, 조리 장치(100)는 동영상에 포함된 모든 프레임 중 조리 상태 변화량이 제1 임계값 이상이고 제2임계값 미만인 프레임을 식별할 수 있다. 그리고, 조리 장치(100)는 제1 임계값 이상이고 제2임계값 미만인 프레임에서 제2 임계 시간마다 프레임(이미지)을 획득할 수 있다. 즉, 조리 장치(100)는 제1 임계값 이상이고 제2임계값 미만인 프레임 중 제2 임계 간격 사이의 프레임(이미지)을 제거(또는 삭제 또는 스킵)할 수 있다.
특정 프레임의 조리 상태 변화량이 제2 임계값 이상이면, 조리 장치(100)는 제3 임계 시간마다 이미지를 획득할 수 있다 (S945). 여기서, 제3 임계 시간은 제2 임계 시간보다 작을 수 있다. 따라서, 제1 임계 시간, 제2 임계 시간, 제3 임계 시간 순으로 시간 크기가 작을 수 있다. 구체적으로, 조리 장치(100)는 동영상에 포함된 모든 프레임 중 조리 상태 변화량이 제2 임계값 이상인 프레임을 식별할 수 있다. 그리고, 조리 장치(100)는 제2 임계값 이상인 프레임에서 제3 임계 시간마다 프레임(이미지)을 획득할 수 있다. 즉, 조리 장치(100)는 제2 임계값 이상인 프레임 중 제3 임계 간격 사이의 프레임(이미지)을 제거(또는 삭제 또는 스킵)할 수 있다.
한편, S930, S940, S945 단계는 연속된 프레임에서 수행될 수 있다. 동영상은 조리 상태 변화량이 아니라 시간 순서에 따라 생성되어야 하므로, 이미지 획득(또는 추출 또는 선택) 동작 역시 연속된 프레임에서 수행될 수 있다. 그리고, 조리 장치(100)는 S930, S940, S945 단계에 의하여 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S950).
도 10은 도 9의 제어 동작에서 단위 시간 당 이미지 프레임의 개수와 조리 상태 변화량의 관계를 설명하기 위한 도면이다.
도 10을 참조하면, 단위 시간 당 이미지 프레임의 개수와 조리 상태 변화량은 비례 관계 일 수 있다. 구체적으로, 조리 장치(100)는 조리 상태 변화량이 작을수록 단위 시간 당 이미지 프레임의 개수를 감소시킬 수 있다. 여기서, 단위 시간 당 이미지 프레임의 개수를 감소시키기 위하여 조리 장치(100)는 동영상에서 이미지를 획득하는 임계 시간을 크게 할 수 있다.
한편, 조리 장치(100)는 조리 상태 변화량이 클수록 단위 시간 당 이미지 프레임의 개수를 증가시킬 수 있다. 여기서, 단위 시간 당 이미지 프레임의 개수를 증가시키기 위하여 조리 장치(100)는 동영상에서 이미지를 획득하는 임계 시간을 작게 할 수 있다.
조리 상태 변화량이 클수록 사용자가 원하는 이미지일 수 있다. 따라서, 조리 장치(100)는 동영상에서 조리 상태 변화량이 큰 구간에서 더 많은 이미지를 획득하고 조리 상태 변화량이 작은 구간에서 더 적은 이미지를 획득하여 동영상을 생성할 수 있다. 따라서, 최초의 동영상에서 사용자가 원하는 이미지가 더 많이 포함된 요약 버전의 동영상을 새로 생성할 수 있다.
도 11은 이미지 특징 정보의 개수를 제어하는 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 조리 장치(100)는 음식물 객체를 포함하는 복수의 이미지를 획득할 수 있다 (S1105). 또한, 조리 장치(100)는 획득된 이미지에서 이미지 특징 정보에 기초하여 음식물 객체의 조리 상태를 식별할 수 있다 (S1110). 또한, 조리 장치(100)는 음식물 객체의 조리 상태 변화량을 획득할 수 있다 (S1115). 또한, 조리 장치(100)는 음식물의 조리가 완료되었는지 여부를 식별할 수 있다 (S1120). 여기서, S1120 단계는 S720 단계에 대응될 수 있으므로 중복 설명을 생략한다.
음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S1150).
음식물의 조리가 완료되지 않은 것으로 식별되면, 조리 장치(100)는 조리 상태 변화량이 제1 임계값 이상인지 식별할 수 있다 (S1125). 조리 상태 변화량이 제1 임계값 미만이면, 조리 장치(100)는 이미지 특징 정보의 개수를 감소시킬 수 있다. (S1130). 그리고, 조리 장치(100)는 감소된 이미지 특징 정보에 기초하여 복수의 이미지를 획득할 수 있다.
조리 상태 변화량이 제1 임계값 이상이면, 조리 장치(100)는 조리 상태 변화량이 제2 임계값 이상인지 식별할 수 있다 (S1135). 조리 상태 변화량이 제2 임계값 미만이면, 조리 장치(100)는 기존에 설정되어 있던 이미지 특징 정보의 개수를 유지할 수 있다 (S1140). 그리고, 조리 장치(100)는 유지된 이미지 특징 정보에 기초하여 복수의 이미지를 획득할 수 있다.
조리 상태 변화량이 제2 임계값 이상이면, 조리 장치(100)는 이미지 특징 정보의 개수를 증가시킬 수 있다 (S1145). 그리고, 조리 장치(100)는 증가된 이미지 특징 정보에 기초하여 복수의 이미지를 획득할 수 있다.
S1130, S1140, S1145 단계를 수행한 이후, 조리 장치(100)는 감소, 유지 또는 증가된 이미지 특징 정보에 기초하여 이미지를 획득할 수 있으며, S1105 내지 S1120 단계를 반복할 수 있다. 그리고, 음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S1150).
도 12는 도 11의 제어 동작에서 이미지 특징 정보의 개수와 조리 상태 변화량의 관계를 설명하기 위한 도면이다.
도 12를 참조하면, 조리 장치(100)는 조리 상태 변화량과 이미지 특징 정보의 개수가 비례하도록 이미지 특성 정보의 개수를 제어할 수 있다. 조리 장치(100)는 조리 상태 변화량이 작을수록 이미지 특징 정보의 개수를 작게 하고, 조리 상태 변화량의 클수록 이미지 특징 정보의 개수를 크게할 수 있다.
이미지 특징 정보의 개수가 적다는 것은 이미지를 분석하는데 최소한의 기준을 적용하는 것을 의미할 수 있다. 그리고, 이미지 특징 정보의 개수가 많다는 것은 이미지 인식률을 높이는 것을 의미할 수 있다. 따라서, 조리 장치(100)는 조리 상태 변화량이 높은 구간에서 더 많은 이미지 특징 정보에 기초하여 이미지 분석을 수행할 수 있다. 따라서, 모든 구간이 아니라 조리 상태 변화량이 높은 구간에서만 인식률이 높은 분석을 수행하므로, 전체적으로 데이터 처리 시간이 줄어들 수 있다.
도 13은 음식물 객체의 조리 조리 상태를 식별하는 기 설정된 영역을 제어하는 동작을 설명하기 위한 흐름도이다.
도 13을 참조하면, 조리 장치(100)는 음식물 객체를 포함하는 이미지를 획득할 수 있다 (S1305). 또한, 조리 장치(100)는 획득된 이미지에서 기 결정된 영역에 기초하여 식별된 음식물 객체의 조리 상태를 식별할 수 있다 (S1310). 여기서, 기 결정된 영역(또는 대상 영역)이란 카메라(110)에서 촬상할 수 있는 조리실(20) 전체의 영역 중 특정 영역을 의미할 수 있다. 또한, 조리 장치(100)는 음식물 객체의 조리 상태 변화량을 획득할 수 있다 (S1315). 또한, 조리 장치(100)는 음식물의 조리가 완료되었는지 여부를 식별할 수 있다 (S1320). 여기서, S1320 단계는 S720 단계에 대응될 수 있으므로 중복 설명을 생략한다.
음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S1350).
음식물의 조리가 완료되지 않은 것으로 식별되면, 조리 장치(100)는 조리 상태 변화량이 제3 임계값 이상인지 식별할 수 있다 (S1325). 조리 상태 변화량이 제3 임계값 미만이면, 조리 장치(100)는 기 결정된 영역이 음식물 객체가 표시된 모든 영역으로 결정할 수 있다 (S1330). 그리고, 조리 장치(100)는 음식물 객체가 표시된 모든 영역에 기초하여 음식물 객체의 조리 상태를 식별할 수 있다.
조리 상태 변화량이 제3 임계값 이상이면, 조리 장치(100)는 기 결정된 영역이 조리 상태 변화량이 제3 임계값 이상인 영역으로 결정할 수 있다 (S1335). 그리고, 조리 상태 변화량이 제3 임계값 이상인 영역에 기초하여 음식물 객체의 조리 상태를 식별할 수 있다.
조리 장치(100)는 S1330 및 S1335 단계에 따라 결정된 기 결정된 영역에 기초하여 음식물 객체의 조리 상태를 식별하고 S1305 내지 S1320 단계를 반복할 수 있다. 그리고, 음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S1350).
한편, 도 13의 실시 예에서 기 결정된 영역(또는 타겟 영역)만을 분석하기 위하여 조리 장치(100)는 이미지 리사이징(resizing) 동작을 수행할 수 있다.
도 14는 도 13의 제어 동작에서 기 설정된 영역을 설명하기 위한 도면이다.
도 14를 참조하면, 조리 장치(100)는 시간 순서에 따라, 제1 이미지(1410), 제2 이미지(1420), 제3 이미지(1430), 제4 이미지(1440)를 획득할 수 있다.
조리 장치(100)는 제1 이미지(1410)에서 음식물 객체(1405)를 식별할 수 있다.
그리고, 조리 장치(100)는 제1 이미지(1410)에서 식별한 음식물 객체(1405)에 기초하여 대상 영역 (또는 타겟 영역)을 식별할 수 있다. 대상 영역을 식별하는 이유는 이미지의 모든 영역을 분석하지 않고 대상 영역만을 분석하여 데이터 처리 시간을 줄이기 위함이다.
식별된 대상 영역은 제2 이미지(1420)를 분석하는데 이용될 수 있다. 구체적으로, 조리 장치(100)는 제2 이미지(1420)에서 대상 영역(1421)에 기초하여 음식물 객체(1405)를 분석할 수 있다.
여기서, 대상 영역은 조리 상태 변화량에 기초하여 변경될 수 있다. 최초의 대상 영역은 제2 이미지(1420)에서 음식물 객체의 전체 영역이었다. 조리 초기 단계에서 음식물 전체에서 변화가 거의 없을 수 있다. 따라서, 조리 장치(100)는 음식물 전체 영역을 모두 분석하여 어느 부분에서 변화가 있는지를 식별할 수 있다.
음식물이 고기인 경우, 조리 과정에 따라 바깥쪽부터 음식물의 조리 상태가 변화될 수 있다. 즉, 고기는 조리 과정에 따라 바깥쪽부터 익기 시작하므로, 바깥 부분의 조리 상태 변화량이 증가할 수 있다. 여기서, 조리 장치(100)는 대상 영역을 음식물 전체 영역에서 조리 상태 변화량이 높은 영역으로 변경할 수 있다. 즉, 조리 장치(100)는 음식물의 바깥쪽 영역을 새로운 대상 영역으로 결정할 수 있다.
여기서, 변경된 대상 영역은 제3 이미지(1430)를 분석하는데 이용될 수 있다. 구체적으로, 조리 장치(100)는 제3 이미지(1430)에서 변경된 대상 영역(1431)에 기초하여 음식물 객체(1405)를 분석할 수 있다.
한편, 조리 과정에서 고기가 바깥 부분이 다 익은 후 안쪽 부분이 익을 수 있다. 여기서, 이미 다 익은 고기의 바깥 부분의 조리 상태 변화량은 작아지고 아직 익지 않은 고기의 안쪽 부분의 조리 상태 변화량이 커질 수 있다. 여기서, 조리 장치(100)는 대상 영역을 재변경할 수 있다. 조리 장치(100)는 대상 영역을 조리 상태 변화량이 높은 영역으로 재변경할 수 있다.
여기서, 재변경된 대상 영역은 제4 이미지(1440)를 분석하는데 이용될 수 있다. 구체적으로, 조리 장치(100)는 제4 이미지(1440)에서 재변경된 대상 영역(1441)에 기초하여 음식물 객체(1405)를 분석할 수 있다.
도 15는 도 13의 제어 동작에서 복수의 음식물 객체의 분석 동작을 설명하기 위한 도면이다.
도 15를 참조하면, 조리 장치(100)는 도 14와 달리 복수의 음식물을 동시에 조리할 수 있다. 따라서, 음식물 객체는 복수개일 수 있다. 또한, 조리 장치(100)는 시간 순서에 따라, 제1 이미지(1510), 제2 이미지(1520), 제3 이미지(1530), 제4 이미지(1540)를 획득할 수 있다.
조리 장치(100)는 제1 이미지(1510)에서 복수의 음식물 객체(1505-1,1505-2,1505-3,1505-4,1505-5)를 식별할 수 있다.
그리고, 조리 장치(100)는 식별된 복수의 음식물 객체(1505-1 내지 1505-5)에 기초하여 대상 영역을 식별할 수 있다. 구체적으로, 조리 장치(100)는 음식물 객체(1505-1 내지 1505-5) 각각에 대응되는 음식물 전체 영역을 대상 영역으로 결정할 수 있다. 여기서, 조리 장치(100)는 음식물 객체(1505-1 내지 1505-5)가 복수개이므로 대상 영역도 복수개 식별할 수 있다.
여기서, 식별된 복수의 대상 영역은 제2 이미지(1520)를 분석하는데 이용될 수 있다. 구체적으로, 조리 장치(100)는 제2 이미지(1520)에서 복수의 대상 영역(1521-1,1521-2,1521-3,1521-4,1521-5)에 기초하여 음식물 객체(1505-1 내지 1505-5)를 분석할 수 있다.
음식물이 빵인 경우, 조리 과정에 따라 안쪽부터 음식물의 조리 상태가 변화될 수 있다. 여기서, 조리 장치(100)는 대상 영역을 음식물 전체 영역에서 조리 상태 변화량이 높은 영역으로 변경할 수 있다. 즉, 조리 장치(100)는 음식물의 안쪽 영역을 새로운 대상 영역으로 결정할 수 있다.
여기서, 변경된 대상 영역은 제3 이미지(1530)를 분석하는데 이용될 수 있다. 구체적으로, 조리 장치(100)는 제3 이미지(1530)에서 변경된 대상 영역(1531-1,1531-2,1531-3,1531-4,1531-5)에 기초하여 음식물 객체(1505-1 내지 1505-5)를 분석할 수 있다.
그리고, 조리 장치(100)는 최종적으로 음식물 객체(1505-1 내지 1505-5)의 조리 완료 여부를 판단할 수 있다. 조리 장치(100)는 제4 이미지(1540)에 기초하여 더 이상 음식물 객체(1505-1 내지 1505-5)의 조리 상태 변화량이 없다고 판단되면, 조리가 완료되었다고 판단할 수 있다.
도 16은 해상도를 제어하는 동작을 설명하기 위한 흐름도이다.
도 16을 참조하면, 조리 장치(100)는 기 결정된 해상도로 음식물 객체를 포함하는 이미지를 획득할 수 있다 (S1605). 또한, 조리 장치(100)는 획득된 이미지에서 음식물 객체를 식별할 수 있고, 식별된 음식물 객체의 조리 상태를 식별할 수 있다 (S1610). 또한, 조리 장치(100)는 음식물 객체의 조리 상태 변화량을 획득할 수 있다 (S1615). 또한, 조리 장치(100)는 음식물의 조리가 완료되었는지 여부를 식별할 수 있다 (S1620). 여기서, S1620 단계는 S720 단계에 대응될 수 있으므로 중복 설명을 생략한다.
음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S1650).
음식물의 조리가 완료되지 않은 것으로 식별되면, 조리 장치(100)는 조리 상태 변화량이 제4 임계값 이상인지 식별할 수 있다 (S1625). 조리 상태 변화량이 제4 임계값 미만이면, 조리 장치(100)는 기 결정된 해상도를 제1 해상도로 결정할 수 있다 (S1630). 그리고, 조리 장치(100)는 결정된 제1 해상도에 기초하여 이미지를 획득할 수 있다.
조리 상태 변화량이 제4 임계값 이상이면, 조리 장치(100)는 기 결정된 해상도를 제2 해상도로 결정할 수 있다 (S1635). 여기서, 제2 해상도는 제1 해상도보다 클 수 있다. 그리고, 조리 장치(100)는 결정된 제2 해상도에 기초하여 이미지를 획득할 수 있다.
조리 장치(100)는 S1630 및 S1635 단계에 따라 결정된 기 결정된 해상도에 기초하여 음식물 객체의 조리 상태를 식별하고 S1605 내지 S1620 단계를 반복할 수 있다. 그리고, 음식물의 조리가 완료된 것으로 식별되면, 조리 장치(100)는 획득된 복수의 이미지에 기초하여 동영상을 생성할 수 있다 (S1650).
조리 장치(100)는 조리 상태 변화량이 높은 경우 해상도를 높여 더 좋은 품질의 이미지를 이용하여 음식물 객체를 분석할 수 있다.
도 17은 음식물의 조리 상태를 예측하는 과정을 설명하기 위한 도면이다.
도 17을 참조하면, 조리 장치(100)는 카메라(110)를 이용하여 이미지를 획득할 수 있다 (S1705). 구체적으로, 조리 장치(100)는 조리 상태 변화량에 기초하여 카메라(110)와 관련된 설정 중 노출, 게인(gain), 화이트밸런스(WB, White Balance), FPS(Frame Per Second) 등을 조절하여 이미지를 획득할 수 있다. 조리 장치(100)는 카메라(110)를 이용하여 조리실(20) 내부의 이미지를 취득할 수 있다.
또한, 조리 장치(100)는 획득한 이미지에 기초하여 영상(이미지)를 분석할 수 있다 (S1710). 구체적으로, 조리 장치(100)는 음식물(식품) 정보를 측정할 수 있다. 조리 장치(100)는 음식물의 밝기, 색상, 그라데이션(gradient), 크기 또는 텍스쳐 중 적어도 하나를 측정할 수 있다. 또한, 조리 장치(100)는 음식물의 변화량에 기초하여 측정 정보 및 측정 위치를 변경함으로써 측정 동작을 수행할 수 있다.
여기서, 조리 장치(100)는 다양한 시간격 비교를 통하여 음식물의 변화량(조리 상태 변화량)을 판단할 수 있다. 여기서, 조리 장치(100)는 변화량에 기초하여 시간격 또는 비교 횟수 중 적어도 하나를 변경함으로써 변화량 판단 동작을 수행할 수 있다.
여기서, 조리 장치(100)는 음식물 조리 상태의 특징 모델을 갱신할 수 있다. 조리 장치(100)는 음식물의 기본 특징 모델을 식별할 수 있다. 여기서, 기본 특징 모델은 특징 정보를 포함할 수 있으며, 색상, 크기 분포 또는 변화량 중 적어도 하나에 기초하여 식별될 수 있다. 기본 특징 모델은 조리 상태 변화량을 고려하지 않고 결정된 특징 모델을 의미할 수 있다. 예를 들어, 기 결정된 특징 모델이 메모리에 저장되어 있는 상태에서 사용자 선택에 의하여 기본 특징 모델이 식별될 수 있다. 조리 장치(100)는 음식물의 조리 상태에 따라서 식품의 조리 상태의 특징 모델을 변경할 수 있다. 예를 들어, 조리 장치(100)는 기본 특징 모델에 기초하여 이미지를 분석하고, 조리 상태 변화량에 기초하여 기본 특징 모델을 다른 특징 모델로 변경할 수 있다.
여기서, 조리 장치(100)는 기존 특징 모델과 변경된 특징 모델을 비교하여 현재 음식물의 조리 상태를 분석할 수 있다.
또한, 조리 장치(100)는 조리 상태 분석 동작의 결과로써 음식물의 변화를 예측할 수 있다. 구체적으로, 조리 장치(100)는 현재 음식물의 조리 단계에 기초하여 음식물의 변화(또는 변화량)을 예측할 수 있다.
여기서, 조리 장치(100)는 음식물의 변화를 예측하여 다음 측정 시점을 계산할 수 있다. 그리고, 조리 장치(100)는 계산된 다음 측정 시점에 기초하여 이미지를 획득할 수 있다 (S1705).
도 18은 시간에 따른 음식물의 조리 상태 누적 변화량을 설명하기 위한 도면이다.
도 18을 참조하면, 수학식(1805)은 다음 시점의 변화량을 예측하는 계산 과정을 의미할 수 있다.
D_n+1은 다음 시점에서 예측되는 조리 상태 변화량(누적)을 의미할 수 있다.
D_n은 현재 시점에서 측정된 조리 상태 변화량(누적)을 의미할 수 있다.
D_step은 기 결정된 조리 단계에 기초한 조리 상태 변화량(누적)을 의미할 수 있다. D_step은 이미지를 이용하여 분석한 정보가 아니라 이미 메모리에 저장된 음식물에 대응되는 조리 상태 변화량(누적)을 의미할 수 있다. 예를 들어, 음식물이 고기이면 고기의 일반적인 조리 과정에 따른 정보가 메모리에 저장될 수 있다. 그리고, 조리 장치(100)는 사용자의 선택에 의해 어떤 음식물이 조리되는 것인지 판단할 수 있다. 또한, 조리 장치(100)는 조리 시작전 획득한 이미지에 기초하여 어떤 음식물이 조리될 것인지 판단할 수 있다. 여기서, 조리 장치는 판단된 음식물에 대응되는 기본 조리 상태 변화량(누적)을 획득할 수 있다. 여기서, 획득된 기본 조리 상태 변화량(누적)은 시간에 따른 조리 상태 변화량(누적) 정보를 의미할 수 있다. 예를 들어, 기본 조리 변화량 정보는 빵이 조리 단계에 따라 흰색에서 갈색으로 변경된다는 정보를 포함할 수 있다.
D_pred는 예측 조리 상태 변화량을 의미할 수 있다.
여기서, D_pred는 a_x*diff(Dn,Dx)를 특정 시점(n-m)부터 바로 이전 시점(n-1)까지 합산한 값을 의미할 수 있다. 여기서, x는 시점에 대한 변수일 수 있다. 여기서, m은 고정된 상수를 의미할 수 있으며 최근 언제 시점까지의 데이터를 반영할지 여부에 대한 값을 의미할 수 있다. 예를 들어, 최근 10개의 데이터를 반영하고자 한다면, m=10일 수 있다.
여기서, a_x는 x 시점에 대응되는 가중치를 의미할 수 있다. 조리 장치(100)는 현재 시점에 가까울수록 더 높은 가중치가 적용되도록 가중치를 조절할 수 있다. diff(Dn,Dx)는 현재 시점(n)의 조리 상태 변화량(누적)과 특정 시점(x)의 조리 상태 변화량(누적)의 차이값일 수 있다.
결과적으로, D_pred는 최근 m개의 시점에 대하여 현재 시점(n)의 조리 상태 변화량(누적)과 변경되는 특정 시점(x)의 조리 상태 변화량(누적)의 차이값을 합산한 값일 수 있다.
그리고, 조리 장치(100)는 계산된 D_n, D_step, D_pred을 합산하여 D_n+1을 획득할 수 있다.
또한, 수학식(1810)은 캡쳐 간격(또는 time interval)을 결정하는 식을 의미할 수 있다. 캡쳐 간격은 b/(D_n+1)로 계산될 수 있다. 여기서, b는 상수 또는 가중치일 수 있다. 여기서, 사용자는 사용자 설정에 따라 계산된 캡쳐 간격보다 캡쳐 간격을 더 증가시키고자 하는 경우 b의 값을 더 크게 설정할 수 있고, 계산된 캡쳐 간격보다 캡쳐 간격을 더 줄이고자 한다면 b의 값을 더 작게 설정할 수 있다. 여기서, D_n+1은 수학식(1805)에서 계산된 다음 시점에서 예측되는 조리 상태 변화량(누적)을 의미할 수 있다.
또한, 그래프(1815)는 시점에 따른 조리 상태 누적 변화량을 의미할 수 있다. 현재 시점은 t_n일 수 있다. 누적 변화량이므로, 그래프(1815)의 기울기가 특정 시점에서의 조리 상태 변화량일 수 있다. 그래프(1815)를 참고하면 조리 상태 변화량은 초반 시점(t_0,t_1,t_2)에서 낮을 수 있다. 그리고, 시간이 경과하면 조리 상태 변화량은 t_n-5 시점에서 증가할 수 있다. 그리고, 다시 일정 시간이 경과하면, 조리 상태 변화량은 t_n-2 시점부터 다시 감소할 수 있다. 최초 조리 단계에서 음식물의 변화가 거의 없고, 최종 조리 완료 단계에서도 음식물의 변화가 거의 없기 때문에 조리 장치(100)는 그래프(1815)와 유사한 데이터를 획득할 수 있다.
도 19는 동영상 재생시 표시되는 UI를 설명하기 위한 도면이다.
도 19를 참조하면, 조리 장치(100)는 시간 흐름을 나타내는 타임 슬라이드 UI(1920)를 포함하여 동영상을 생성할 수 있다. 동영상 중 하나의 이미지(1910)에는 타임 슬라이드 UI(1920)가 포함될 수 있다. 타임 슬라이드 UI(1920)는 현재 재생되는 이미지가 어느 시점의 이미지인지 나타내기 위한 현재 위치 UI(1921)를 포함할 수 있다. 현재 위치 UI(1921)는 동영상 재생에 따라 우측으로 이동될 수 있다. 또한, 동영상 중 하나의 이미지(1910)에는 현재 동영상의 이전 시점, 다음 시점, 일시 정지(또는 재생)을 수행하는 재생 관련 UI(1922)를 포함할 수 있다. 동영상 재생에 따라 음식물(1923)의 변화가 표시될 수 있다.
일반적으로, 타임 슬라이드 UI(1920)는 일정한 간격에 대응하여 동일한 개수의 프레임이 존재할 수 있다. 하지만, 조리 장치(100)는 타임 슬라이드 UI(1920)는 일정한 간격에 서로 다른 개수의 프레임이 존재하도록 동영상을 생성할 수 있다.
조리 과정이 전체 35분이고 4개의 섹션으로 구분되는 것으로 가정한다. 표(605)를 참고하여 제1 섹션은 20분이며 조리 상태 변화량이 거의 없어 캡쳐 간격이 20초라고 가정한다. 조리 장치(100)는 20분 동안 20초의 캡쳐 간격에 기초하여 60개의 프레임(이미지)을 획득할 수 있다.
그리고, 제2 섹션은 5분이며 조리 상태 변화량이 증가하여 캡쳐 간격이 5초라고 가정한다. 조리 장치(100)는 5분동안 5초의 캡쳐 간격을 이용하여 60개의 프레임(이미지)을 획득할 수 있다.
그리고, 제3 섹션은 5분이며 조리 상태 변화량이 더 증가하여 캡쳐 간격이 1초라고 가정한다. 조리 장치(100)는 5분동안 1초의 캡쳐 간격을 이용하여 300개의 프레임(이미지)을 획득할 수 있다.
그리고, 제4 섹션은 5분이며 조리 상태 변화량이 감소하여 캡쳐 간격이 20초라고 가정한다. 조리 장치(100)는 5분동안 20초의 캡쳐 간격을 이용하여 15개의 프레임(이미지)를 획득할 수 있다.
조리 장치(100)는 재생 시간에 따라 동일한 프레임을 할당하지 않고 조리 상태 변화량에 기초하여 프레임의 개수를 조절할 수 있다.
제1 섹션은 20분이고 제2 섹션은 5분이지만 프레임 개수는 60개로 동일할 수 있다. 제1 섹션보다 제2 섹션이 더 중요한 이미지이기 때문이다. 조리 장치(100)는 사용자가 원하는 구간에 더 많은 프레임을 할당할 수 있다. 즉, 조리 장치(100)는 요약된 동영상을 생성할 수 있다.
요약 과정에서 왜곡된 시간 정보를 직관적으로 사용자에게 알리기 위하여 조리 장치(100)는 타임 슬라이드 UI(1920)를 이용할 수 있다. 제1 섹션 및 제2 섹션이 60개 프레임으로 동일하지만, 각 섹션에 대응되는 타임 슬라이드 UI는 상이한 크기로 표시될 수 있다. 예를 들어, 제1 섹션에 대응되는 타임 슬라이드 UI는 제1 크기(1921-1)로 표시되며, 제2 섹션에 대응되는 타임 슬라이드 UI는 제1 크기(1921-1)보다 작은 제2 크기(1921-2)로 표시될 수 있다. 구체적으로, 조리 장치(100)는 각 섹션에 대응되는 타임 슬라이드 UI의 크기는 편집 이전의 재생 시간 정보에 비례할 수 있다.
현재 위치 UI(1921)는 조리 상태 변화량이 낮은 섹션에서는 상대적으로 빨리 이동하는 것처럼 표시되고, 조리 상태 변화량이 높은 섹션에서는 상대적으로 느리게 이동하는 것처럼 표시될 수 있다.
도 20은 일 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 20을 참조하면, 조리 장치(100)는 동영상 녹화 설정 UI를 표시할 수 있다. 구체적으로, 조리 장치(100)는 이미지 캡쳐 간격을 조절하기 위한 화면(2010)을 디스플레이(130)에 표시할 수 있다. 이미지 캡쳐 간격을 조절하기 위한 화면(2010)은 모드 이름을 포함하는 UI를 포함할 수 있다. 예를 들어, 이미지 캡쳐 간격을 조절하기 위한 화면(2010)은 캡쳐 간격을 기 결정된 값으로 제어하는 일반 모드(normal interval)에 대응되는 UI(2011) 또는 이미지 캡쳐 간격이 변경되는 어댑티브 모드(adaptive interval)에 대응되는 UI(2012)를 포함할 수 있다.
여기서, 사용자의 편의성을 높이기 위하여 조리 장치(100)는 현재 설정된 모드에 대한 알림을 제공할 수 있다. 구체적으로, 조리 장치(100)는 현재 설정되어 있는 모드를 강조하기 위한 UI(2013-1)를 추가적으로 표시할 수 있다. 또한, 조리 장치(100)는 현재 설정되어 있는 모드를 나타내는 텍스트 정보(2013-2)를 추가적으로 표시할 수 있다. 각 UI(2011, 2012)는 사용자가 캡쳐 간격을 선택하도록 가이드하는 UI일 수 있다.
도 21은 다른 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 21을 참조하면, 조리 장치(100)는 이미지 캡쳐 간격을 조절하기 위한 화면(2110)을 디스플레이(130)에 표시할 수 있다. 이미지 캡쳐 간격을 조절하기 위한 화면(2110)은 캡쳐 간격의 조절 정도를 나타내는 UI를 표시할 수 있다. 예를 들어, 조리 장치(100)는 ‘둔감하게’에 대응되는 UI(2111), ‘일반’에 대응되는 UI(2112) 및 ‘민감하게’에 대응되는 UI(2113)를 표시할 수 있다. 각 UI(2111, 2112, 2113)는 사용자가 캡쳐 간격을 선택하도록 가이드하는 UI일 수 있다.
도 22는 또 다른 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 22를 참조하면, 조리 장치(100)는 동영상 용량을 선택하도록 가이드하는 화면(2210)을 디스플레이(130)에 표시할 수 있다. 동영상 용량을 선택하도록 가이드하는 화면(2210)은 최종 생성되는 동영상의 크기 정보에 대응되는 적어도 하나의 UI를 포함할 수 있다. 예를 들어, 조리 장치(100)는 ‘250MB’에 대응되는 UI(2211), ‘500MB’에 대응되는 UI(2212) 및 ‘750MB’에 대응되는 UI(2213)를 표시할 수 있다. 여기서, 조리 장치(100)는 동영상 크기를 나타내는 정보와 함께 기준 크기(500MB)에 기초하여 어느 정도 동영상 크기가 변경되는지를 알리기 위하여 크기 변화 정보(50%, 100%, 150%)를 추가적으로 표시할 수 있다. 각 UI(2211, 2212, 2213)는 사용자가 최종 생성되는 동영상 크기를 선택하도록 가이드하는 UI일 수 있다.
도 23은 또 다른 실시 예에 따른 동영상 녹화 설정 UI를 설명하기 위한 도면이다.
도 23을 참조하면, 조리 장치(100)는 동영상 재생 시간을 선택하도록 가이드하는 화면(2310)을 디스플레이(130)에 표시할 수 있다. 동영상 재생 시간을 선택하도록 가이드하는 화면(2310)은 최종 생성되는 동영상의 시간 정보에 대응되는 적어도 하나의 UI를 포함할 수 있다. 예를 들어, 조리 장치(100)는 ‘30초’에 대응되는 UI(2311), ‘60초’에 대응되는 UI(2312) 및 ‘90초’에 대응되는 UI(2313)를 표시할 수 있다. 여기서, 조리 장치(100)는 동영상 재생 시간을 나타내는 정보와 함께 기준 재생 시간(60초)에 기초하여 어느 정도 동영상 재생 시간이 변경되는지를 알리기 위하여 재생 시간 변화 정보(50%, 100%, 150%)를 추가적으로 표시할 수 있다. 각 UI(2311, 2312, 2313)는 사용자가 최종 생성되는 동영상 재생 시간을 선택하도록 가이드하는 UI일 수 있다.
도 24는 본 개시의 일 실시 예에 따른 조리 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 24를 참조하면, 조리 장치(100)의 제어 방법은 복수의 이미지를 획득하는 단계 (S2405), 획득된 복수의 이미지에서 음식물 객체를 식별하는 단계 (S2410), 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 실시간으로 획득되는 이미지의 캡쳐 간격을 조정하는 단계 (S2415) 및 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성하는 단계 (S2420)를 포함한다.
한편, 조리 상태 변화 정보는 조리 상태 변화량을 포함할 수 있고, 캡쳐 간격을 조정하는 단계는 캡쳐 간격을 획득된 음식물 객체의 변화량에 반비례하도록 조정할 수 있다.
한편, 캡쳐 간격을 조정하는 단계 (S2415)는 획득된 음식물 객체의 조리 상태 변화량이 제1임계값 미만이면, 캡쳐 간격을 증가시키고, 획득된 음식물 객체의 조리 상태 변화량이 제2 임계값 이상이면, 캡쳐 간격을 감소시킬 수 있다.
한편, 조리 장치(100)의 제어 방법은 획득된 복수의 이미지에서 적어도 하나의 특징(feature) 정보를 이용하여 음식물 객체를 분석하는 단계 및 획득된 음식물 객체의 조리 상태 변화량에 비례 하도록 적어도 하나의 특징 정보의 개수를 조정하는 단계를 더 포함할 수 있다.
특징 정보는 윤곽선, 에지, 코너, 히스토그램, 밝기 중 적어도 하나를 포함할 수 있고, 조리 장치(100)의 제어 방법은 획득된 복수의 이미지에서 특징 정보를 추출할 수 있고, 추출된 특징 정보에 기초하여 음식물 객체 및 음식물 객체의 조리 상태 변화 정보를 획득하는 단계를 더 포함할 수 있다.
한편, 조리 장치(100)의 제어 방법은 획득된 복수의 이미지에서 획득된 음식물 객체의 조리 상태 변화량이 제3 임계값 이상인 영역을 대상 영역으로 식별하는 단계 및 식별된 대상 영역에 기초하여 식별된 음식물 객체의 조리 상태 변화량을 획득하는 단계를 더 포함할 수 있다.
한편, 조리 장치(100)의 제어 방법은 획득된 음식물 객체의 조리 상태 변화량이 제4 임계값 이상이면, 획득되는 이미지의 해상도를 변경하는 단계를 더 포함할 수 있다.
한편, 조리 장치(100)의 제어 방법은 복수의 음식물 각각에 대응되는 음식물 정보에 포함된 조리 상태 변화량 및 획득된 음식물 객체의 조리 상태 변화량에 기초하여 음식물 객체의 예상 조리 상태 변화량을 획득하는 단계 및 획득된 음식물 객체의 예상 조리 상태 변화량에 기초하여 캡쳐 간격을 변경하는 단계를 더 포함할 수 있다.
한편, 조리 장치(100)의 제어 방법은 음식물 객체의 크기 조리 상태 변화량 또는 음식물 객체의 색상 조리 상태 변화량 중 적어도 하나에 기초하여 식별된 음식물 객체의 조리 상태 변화량을 획득하는 단계 및 획득된 조리 상태 변화량에 기초하여 이미지의 캡쳐 간격을 조정하는 단계를 더 포함할 수 있다.
한편, 조리 장치(100)의 제어 방법은 캡쳐 간격을 변경하기 위한 가이드 UI를 표시하는 단계를 더 포함할 수 있다.
한편, 도 24와 같은 조리 장치의 제어 방법은 도 1 또는 도 2의 구성을 가지는 조리 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 조리 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 조리 장치(전자 장치)에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 조리 장치(전자 장치)에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 조리 장치(전자 장치)에 구비된 임베디드 서버, 또는 조리 장치(전자 장치) 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 조리 장치(전자 장치)를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 조리 장치 110: 카메라
120: 프로세서

Claims (20)

  1. 카메라;
    상기 카메라를 통해 획득된 복수의 이미지에서 음식물 객체를 식별하고,
    상기 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 상기 카메라를 통해 실시간으로 획득되는 이미지의 캡쳐 간격을 조정하고,
    상기 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성하는 프로세서;를 포함하는, 조리 장치.
  2. 제1항에 있어서,
    상기 조리 상태 변화 정보는, 조리 상태 변화량을 포함하고,
    상기 프로세서는,
    상기 캡쳐 간격을 상기 획득된 음식물 객체의 변화량에 반비례하도록 조정하는, 조리 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 획득된 음식물 객체의 조리 상태 변화량이 제1임계값 미만이면, 상기 카메라의 상기 캡쳐 간격을 증가시키고,
    상기 획득된 음식물 객체의 조리 상태 변화량이 제2 임계값 이상이면, 상기 카메라의 상기 캡쳐 간격을 감소시키는, 조리 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 획득된 복수의 이미지에서 적어도 하나의 특징(feature) 정보를 이용하여 음식물 객체를 분석하고,
    상기 획득된 음식물 객체의 조리 상태 변화량에 비례 하도록 상기 적어도 하나의 특징 정보의 개수를 조정하는, 조리 장치.
  5. 제4항에 있어서,
    상기 특징 정보는,
    윤곽선, 에지, 코너, 히스토그램, 밝기 중 적어도 하나를 포함하고,
    상기 프로세서는,
    상기 획득된 복수의 이미지에서 상기 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 상기 음식물 객체 및 상기 음식물 객체의 조리 상태 변화 정보를 획득하는, 조리 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    상기 획득된 복수의 이미지에서 상기 획득된 음식물 객체의 조리 상태 변화량이 제3 임계값 이상인 영역을 대상 영역으로 식별하고,
    상기 식별된 대상 영역에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득하는, 조리 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 획득된 음식물 객체의 조리 상태 변화량이 제4 임계값 이상이면, 상기 카메라에서 획득되는 이미지의 해상도를 변경하는, 조리 장치.
  8. 제2항에 있어서,
    복수의 음식물 각각에 대응되는 음식물 정보를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 저장된 음식물 정보에 포함된 조리 상태 변화량 및 상기 획득된 음식물 객체의 조리 상태 변화량에 기초하여 음식물 객체의 예상 조리 상태 변화량을 획득하고,
    상기 획득된 음식물 객체의 예상 조리 상태 변화량에 기초하여 상기 카메라의 상기 캡쳐 간격을 변경하는, 조리 장치.
  9. 제2항에 있어서,
    상기 프로세서는,
    상기 음식물 객체의 크기 조리 상태 변화량 또는 상기 음식물 객체의 색상 조리 상태 변화량 중 적어도 하나에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득하고,
    상기 획득된 조리 상태 변화량에 기초하여 상기 이미지의 캡쳐 간격을 조정하는, 조리 장치.
  10. 제1항에 있어서,
    디스플레이;를 더 포함하고,
    상기 캡쳐 간격을 변경하기 위한 가이드 UI를 표시하도록 상기 디스플레이를 제어하는, 조리 장치.
  11. 복수의 이미지를 획득하는 단계;
    획득된 복수의 이미지에서 음식물 객체를 식별하는 단계;
    상기 식별된 음식물 객체의 조리 상태 변화 정보에 기초하여 실시간으로 획득되는 이미지의 캡쳐 간격을 조정하는 단계; 및
    상기 조정된 캡쳐 간격에 따라 획득된 캡쳐 이미지에 기초하여 동영상을 생성하는 단계;를 포함하는, 조리 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 조리 상태 변화 정보는, 조리 상태 변화량을 포함하고,
    상기 캡쳐 간격을 조정하는 단계는,
    상기 캡쳐 간격을 상기 획득된 음식물 객체의 변화량에 반비례하도록 조정하는, 조리 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 캡쳐 간격을 조정하는 단계는,
    상기 획득된 음식물 객체의 조리 상태 변화량이 제1임계값 미만이면, 상기 캡쳐 간격을 증가시키고,
    상기 획득된 음식물 객체의 조리 상태 변화량이 제2 임계값 이상이면, 상기 캡쳐 간격을 감소시키는, 조리 장치의 제어 방법.
  14. 제12항에 있어서,
    상기 획득된 복수의 이미지에서 적어도 하나의 특징(feature) 정보를 이용하여 음식물 객체를 분석하는 단계; 및
    상기 획득된 음식물 객체의 조리 상태 변화량에 비례 하도록 상기 적어도 하나의 특징 정보의 개수를 조정하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 특징 정보는,
    윤곽선, 에지, 코너, 히스토그램, 밝기 중 적어도 하나를 포함하고,
    상기 획득된 복수의 이미지에서 상기 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 상기 음식물 객체 및 상기 음식물 객체의 조리 상태 변화 정보를 획득하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
  16. 제12항에 있어서,
    상기 획득된 복수의 이미지에서 상기 획득된 음식물 객체의 조리 상태 변화량이 제3 임계값 이상인 영역을 대상 영역으로 식별하는 단계; 및
    상기 식별된 대상 영역에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
  17. 제12항에 있어서,
    상기 획득된 음식물 객체의 조리 상태 변화량이 제4 임계값 이상이면, 획득되는 이미지의 해상도를 변경하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
  18. 제12항에 있어서,
    복수의 음식물 각각에 대응되는 음식물 정보에 포함된 조리 상태 변화량 및 상기 획득된 음식물 객체의 조리 상태 변화량에 기초하여 음식물 객체의 예상 조리 상태 변화량을 획득하는 단계; 및
    상기 획득된 음식물 객체의 예상 조리 상태 변화량에 기초하여 상기 캡쳐 간격을 변경하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
  19. 제12항에 있어서,
    상기 음식물 객체의 크기 조리 상태 변화량 또는 상기 음식물 객체의 색상 조리 상태 변화량 중 적어도 하나에 기초하여 상기 식별된 음식물 객체의 조리 상태 변화량을 획득하는 단계; 및
    상기 획득된 조리 상태 변화량에 기초하여 상기 이미지의 캡쳐 간격을 조정하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
  20. 제11항에 있어서,
    상기 캡쳐 간격을 변경하기 위한 가이드 UI를 표시하는 단계;를 더 포함하는, 조리 장치의 제어 방법.
KR1020200125099A 2020-09-25 2020-09-25 조리 장치 및 그 제어 방법 KR20220041611A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200125099A KR20220041611A (ko) 2020-09-25 2020-09-25 조리 장치 및 그 제어 방법
EP21872677.6A EP4129129A4 (en) 2020-09-25 2021-07-07 COOKING APPLIANCE AND ITS CONTROL METHOD
US17/429,836 US11856287B2 (en) 2020-09-25 2021-07-07 Cooking apparatus and controlling method thereof
PCT/KR2021/008669 WO2022065641A1 (ko) 2020-09-25 2021-07-07 조리 장치 및 그 제어 방법
CN202180040258.2A CN115666337A (zh) 2020-09-25 2021-07-07 烹饪设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200125099A KR20220041611A (ko) 2020-09-25 2020-09-25 조리 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220041611A true KR20220041611A (ko) 2022-04-01

Family

ID=80844612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200125099A KR20220041611A (ko) 2020-09-25 2020-09-25 조리 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US11856287B2 (ko)
EP (1) EP4129129A4 (ko)
KR (1) KR20220041611A (ko)
CN (1) CN115666337A (ko)
WO (1) WO2022065641A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551341B1 (ko) * 2022-05-18 2023-07-03 최정치 제조 과정 중 품질 저하를 방지하는 가공육의 제조 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114711644B (zh) * 2022-04-01 2023-09-22 广东美的厨房电器制造有限公司 烹饪装置的控制方法、控制装置、存储介质和烹饪装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464075B1 (ko) 2001-12-28 2004-12-30 엘지전자 주식회사 비디오 하이라이트 자동 생성 방법 및 장치
US10739013B2 (en) * 2015-05-05 2020-08-11 June Life, Inc. Tailored food preparation with an oven
JP6427766B2 (ja) 2015-06-11 2018-11-28 パナソニックＩｐマネジメント株式会社 画像と調理情報を関連付ける制御方法、装置及びプログラム
US11388788B2 (en) * 2015-09-10 2022-07-12 Brava Home, Inc. In-oven camera and computer vision systems and methods
US20170188741A1 (en) * 2015-12-31 2017-07-06 C. Douglass Thomas Method and System for Acquiring Cooking Information
KR102467319B1 (ko) * 2016-03-11 2022-11-16 삼성전자주식회사 오븐 및 그 제어방법
US10398260B2 (en) 2016-03-11 2019-09-03 Samsung Electronics Co., Ltd. Oven and control method thereof
KR20180015926A (ko) 2016-08-04 2018-02-14 엘지전자 주식회사 조리기기 및 그 제어방법
DE102016215550A1 (de) * 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Feststellen eines Bräunungsgrads von Gargut
US20180224150A1 (en) * 2017-02-08 2018-08-09 Walmart Apollo, Llc System for monitoring an open container
US11478766B2 (en) 2017-06-30 2022-10-25 Vita-Mix Management Corporation Intelligent blending system
WO2019128543A1 (en) 2017-12-30 2019-07-04 Midea Group Co., Ltd. Food preparation method and system based on ingredient recognition
KR20200030955A (ko) 2018-09-13 2020-03-23 삼성전자주식회사 조리 기기 및 이의 제어 방법
CN109491420A (zh) 2018-11-19 2019-03-19 珠海格力电器股份有限公司 根据颜色变化调整加热状态的烹饪器具、方法及控制方法
KR102342816B1 (ko) * 2019-03-06 2021-12-24 씨제이제일제당 (주) 레시피 제공 시스템 및 방법
KR102247820B1 (ko) 2019-04-26 2021-05-04 충북대학교 산학협력단 항균성 고분자 복합체 및 그 제조방법
KR20190105531A (ko) 2019-08-26 2019-09-17 엘지전자 주식회사 인공지능 기반 조리 제어 방법 및 지능형 디바이스
CN110806699A (zh) 2019-11-20 2020-02-18 广东美的厨房电器制造有限公司 烹饪设备的控制方法、装置、烹饪设备及存储介质
CN111083537B (zh) 2019-12-30 2022-02-01 纯米科技(上海)股份有限公司 烹饪视频生成方法及装置
KR20220040228A (ko) 2020-09-23 2022-03-30 엘지전자 주식회사 조리 기기 및 그의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551341B1 (ko) * 2022-05-18 2023-07-03 최정치 제조 과정 중 품질 저하를 방지하는 가공육의 제조 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Also Published As

Publication number Publication date
US20220311927A1 (en) 2022-09-29
WO2022065641A1 (ko) 2022-03-31
EP4129129A4 (en) 2023-11-08
EP4129129A1 (en) 2023-02-08
US11856287B2 (en) 2023-12-26
CN115666337A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US20200227089A1 (en) Method and device for processing multimedia information
US20130021512A1 (en) Framing of Images in an Image Capture Device
EP2977959A2 (en) Method and device for adjusting skin color
EP4129129A1 (en) Cooking apparatus and controlling method thereof
JP6335289B2 (ja) 画像フィルタを生成する方法及び装置
EP2685709A1 (en) Camera control system, mobile device having the system, and camera control method
JP4431547B2 (ja) 画像表示制御装置ならびにそれらの制御方法およびそれらの制御プログラム
JP2016537744A (ja) タッチスクリーン付きスマートフォン／カメラでのビデオ編集のためのジェスチャに基づいたインタラクティブなグラフィカルユーザインターフェイス
JP5854280B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9088730B2 (en) Shooting device, image processing method, and recording medium
US20160360713A1 (en) Methods and apparatus for adjusting plant growth environment
WO2016176954A1 (zh) 拍摄参数设置方法及装置
US20150163391A1 (en) Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium
US9591210B2 (en) Image processing face detection apparatus, method for controlling the same, and program
US10297057B2 (en) Image processing device and image processing method which process an image based on histogram data in the image
US9319591B2 (en) Display control device, display control method, program, and imaging apparatus
JP2016536647A (ja) テキスト色を生成するための色検出の方法及び装置
KR102209070B1 (ko) 동영상의 썸네일 영상을 제공하는 장치 및 방법
TWI595408B (zh) 電子元件及在其中進行操作的方法
CN111083537B (zh) 烹饪视频生成方法及装置
US20190142053A1 (en) Assisting apparatus for bean roasting and bean roasting apparatus
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
KR20150134822A (ko) 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치
KR101620537B1 (ko) 외부 표시 장치를 이용한 멀티 디스플레이 디지털 영상 처리 장치, 이의 동작 방법, 및 상기 방법을 실행하기 위한 프로그램을 기록한 기록매체
US11049527B2 (en) Selecting a recording mode based on available storage space

Legal Events

Date Code Title Description
A201 Request for examination