KR20220040228A

KR20220040228A - Cooking device and operating method thereof

Info

Publication number: KR20220040228A
Application number: KR1020200123165A
Authority: KR
Inventors: 남태헌; 박현우; 박윤식; 노경태; 송지현
Original assignee: 엘지전자 주식회사
Priority date: 2020-09-23
Filing date: 2020-09-23
Publication date: 2022-03-30

Abstract

A cooking appliance according to one embodiment of the present invention is configured to obtain a plurality of image frames for a food ingredient captured through a camera and index information of each of the plurality of image frames. Furthermore, the cooking appliance can generate profile information indicating index cooking videos having a playback time smaller than the total cooking time of the food ingredient and a change in the cooking state of the ingredient by using the plurality of image frames and the respective index information.

Description

Cooking device and its operating method {COOKING DEVICE AND OPERATING METHOD THEREOF}

본 개시(disclosure)는 조리 중, 식재료의 이미지를 캡쳐하여, 식재료에 대한 정보를 제공하는 동영상을 획득할 수 있는 조리 기기에 관한 것이다.The present disclosure relates to a cooking appliance capable of capturing an image of a food ingredient during cooking to obtain a video providing information about the ingredient.

오븐과 같은 열을 이용하는 조리 기기는 일상 생활에 있어서 필수적인 가전 제품이다. BACKGROUND ART A cooking appliance using heat, such as an oven, is an essential home appliance in daily life.

최근에는, 조리 기기 내부에 내장된 카메라를 통해, 조리 과정을 촬영하고, 촬영된 영상에 기반하여, 사용자는 음식물의 조리 상태를 확인할 수 있다.Recently, a cooking process is photographed through a camera built into the cooking appliance, and based on the captured image, a user can check the cooking state of food.

즉, 종래에는, 조리 영상 이미지를 실시간으로 또는 주기적으로, 캡쳐하는 방식으로, 조리 기기와 연동된 디스플레이 기기를 통하여 사용자가 조리 상태를 확인하거나, 해당 이미지를 저장하여 사용자가 조리 모드 설정 시 식재료 이미지를 기반으로 음식물의 조리를 참고하도록 했다.That is, in the prior art, in a method of capturing a cooking image image in real time or periodically, a user checks the cooking state through a display device interlocked with a cooking device, or stores the image to obtain an image of a food ingredient when the user sets the cooking mode Based on this, the cooking of food was referred to.

따라서, 종래에는, 조리 이력을 기반으로 조리 과정 중에 발생되는 관련 정보를 종합적으로 저장하거나, 참조 가능한 방법이 없었다.Therefore, in the prior art, there is no method for comprehensively storing or referencing related information generated during a cooking process based on a cooking history.

본 개시는 식재료의 조리 이력을 저장하여, 조리 과정 중에 발생된 관련 정보를 종합적으로 제공할 수 있는 조리 기기에 관한 것이다.The present disclosure relates to a cooking appliance capable of comprehensively providing related information generated during a cooking process by storing a cooking history of ingredients.

본 개시는 식재료의 조리 이력을 조리 상태, 조리 제어의 변화에 따라 제공할 수 있는 조리 기기에 관한 것이다.The present disclosure relates to a cooking appliance capable of providing a cooking history of a food ingredient according to a change in a cooking state and a cooking control.

본 개시는 조리 과정을 축약하는 동영상을 생성 시, 한정된 메모리의 저장 용량을 효율적으로 사용할 수 있는 조리 기기에 관한 것이다.The present disclosure relates to a cooking appliance capable of efficiently using a limited storage capacity of a memory when generating a video condensing a cooking process.

본 개시의 실시 예에 따른 조리 기기는 조리 기기는 카메라를 통해 촬영된 상기 식재료에 대한 복수의 이미지 프레임들 및 복수의 이미지 프레임들의 각각의 인덱스 정보를 획득하고, 상기 복수의 이미지 프레임들 및 상기 각각의 인덱스 정보를 이용하여, 상기 식재료의 총 조리 시간보다 작은 재생 시간을 갖는 인덱스 조리 동영상 및 상기 식재료의 조리 상태의 변화를 나타내는 프로파일 정보를 생성할 수 있다.In the cooking appliance according to an embodiment of the present disclosure, the cooking appliance acquires a plurality of image frames for the food material photographed through a camera and index information of each of the plurality of image frames, and the plurality of image frames and each of the plurality of image frames By using the index information of , it is possible to generate an index cooking video having a playback time shorter than the total cooking time of the ingredients and profile information indicating a change in the cooking state of the ingredients.

본 개시의 실시 예에 따른 조리 기기는 인덱스 조리 동영상을 제공하는 조리 영상 재생 화면 및 상기 프로파일 정보를 보여주는 프로파일 화면을 포함하는 조리 영상 화면을 출력할 수 있다.The cooking appliance according to an embodiment of the present disclosure may output a cooking image screen including a cooking image reproduction screen providing an index cooking video and a profile screen showing the profile information.

본 개시의 실시 예에 따른 조리 기기는 상기 복수의 이미지 프레임들의 용량이 상기 메모리의 최대 저장 용량에 도달한 경우, 캡쳐된 이미지 프레임들을 상기 제1 타임 갭과 동일한 주기를 갖는 삭제 주기에 따라 삭제하고, 상기 제1 타임 갭을 상기 제1 타임 갭보다 큰 제2 타임 갭으로 증가시킬 수 있다.In the cooking appliance according to an embodiment of the present disclosure, when the capacity of the plurality of image frames reaches the maximum storage capacity of the memory, the captured image frames are deleted according to a deletion period having the same period as the first time gap, and , the first time gap may be increased to a second time gap larger than the first time gap.

본 개시의 실시 예에 따르면, 사용자는 조리 과정을 압축하여 볼 수 있어,식재료의 조리 과정을 시청하는 시간을 절약할 수 있다. According to an embodiment of the present disclosure, the user can compress and view the cooking process, thereby saving time watching the cooking process of ingredients.

본 개시의 실시 예에 따르면, 사용자는 단순히, 조리 과정의 영상이 아닌, 조리 상태, 조리 제어에 대한 정보의 변화 추이도 손쉽게 확인할 수 있어, 조리 정보의 활용이 극대화될 수 있다.According to an embodiment of the present disclosure, the user can easily check not only an image of the cooking process, but also a change trend of information about a cooking state and cooking control, so that the use of cooking information can be maximized.

본 개시의 실시 예에 따르면, 저장 용량이 큰 메모리를 사용함이 없이, 조리 기기의 메모리를 효율적으로 사용할 수 있다.According to an embodiment of the present disclosure, it is possible to efficiently use the memory of the cooking appliance without using a memory having a large storage capacity.

도 1은 본 개시의 일 실시 예에 따른 조리 기기를 나타낸 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 조리기기의 사시도이다.
도 3은 도 2의 조리기기에서 도어가 열린 상태를 보여주는 사시도이다.
도 4는 본 개시의 일 실시 예에 따른 조리 기기의 동작 방법을 설명하는 흐름도이다.
도 5는 본 개시의 일 실시 예에 따른 이미지 프레임과 이미지 프레임에 매칭된 인덱스 정보를 설명하는 도면이다.
도 6 내지 도 8은 인덱스 정보의 변화에 기초하여, 인덱스 조리 동영상을 생성하는 과정을 설명하는 도면이다.
도 9 내지 도 11은 본 개시의 실시 예에 따라, 인덱스 조리 영상 내에서, 조리 이미지 및 인덱스 정보를 제공하는 예를 설명하는 도면들이다.
도 12 내지 14는 종래 기술의 방식에 따라 이미지 프레임들을 이용하여, 인덱스 조리 동영상을 생성하는 예를 설명하는 도면이고, 도 15는 본 개시의 실시 예에 따라 이미지 프레임들을 이용하여, 인덱스 조리 동영상을 생성하는 예를 설명하는 도면이다.1 is a block diagram illustrating a cooking appliance according to an embodiment of the present disclosure.
2 is a perspective view of a cooking appliance according to an embodiment of the present disclosure;
3 is a perspective view illustrating a state in which a door is opened in the cooking appliance of FIG. 2 .
4 is a flowchart illustrating a method of operating a cooking appliance according to an embodiment of the present disclosure.
5 is a diagram illustrating an image frame and index information matched to the image frame according to an embodiment of the present disclosure.
6 to 8 are diagrams for explaining a process of generating an index cooking video based on a change in index information.
9 to 11 are diagrams for explaining an example of providing a cooked image and index information within an index cooked image, according to an embodiment of the present disclosure.
12 to 14 are diagrams illustrating an example of generating an index cooking video using image frames according to a prior art method, and FIG. 15 is an index cooking video using image frames according to an embodiment of the present disclosure. It is a figure explaining the example to generate|occur|produce.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numbers regardless of reference numerals, and redundant description thereof will be omitted. The suffixes 'module' and 'part' for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present disclosure , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number such as 1st, 2nd, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being 'connected' or 'connected' to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is mentioned that a certain element is 'directly connected' or 'directly connected' to another element, it should be understood that the other element does not exist in the middle.

도 1은 본 개시의 일 실시 예에 따른 조리 기기를 나타낸 블록도이다. 1 is a block diagram illustrating a cooking appliance according to an embodiment of the present disclosure.

도 1을 참조하면, 조리 기기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170), 프로세서(180) 및 가열부(190)를 포함할 수 있다.Referring to FIG. 1 , a cooking appliance 100 includes a communication unit 110 , an input unit 120 , a running processor 130 , a sensing unit 140 , an output unit 150 , a memory 170 , a processor 180 and A heating unit 190 may be included.

통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치나 AI 서버 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.The communication unit 110 may transmit/receive data to and from external devices such as another AI device or an AI server using wired/wireless communication technology. For example, the communication unit 110 may transmit and receive sensor information, a user input, a learning model, a control signal, and the like with external devices.

이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.In this case, the communication technology used by the communication unit 110 includes GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity) ), Bluetooth™, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, NFC (Near Field Communication), and the like.

통신부(110)는 통신 모뎀(communication modem) 또는 통신 회로(communication circuit)라고도 칭할 수 있다.The communication unit 110 may also be referred to as a communication modem or a communication circuit.

입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.The input unit 120 may acquire various types of data.

이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.In this case, the input unit 120 may include a camera for inputting an image signal, a microphone for receiving an audio signal, a user input unit for receiving information from a user, and the like. Here, by treating the camera or the microphone as a sensor, a signal obtained from the camera or the microphone may be referred to as sensing data or sensor information.

입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.The input unit 120 may acquire training data for model training and input data to be used when acquiring an output using the training model. The input unit 120 may acquire raw input data, and in this case, the processor 180 or the learning processor 130 may extract an input feature by preprocessing the input data.

입력부(120)는 영상 신호 입력을 위한 카메라(Camera, 121), 오디오 신호를 수신하기 위한 마이크로폰(Microphone, 122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(User Input Unit, 123)를 포함할 수 있다. The input unit 120 may include a camera 121 for inputting an image signal, a microphone 122 for receiving an audio signal, and a user input unit 123 for receiving information from a user. there is.

입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.The voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.

입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 조리 기기(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.The input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user. Cameras 121 may be provided.

카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(Display Unit, 151)에 표시되거나 메모리(170)에 저장될 수 있다.The camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a shooting mode. The processed image frame may be displayed on the display unit 151 or stored in the memory 170 .

마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 조리 기기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.The microphone 122 processes an external sound signal as electrical voice data. The processed voice data may be utilized in various ways according to a function (or a running application program) being performed by the cooking appliance 100 . Meanwhile, various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be applied to the microphone 122 .

사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 프로세서(180)는 입력된 정보에 대응되도록 조리 기기(100)의 동작을 제어할 수 있다. The user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123 , the processor 180 may control the operation of the cooking appliance 100 to correspond to the input information. .

사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예컨대, 조리 기기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.The user input unit 123 is a mechanical input means (or a mechanical key, for example, a button located on the front/rear or side of the cooking appliance 100 , a dome switch, a jog wheel, a jog switch, etc.) and a touch input means. As an example, the touch input means consists of a virtual key, a soft key, or a visual key displayed on the touch screen through software processing, or a part other than the touch screen. It may be made of a touch key (touch key) disposed on the.

러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.The learning processor 130 may train a model composed of an artificial neural network by using the training data. Here, the learned artificial neural network may be referred to as a learning model. The learning model may be used to infer a result value with respect to new input data other than the training data, and the inferred value may be used as a basis for a decision to perform a certain operation.

이때, 러닝 프로세서(130)는 AI 서버의 러닝 프로세서과 함께 AI 프로세싱을 수행할 수 있다.In this case, the learning processor 130 may perform AI processing together with the running processor of the AI server.

이때, 러닝 프로세서(130)는 조리 기기(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), 조리 기기(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.In this case, the running processor 130 may include a memory integrated or implemented in the cooking appliance 100 . Alternatively, the running processor 130 may be implemented using the memory 170 , an external memory directly coupled to the cooking appliance 100 , or a memory maintained in an external device.

센싱부(140)는 다양한 센서들을 이용하여 조리 기기(100) 내부 정보, 조리 기기(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.The sensing unit 140 may acquire at least one of internal information of the cooking appliance 100 , information on the surrounding environment of the cooking appliance 100 , and user information by using various sensors.

이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.At this time, sensors included in the sensing unit 140 include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and a lidar. , radar, etc.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. The output unit 150 may generate an output related to sight, hearing, or touch.

이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.In this case, the output unit 150 may include a display unit that outputs visual information, a speaker that outputs auditory information, and a haptic module that outputs tactile information.

출력부(150)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다. The output unit 150 includes at least one of a display unit (Display Unit, 151), a sound output unit (Sound Output Unit, 152), a haptic module (Haptic Module, 153), and an optical output unit (Optical Output Unit, 154) can do.

디스플레이부(151)는 조리 기기(100)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(151)는 조리 기기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. The display unit 151 displays (outputs) information processed by the cooking appliance 100 . For example, the display unit 151 may display information on an execution screen of an application program driven in the cooking appliance 100 , or user interface (UI) and graphic user interface (GUI) information according to the information on the execution screen.

디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 조리 기기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The display unit 151 may implement a touch screen by forming a layer structure with the touch sensor or being integrally formed. Such a touch screen may function as the user input unit 123 providing an input interface between the cooking appliance 100 and the user, and may provide an output interface between the terminal 100 and the user.

음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. The sound output unit 152 may output audio data received from the communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.

음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.The sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.

햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.The haptic module 153 generates various tactile effects that the user can feel. A representative example of the tactile effect generated by the haptic module 153 may be vibration.

광출력부(154)는 조리 기기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 조리 기기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.The light output unit 154 outputs a signal for notifying the occurrence of an event by using the light of the light source of the cooking appliance 100 . Examples of the event occurring in the cooking appliance 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.

메모리(170)는 조리 기기(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.The memory 170 may store data supporting various functions of the cooking appliance 100 . For example, the memory 170 may store input data obtained from the input unit 120 , learning data, a learning model, a learning history, and the like.

프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 조리 기기(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 조리 기기(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.The processor 180 may determine at least one executable operation of the cooking appliance 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. In addition, the processor 180 may control the components of the cooking appliance 100 to perform the determined operation.

이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 조리 기기(100)의 구성 요소들을 제어할 수 있다.To this end, the processor 180 may request, search, receive, or utilize the data of the learning processor 130 or the memory 170, and may perform a predicted operation or an operation determined to be desirable among the at least one executable operation. It is possible to control the components of the cooking appliance 100 to be executed.

이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.In this case, when the connection of the external device is required to perform the determined operation, the processor 180 may generate a control signal for controlling the corresponding external device and transmit the generated control signal to the corresponding external device.

프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.The processor 180 may obtain intention information with respect to a user input, and determine a user's requirement based on the obtained intention information.

이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다. In this case, the processor 180 uses at least one of a speech to text (STT) engine for converting a voice input into a character string or a natural language processing (NLP) engine for obtaining intention information of a natural language, Intention information corresponding to the input may be obtained.

이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버의 러닝 프로세서에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.At this time, at least one of the STT engine and the NLP engine may be configured as an artificial neural network, at least a part of which is learned according to a machine learning algorithm. And, at least one or more of the STT engine or the NLP engine may be learned by the learning processor 130, learned by the learning processor of the AI server, or learned by distributed processing thereof.

프로세서(180)는 조리 기기(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.The processor 180 collects history information including user feedback on the operation contents or operation of the cooking appliance 100 and stores it in the memory 170 or the learning processor 130, or to an external device such as an AI server. can be transmitted The collected historical information may be used to update the learning model.

프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 조리 기기(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, 조리 기기(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.The processor 180 may control at least some of the components of the cooking appliance 100 in order to drive an application program stored in the memory 170 . Furthermore, in order to drive the application program, the processor 180 may operate two or more of the components included in the cooking appliance 100 in combination with each other.

가열부(190)는 공급되는 에너지를 이용하여 열을 발생시킬 수 있다. The heating unit 190 may generate heat by using supplied energy.

가열부(190)는 공급되는 전기를 이용하여 열을 발생시키고, 발생시킨 열을 이용하여 조리 기기(100)의 내부를 가열시킬 수 있다. The heating unit 190 may generate heat using supplied electricity, and heat the inside of the cooking appliance 100 using the generated heat.

가열부(190)는 조리실(12)의 내부에 구비될 수 있다. 가열부(190)는 조리실(12)의 측단 또는 하단에 배치될 수 있다.The heating unit 190 may be provided inside the cooking chamber 12 . The heating unit 190 may be disposed at a side end or a lower end of the cooking chamber 12 .

가열부(190)는 전기 에너지를 열 에너지로 변환하는 회로를 포함할 수 있다.The heating unit 190 may include a circuit that converts electrical energy into thermal energy.

이하에서, 조리 기기(100)는 인공 지능 조리 기기(100) 또는 인공 지능 오븐(oven)이라 칭할 수도 있다.Hereinafter, the cooking appliance 100 may be referred to as an artificial intelligence cooking appliance 100 or an artificial intelligence oven.

또한, 조리 기기(100)가 벽에 부착된 형태로 구비되는 경우, 월 오븐(Wall Oven)이라 명명될 수 있다.Also, when the cooking appliance 100 is provided in a form attached to a wall, it may be called a wall oven.

도 2는 본 개시의 일 실시 예에 따른 조리기기의 사시도이고, 도 3은 도 2의 조리기기에서 도어가 열린 상태를 보여주는 사시도이다.FIG. 2 is a perspective view of a cooking appliance according to an embodiment of the present disclosure, and FIG. 3 is a perspective view illustrating a state in which the door is opened in the cooking appliance of FIG. 2 .

조리 기기(100)는, 내부에 각종 부품을 수용하는 본체(10)를 포함할 수 있다. The cooking appliance 100 may include a body 10 accommodating various parts therein.

본체(10)는, 조리실(12)을 형성하는 내측 프레임(11)과, 내측 프레임(11)의 외측에서 내측 프레임(11)을 둘러싸는 외측 프레임(14)을 포함할 수 있다. The body 10 may include an inner frame 11 forming the cooking chamber 12 and an outer frame 14 surrounding the inner frame 11 from the outside of the inner frame 11 .

내측 프레임(11)의 상단부에는 카메라(121)가 구비될 수 있다. 카메라(121)는 조리실(12)을 촬영할 수 있다. 촬영된 이미지는 조리 중인 식재료를 인식하는데 사용될 수 있다.A camera 121 may be provided at an upper end of the inner frame 11 . The camera 121 may photograph the cooking chamber 12 . The captured image may be used to recognize the food being cooked.

내측 프레임(11)의 전단부에는 본체 패널(16)이 구비될 수 있다. A body panel 16 may be provided at the front end of the inner frame 11 .

본체 패널(16)은 상기 내측 프레임(11)의 전단부에 결합되거나 전단부와 일체로 형성될 수 있다. The body panel 16 may be coupled to the front end of the inner frame 11 or may be formed integrally with the front end.

도어(20)는, 본체(10)에 힌지 기구(450)에 의해서 회전 가능하게 연결될 수 있다. The door 20 may be rotatably connected to the body 10 by a hinge mechanism 450 .

일 예로 도어(20)의 하단에 힌지 기구(450)가 연결될 수 있다. For example, the hinge mechanism 450 may be connected to the lower end of the door 20 .

조리실(12)로 공급된 열에 의한 온도 상승을 최소화하기 위하여, 도어(20) 외부의 공기는 도어(20) 내부로 유동할 수 있다. In order to minimize the temperature rise due to the heat supplied to the cooking chamber 12 , air outside the door 20 may flow into the door 20 .

따라서, 도어(20)는 도어(20) 내부를 유동한 공기가 배출되는 도어 공기 출구(21)를 포함하고, 상기 본체(10)는 상기 도어 공기 출구(21)를 통해 배출된 공기가 유입되는 본체 공기 입구(17)를 포함할 수 있다. Accordingly, the door 20 includes a door air outlet 21 through which the air flowing through the door 20 is discharged, and the main body 10 includes a door air outlet 21 through which the air discharged through the door air outlet 21 is introduced. It may include a body air inlet 17 .

본체 공기 입구(17)는 본체 패널(16)에 형성될 수 있다. The body air inlet 17 may be formed in the body panel 16 .

또한, 본체 공기 입구(17)를 통해 본체(10)로 유입된 공기는 상기 본체(10)를 유동한 후에 본체 공기 출구(18)를 통해 본체(10)의 외부로 배출될 수 있다. In addition, the air introduced into the main body 10 through the main body air inlet 17 may be discharged to the outside of the main body 10 through the main body air outlet 18 after flowing through the main body 10 .

본체 공기 출구(18)도 본체 패널(16)에 형성될 수 있다. A body air outlet 18 may also be formed in the body panel 16 .

도어(20)는 컨트롤 장치(300)를 더 포함할 수 있다. The door 20 may further include a control device 300 .

컨트롤 장치(300)는 제한적이지는 않으나, 도어(20)에서 상측부에 위치되고, 도어(20)가 닫힌 상태에서 본체 패널(16) 중에서 조리실(12)의 상측에 위치되는 부분과 마주보도록 위치될 수 있다. The control device 300 is not limited, but is located on the upper side of the door 20 and is positioned to face a portion located above the cooking chamber 12 among the body panel 16 in a state where the door 20 is closed. can be

컨트롤 장치(300)는, 디스플레이부(151)와 사용자 입력부(123) 중 하나 이상을 포함할 수 있다. The control device 300 may include at least one of a display unit 151 and a user input unit 123 .

디스플레이부(151)는 터치 입력을 수신할 수 있는 터치 스크린의 형태로 구현될 수 있다.The display unit 151 may be implemented in the form of a touch screen capable of receiving a touch input.

컨트롤 장치(300)를 통해서 조리 기기(100)의 작동 정보를 표시 및/또는 사용자의 작동 명령을 입력받을 수 있다. Operation information of the cooking appliance 100 may be displayed and/or an operation command from a user may be input through the control device 300 .

도 4는 본 개시의 일 실시 예에 따른 조리 기기의 동작 방법을 설명하는 흐름도이다.4 is a flowchart illustrating a method of operating a cooking appliance according to an embodiment of the present disclosure.

특히, 도 4는 조리 중 식재료의 이미지들을 촬영하고, 촬영된 이미지들에 기반하여, 조리 정보를 제공할 수 있는 동영상을 제공할 수 있는 조리 기기(100)의 동작 방법을 설명하는 도면이다.In particular, FIG. 4 is a view for explaining an operating method of the cooking appliance 100 capable of capturing images of food ingredients during cooking and providing a moving picture capable of providing cooking information based on the captured images.

도 4를 참조하면, 조리 기기(100)의 프로세서(180)는 카메라(121)를 통해 조리실(12)에 배치된 식재료의 이미지 프레임 및 이미지 프레임에 상응하는 인뎃스 정보를 획득한다(S401). Referring to FIG. 4 , the processor 180 of the cooking appliance 100 acquires an image frame of the food material disposed in the cooking chamber 12 through the camera 121 and index information corresponding to the image frame ( S401 ).

프로세서(180)는 사용자 입력부(123) 또는 디스플레이부(151)를 통해 조리 개시 명령을 수신한 경우, 조리 기기(100)에 탑재된 카메라(121)를 통해 조리실(12)의 내부를 촬영하고, 촬영된 이미지를 획득할 수 있다.When receiving a cooking start command through the user input unit 123 or the display unit 151, the processor 180 photographs the inside of the cooking chamber 12 through the camera 121 mounted on the cooking appliance 100, A photographed image can be acquired.

프로세서(180)는 식재료의 조리 개시 명령을 수신하고, 조리 개시 명령을 수신한 시점부터, 카메라(121)의 동작을 온 시킬 수 있다.The processor 180 may receive a cooking start command of a food ingredient, and may turn on the camera 121 from the point in time when the cooking start command is received.

프로세서(180)는 카메라(121)를 통해 식재료에 대한 이미지 프레임을 실시간으로 캡쳐할 수 있다.The processor 180 may capture an image frame of the food material in real time through the camera 121 .

프로세서(180)는 카메라(121)를 통해 식재료에 대한 이미지 프레임을 주기적으로 캡쳐할 수 있다.The processor 180 may periodically capture an image frame of the food material through the camera 121 .

또 다른 실시 예에서, 프로세서(180)는 조리 이벤트가 발생한 경우에만, 식재료를 촬영하여, 이미지 프레임을 획득할 수 있다. 프로세서(180)는 식재료의 조리 온도, 식재료의 색상, 식재료의 형태 중 하나 이상이 변화된 경우, 조리 이벤트가 발생한 것으로 판단할 수 있다.In another embodiment, the processor 180 may acquire an image frame by photographing a food ingredient only when a cooking event occurs. The processor 180 may determine that a cooking event has occurred when one or more of the cooking temperature of the food, the color of the food, and the shape of the food is changed.

인덱스 정보는 특정 시점의 식재료의 조리에 대한 정보로, 캡쳐된 이미지 프레임을 인덱싱하는 정보일 수 있다.The index information is information on cooking of a food ingredient at a specific time, and may be information for indexing a captured image frame.

인덱스 정보는 조리 제어 정보 및 조리 상태 정보를 포함할 수 있다.The index information may include cooking control information and cooking state information.

조리 제어 정보는 식재료의 조리 제어와 관련된 정보로, 식재료의 조리 온도, 이미지 프레임의 촬영 시점, 가열 총량 중 하나 이상을 포함할 수 있다.The cooking control information is information related to cooking control of the food material, and may include one or more of a cooking temperature of the food material, a photographing time of an image frame, and a total amount of heating.

식재료의 조리 온도는 이미지 프레임의 캡쳐 시점에서 측정된 온도일 수 있다.The cooking temperature of the food material may be a temperature measured at the time of capturing the image frame.

이미지 프레임의 촬영 시점은 조리 개시 후, 카메라(121)가 이미지 프레임을 촬영한 시점일 수 있다.The imaging time of the image frame may be a time when the camera 121 captures the image frame after cooking is started.

가열 총량은 식재료의 조리 개시 시점부터, 식재료를 촬영한 시점 까지 식재료에 가해진 열량을 나타낼 수 있다.The total amount of heating may represent the amount of heat applied to the food material from the start of cooking of the food material to the time the food material is photographed.

조리 상태 정보는 식재료의 상태를 나타내는 정보일 수 있다.The cooking state information may be information indicating the state of the ingredients.

조리 상태 정보는 식재료의 색상 변화, 식재료의 형태 변화, 식재료의 상태 변화를 나타내는 정보를 포함할 수 있다.The cooking state information may include information indicating a change in color of a food ingredient, a change in a shape of the ingredient, and a change in the state of the ingredient.

식재료의 색상 변화, 식재료의 형태 변화 및 식재료의 상태 변화 각각은 복수의 단계들로 구분될 수 있다.Each of the color change of the food material, the change in the shape of the food material, and the change in the state of the food material may be divided into a plurality of steps.

이에 대해서는, 도 5를 참조하여 설명한다.This will be described with reference to FIG. 5 .

도 5는 본 개시의 일 실시 예에 따른 이미지 프레임과 이미지 프레임에 매칭된 인덱스 정보를 설명하는 도면이다.5 is a view for explaining an image frame and index information matched to the image frame according to an embodiment of the present disclosure.

도 5를 참조하면, 제1 이미지 프레임(501) 및 제1 이미지 프레임(501)에 대응하는 제1 인덱스 정보(511), 제2 이미지 프레임(503) 및 제2 이미지 프레임(503)에 대응하는 제2 인덱스 정보(513), 제3 이미지 프레임(505) 및 제3 이미지 프레임(505)에 대응하는 제3 인덱스 정보(515)가 도시되어 있다.Referring to FIG. 5 , a first image frame 501 , first index information 511 corresponding to the first image frame 501 , a second image frame 503 , and a second image frame 503 corresponding to the second image frame 503 . The second index information 513 , the third image frame 505 , and the third index information 515 corresponding to the third image frame 505 are shown.

프로세서(180)는 각 이미지 프레임을 카메라(121)를 통해 캡쳐한 시점에 이미지 프레임에 상응하는 인덱스 정보를 획득할 수 있다.The processor 180 may acquire index information corresponding to the image frame at a time point at which each image frame is captured by the camera 121 .

프로세서(180)는 이미지 프레임을 캡쳐한 시점에 측정된 조리실(12)의 내부 온도를 조리 온도로 획득할 수 있다.The processor 180 may acquire the internal temperature of the cooking chamber 12 measured at the time of capturing the image frame as the cooking temperature.

프로세서(180)는 측정된 온도와 조리 개시 시점부터, 이미지 프레임의 캡쳐 시점까지의 시간 간격 간의 곱을 통해 가열 총량을 획득할 수 있다.The processor 180 may obtain the total amount of heating by multiplying the measured temperature and the time interval from the start of cooking to the capture time of the image frame.

프로세서(180)는 촬영된 식재료의 이미지 프레임을 분석하여, 식재료의 컬러를 결정할 수 있다. 프로세서(180)는 최초 촬영된 식재료의 이미지를 통해 얻어진 컬러를 기반으로, 색상 변화가 어느 정도 일어났는지를 결정할 수 있다.The processor 180 may analyze the image frame of the photographed food material to determine the color of the food material. The processor 180 may determine to what extent the color change has occurred based on the color obtained through the image of the first photographed food material.

프로세서(180)는 RGB 값의 변화에 기반하여, 기 설정된 값 이상 변화된 경우, 색상 변화가 발생된 것으로 판단할 수 있다.Based on the change in the RGB value, the processor 180 may determine that a color change has occurred when a preset value or more is changed based on the change in the RGB value.

프로세서(180)는 식재료의 이미지 프레임을 분석하여, 식재료의 형태 변화를 결정할 수 있다. 프로세서(180)는 식재료의 이미지 프레임을 통해 식재료가 차지하는 영역을 획득하고, 획득된 영역의 크기가 기 설정된 크기만큼 변경되는 경우, 형태 변화가 발생한 것으로 판단할 수 있다.The processor 180 may analyze the image frame of the food material to determine a change in the shape of the food material. The processor 180 obtains the area occupied by the food material through the image frame of the food material, and when the size of the obtained area is changed by a preset size, it may be determined that the shape change has occurred.

다시, 도 4를 설명한다.Again, FIG. 4 will be described.

프로세서(180)는 각 이미지 프레임에 인덱스 정보를 매칭시켜, 저장한다(S403).The processor 180 matches index information to each image frame and stores it (S403).

프로세서(180)는 캡쳐된 이미지 프레임에 획득된 인덱스 정보를 매칭시켜 메모리(170)에 저장할 수 있다.The processor 180 may match the obtained index information with the captured image frame and store it in the memory 170 .

프로세서(180)는 식재료의 조리가 종료되었는지를 판단한다(S405).The processor 180 determines whether or not cooking of the food material is finished (S405).

프로세서(180)는 사용자 입력에 따라 설정된 조리 시간에 도달한 경우, 식재료의 조리가 종료된 것으로 판단할 수 있다.When the cooking time set according to the user input is reached, the processor 180 may determine that the cooking of the food material is finished.

프로세서(180)는 식재료의 조리가 종료된 경우, 각 이미지 프레임의 인덱스 정보와 각 이미지 프레임에 기초하여, 인덱스 조리 동영상을 획득한다(S407).When the cooking of the ingredients is finished, the processor 180 acquires an index cooking video based on index information of each image frame and each image frame ( S407 ).

프로세서(180)는 복수의 이미지 프레임들 및 복수의 이미지 프레임들 각각의 인덱스 정보를 이용하여, 인덱스 조리 동영상을 생성할 수 있다.The processor 180 may generate an index cooking video by using the plurality of image frames and index information of each of the plurality of image frames.

프로세서(180)는 식재료의 총 조리 시간보다 작은 재생 시간을 갖는 인덱스 조리 동영상을 생성할 수 있다.The processor 180 may generate an index cooking video having a playback time smaller than the total cooking time of the ingredients.

프로세서(180)는 인덱스 정보의 변화에 기초하여, 인덱스 조리 동영상을 획득할 수 있다.The processor 180 may acquire an index cooking video based on a change in index information.

프로세서(180)는 제1 이미지 프레임의 제1 인덱스 정보에 포함된 값과 제1 이미지 프레임을 뒤따르는 제2 이미지 프레임의 제2 인덱스 정보에 포함된 값 간의 차이가 일정 값 이상인 경우, 제2 이미지 프레임을 인덱스 조리 동영상을 생성하는데 사용할 수 있다.When the difference between the value included in the first index information of the first image frame and the value included in the second index information of the second image frame following the first image frame is equal to or greater than a predetermined value, the processor 180 determines whether the second image Frames can be used to create indexed cooking videos.

프로세서(180)는 제1 인덱스 정보에 포함된 값과 제2 인덱스 정보에 포함된 값 간의 차이가 일정 값 미만인 경우, 제2 이미지 프레임을 삭제할 수 있다.When the difference between the value included in the first index information and the value included in the second index information is less than a predetermined value, the processor 180 may delete the second image frame.

일 실시 예에서, 프로세서(180)는 식재료의 조리 온도를 이용하여, 인덱스 조리 동영상을 획득할 수 있다. 구체적으로, 프로세서(180)는 식재료의 조리 온도 변화에 기초하여, 인덱스 조리 동영상을 획득할 수 있다.In an embodiment, the processor 180 may obtain an index cooking video by using the cooking temperature of the food ingredient. Specifically, the processor 180 may acquire an index cooking video based on a change in the cooking temperature of the food material.

또 다른 실시 예에서, 프로세서(180)는 식재료의 색상 변화에 기초하여, 인덱스 조리 동영상을 획득할 수 있다.In another embodiment, the processor 180 may acquire an index cooking video based on a color change of a food ingredient.

또 다른 실시 예에서, 프로세서(180)는 식재료의 형태 변화에 기초하여, 인덱스 조리 동영상을 획득할 수 있다.In another embodiment, the processor 180 may acquire an index cooking video based on a change in the shape of the food ingredient.

이에 대해서는, 도 6 내지 도 8을 참조하여 설명한다.This will be described with reference to FIGS. 6 to 8 .

도 6 내지 도 8은 인덱스 정보의 변화에 기초하여, 인덱스 조리 동영상을 생성하는 과정을 설명하는 도면이다.6 to 8 are diagrams for explaining a process of generating an index cooking video based on a change in index information.

특히, 도 6은 식재료의 조리 온도의 변화에 기초하여, 동영상을 생성하는 과정을 설명하는 도면이고, 도 7은 식재료의 색상 변화에 기초하여, 동영상을 생성하는 과정을 설명하는 도면이고, 도 8은 식재료의 형태 변화에 기초하여, 동영상을 생성하는 과정을 설명하는 도면이다.In particular, FIG. 6 is a diagram for explaining a process of generating a moving image based on a change in the cooking temperature of a food ingredient, FIG. 7 is a view for explaining a process for generating a moving image based on a color change of a food ingredient, and FIG. 8 is a diagram for explaining a process of generating a video based on a change in the shape of a food ingredient.

먼저, 도 6을 설명한다.First, FIG. 6 will be described.

프로세서(180)는 조리 기간 동안 촬영된 복수의 이미지 프레임들 각각의 인덱스 정보에 포함된 조리 온도에 기초하여, 인덱스 조리 동영상을 생성할 수 있다.The processor 180 may generate an index cooking video based on a cooking temperature included in index information of each of a plurality of image frames captured during the cooking period.

예를 들어, 제1 온도 범위의 조리 온도로 인덱스된 이미지 프레임들은 제1 이미지 프레임 그룹(600-1)으로 분류될 수 있다. 마찬가지로, 제2 온도 범위의 조리 온도로 인덱스된 이미지 프레임들은 제2 이미지 프레임 그룹(600-2)으로 분류될 수 있다.For example, image frames indexed by the cooking temperature in the first temperature range may be classified into the first image frame group 600 - 1 . Similarly, image frames indexed by the cooking temperature of the second temperature range may be classified into the second image frame group 600 - 2 .

이와 같은 방식으로, 제n 온도 범위의 조리 온도로 인덱스된 이미지 프레임들은 제n 이미지 프레임 그룹(600-n)으로 분류될 수 있다.In this way, the image frames indexed by the cooking temperature of the n-th temperature range may be classified into the n-th image frame group 600 - n.

각 이미지 프레임 그룹으로 분류되는 과정에서, 일부 이미지 프레임들은 저장 용량을 절약하기 위해 삭제될 수 있다.In the process of being classified into each image frame group, some image frames may be deleted to save storage capacity.

연속된 온도 범위들 간의 경계 간 온도 차이는 기 설정된 온도 이상일 수 있다.A temperature difference between boundaries between consecutive temperature ranges may be greater than or equal to a preset temperature.

예를 들어, 제1 온도 범위와 제2 온도 범위 간의 경계 간 온도 차이는 기 설정된 온도 이상일 수 있다.For example, the temperature difference between the boundary between the first temperature range and the second temperature range may be equal to or greater than a preset temperature.

기 설정된 온도는 10도일 수 있으나, 이는 예시에 불과하다.The preset temperature may be 10 degrees, but this is only an example.

이와 같이, 프로세서(180)는 캡쳐된 복수의 이미지 프레임들을 조리 온도의 변화에 따라 복수의 이미지 프레임 그룹들로, 압축하고, 압축된 이미지 프레임 그룹들을 통해 온도 인덱스에 따른 동영상(610)을 생성할 수 있다.In this way, the processor 180 compresses a plurality of captured image frames into a plurality of image frame groups according to a change in the cooking temperature, and generates a video 610 according to a temperature index through the compressed image frame groups. can

본 개시의 또 다른 실시 예에 따르면, 도 6의 실시 예와는 달리, 캡쳐된 모든 복수의 이미지 프레임들을 조합하여, 동영상을 생성할 수도 있다.According to another embodiment of the present disclosure, unlike the embodiment of FIG. 6 , a moving picture may be generated by combining all the plurality of captured image frames.

다음으로, 도 7을 설명한다.Next, FIG. 7 will be described.

도 7을 참조하면, 프로세서(180)는 조리 기간 동안 촬영된 복수의 이미지 프레임들 각각의 인덱스 정보에 포함된 색상 정보에 기초하여, 인덱스 조리 동영상을 생성할 수 있다.Referring to FIG. 7 , the processor 180 may generate an index cooking video based on color information included in index information of each of a plurality of image frames captured during a cooking period.

색상 정보는 이미지 프레임에 포함된 기준 영역의 RGB 값(0부터 255)을 포함할 수 있다.The color information may include RGB values (0 to 255) of the reference region included in the image frame.

예를 들어, 제1 컬러 값 범위로 인덱스된 이미지 프레임들은 제1 이미지 프레임 그룹(700-1)으로 분류될 수 있다. 마찬가지로, 제2 컬러 값 범위의 조리 온도로 인덱스된 이미지 프레임들은 제2 이미지 프레임 그룹(700-2)으로 분류될 수 있다.For example, image frames indexed by the first color value range may be classified into the first image frame group 700 - 1 . Similarly, image frames indexed by the cooking temperature of the second color value range may be classified into the second image frame group 700 - 2 .

연속된 컬러 값 범위들 간의 경계 간 컬러 값 차이는 기 설정된 값 이상일 수 있다.A color value difference between boundaries between consecutive color value ranges may be greater than or equal to a preset value.

예를 들어, 제1 컬러 값 범위와 제2 컬러 값 범위 간의 경계 간 값의 차이는 기 설정된 값 이상일 수 있다.For example, a difference between a boundary between the first color value range and the second color value range may be greater than or equal to a preset value.

기 설정된 값은 5일 수 있으나, 이는 예시에 불과한 수치이다.The preset value may be 5, but this is only an example.

이와 같은 방식으로, 제n 컬러 값 범위로 인덱스된 이미지 프레임들은 제n 이미지 프레임 그룹(700-n)으로 분류될 수 있다.In this way, image frames indexed by the n-th color value range may be classified into the n-th image frame group 700 - n.

이와 같이, 프로세서(180)는 캡쳐된 복수의 이미지 프레임들을 색상의 변화에 따라 복수의 이미지 프레임 그룹들로, 압축하고, 압축된 이미지 프레임 그룹들을 통해 색상 인덱스에 따른 동영상(710)을 생성할 수 있다.In this way, the processor 180 compresses a plurality of captured image frames into a plurality of image frame groups according to a change in color, and generates a video 710 according to a color index through the compressed image frame groups. there is.

다음으로, 도 8을 설명한다.Next, FIG. 8 will be described.

도 8을 참조하면, 프로세서(180)는 조리 기간 동안 촬영된 복수의 이미지 프레임들 각각의 인덱스 정보에 포함된 형태 정보에 기초하여, 인덱스 조리 동영상을 생성할 수 있다.Referring to FIG. 8 , the processor 180 may generate an index cooking video based on shape information included in index information of each of a plurality of image frames captured during a cooking period.

형태 정보는 이미지 프레임에 포함된 식재료가 차지하는 영역의 크기를 포함할 수 있다.The shape information may include a size of an area occupied by food ingredients included in the image frame.

예를 들어, 제1 형태 범위로 인덱스된 이미지 프레임들은 제1 이미지 프레임 그룹(800-1)으로 분류될 수 있다. 제1 형태 범위는 식재료가 차지하는 영역의 크기가 제1 크기 범위에 있음을 의미할 수 있다.For example, image frames indexed by the first shape range may be classified into the first image frame group 800 - 1 . The first shape range may mean that the size of the region occupied by the food material is within the first size range.

마찬가지로, 제2 형태 범위로 인덱스된 이미지 프레임들은 제2 이미지 프레임 그룹(800-2)으로 분류될 수 있다.Similarly, image frames indexed by the second shape range may be classified into the second image frame group 800 - 2 .

연속된 형태 범위들 간의 경계 간 영역 크기의 차이는 기 설정된 값 이상일 수 있다.A difference in area size between boundaries between consecutive shape ranges may be greater than or equal to a preset value.

예를 들어, 제1 형태 범위와 제2 형태 범위 간의 경계 간 값의 차이는 기 설정된 값 이상일 수 있다.For example, a difference in values between the boundaries between the first shape range and the second shape range may be greater than or equal to a preset value.

이와 같은 방식으로, 제n 형태 범위로 인덱스된 이미지 프레임들은 제n 이미지 프레임 그룹(800-n)으로 분류될 수 있다.In this way, the image frames indexed by the n-th shape range may be classified into the n-th image frame group 800 - n.

이와 같이, 프로세서(180)는 캡쳐된 복수의 이미지 프레임들을 색상의 변화에 따라 복수의 이미지 프레임 그룹들로, 압축하고, 압축된 이미지 프레임 그룹들을 통해 형태 인덱스에 따른 동영상(810)을 생성할 수 있다.In this way, the processor 180 compresses a plurality of captured image frames into a plurality of image frame groups according to a color change, and generates a moving picture 810 according to a shape index through the compressed image frame groups. there is.

다시, 도 4를 설명한다.Again, FIG. 4 will be described.

프로세서(180)는 검색 명령을 수신함에 따라 검색 명령에 상응하는 재생 시점의 이미지 및 인덱스 정보를 디스플레이부(151) 상에 표시한다(S409).Upon receiving the search command, the processor 180 displays the image and index information of the playback time corresponding to the search command on the display unit 151 (S409).

일 실시 예에서, 검색 명령은 생성된 인덱스 조리 동영상 중 특정 재생 시점의 이미지를 검색하기 위한 명령일 수 있다.According to an embodiment, the search command may be a command for searching for an image at a specific playback point in the generated index cooking video.

검색 명령은 마이크로폰(122)을 통해, 음성의 형태로 수신될 수 있다.The search command may be received in the form of a voice through the microphone 122 .

또 다른 예로, 프로세서(180)는 디스플레이부(151)를 통한 터치 입력을 통해 검색 명령을 수신할 수 있다.As another example, the processor 180 may receive a search command through a touch input through the display unit 151 .

검색 명령은 디스플레이부(151) 상에 표시된 재생 가이드 바를 통해 수신될 수도 있다.The search command may be received through a play guide bar displayed on the display unit 151 .

인덱스 정보는 해당 재생 시점에 대한 조리 전반에 대한 정보를 포함할 수 있다.The index information may include information on overall cooking for the corresponding reproduction time.

인덱스 정보는 조리 제어 정보 및 조리 상태 정보 중 하나 이상을 포함할 수 있다.The index information may include at least one of cooking control information and cooking state information.

조리 제어 정보는 해당 재생 시점의 온도, 해당 재생 시점을 나타내는 초, 가열 총량 중 하나 이상을 포함할 수 있다.The cooking control information may include one or more of a temperature at the corresponding regeneration time, seconds indicating the corresponding regeneration time, and a total amount of heating.

조리 상태 정보는 식재료의 색상 변화 정도, 형태 변화 정도 중 하나 이상을 포함할 수 있다.The cooking state information may include at least one of a color change degree and a shape change degree of the food material.

조리 상태 정보는 식재료의 읽힘 정도에 대한 정보도 포함할 수 있다.The cooking state information may also include information on the readability of the ingredients.

검색 명령에 따른 재생 시점의 이미지 및 인덱스 정보를 제공하는 예를 이하의 도면을 참조하여 설명한다.An example of providing an image and index information at a playback time according to a search command will be described with reference to the drawings below.

도 9 내지 도 11은 본 개시의 실시 예에 따라, 인덱스 조리 영상 내에서, 조리 이미지 및 인덱스 정보를 제공하는 예를 설명하는 도면들이다.9 to 11 are diagrams for explaining an example of providing a cooked image and index information within an index cooked image, according to an embodiment of the present disclosure.

특히, 도 9는, 온도의 변화에 따른 조리 이미지를 검색하는 예를 설명하는 도면이고, 도 10은 식재료의 색상 변화에 따른 조리 이미지를 검색하는 예를 설명하는 도면이고, 도 11은 식재료의 형태 변화에 따른 조리 이미지를 검색하는 예를 설명하는 도면이다.In particular, FIG. 9 is a diagram for explaining an example of searching for a cooking image according to a change in temperature, FIG. 10 is a diagram for explaining an example of searching for a cooking image according to a color change of a food ingredient, and FIG. It is a diagram explaining an example of searching for a cooking image according to a change.

도 9 내지 도 11의 실시 예에서, 조리 영상 화면은 조리 기기(100)의 디스플레이부(151)를 통해 표시될 수 있다.9 to 11 , the cooking image screen may be displayed through the display unit 151 of the cooking appliance 100 .

또 다른 예로, 조리 기기(100)는 통신부(110)를 통해 조리 기기(100)와 연동된 사용자의 이동 단말기를 통해, 인덱스 조리 동영상 및 인덱스 조리 동영상에 상응하는 프로파일 정보를 전송할 수 있다. 사용자의 이동 단말기는 조리 기기(100)로부터 수신된 인덱스 조리 동영상 및 프로파일 정보에 기반하여, 조리 영상 화면을 표시할 수도 있다.As another example, the cooking appliance 100 may transmit the index cooking video and profile information corresponding to the index cooking video through the user's mobile terminal interlocked with the cooking apparatus 100 through the communication unit 110 . The user's mobile terminal may display the cooking image screen based on the index cooking video and profile information received from the cooking appliance 100 .

프로파일 정보는 인덱스 조리 동영상을 구성하는 복수의 이미지 프레임들 각각의 인덱스 정보의 조합에 의해 생성된 정보일 수 있다. 프로파일 정보는 후술할 프로파일 화면을 구성하는데 사용될 수 있다.The profile information may be information generated by a combination of index information of each of a plurality of image frames constituting the index cooking video. The profile information may be used to configure a profile screen to be described later.

조리 영상 화면에 대한 데이터는 소셜 네트워크 서비스(Social Network Service)를 통해 업로드 되어, 다른 사용자와 공유될 수 있다.Data on the cooking video screen may be uploaded through a social network service and shared with other users.

조리 기기(100) 또는 사용자의 이동 단말기는 사용자 요청에 따라 조리 영상 화면에 대한 데이터를 소셜 네트워크 서비스(Social Network Service)를 제공하는 서버에 업로드할 수 있다.The cooking appliance 100 or the user's mobile terminal may upload data on the cooking image screen to a server that provides a social network service according to a user's request.

먼저, 도 9를 설명한다.First, FIG. 9 will be described.

도 9를 참조하면, 제1 조리 영상 화면(900)이 도시되어 있다.Referring to FIG. 9 , a first cooking image screen 900 is shown.

제1 조리 영상 화면(900)은 조리 영상 재생 화면(910) 및 온도 프로파일 화면(930)을 포함할 수 있다.The first cooking image screen 900 may include a cooking image reproduction screen 910 and a temperature profile screen 930 .

조리 영상 재생 화면(910)은 조리 이미지 또는 조리 동영상이 재생되는 화면일 수 있다.The cooking image reproduction screen 910 may be a screen on which a cooking image or a cooking video is reproduced.

온도 프로파일 화면(930)은 조리 동영상의 재생에 따라 변화되는 온도를 나타내는 그래프를 포함할 수 있다.The temperature profile screen 930 may include a graph indicating a temperature that is changed according to reproduction of a cooking video.

온도 프로파일 화면(930) 상에는 재생 가이드 바(901)가 더 표시될 수 있다. 재생 가이드 바(901)는 조리 동영상의 특정 재생 시점에 대한 검색을 위한 바일 수 있다.A reproduction guide bar 901 may be further displayed on the temperature profile screen 930 . The playback guide bar 901 may be a bar for searching for a specific playback time of the cooking video.

사용자는 터치 입력을 통해 재생 가이드 바(901)를 이동시킬 수 있다.The user may move the play guide bar 901 through a touch input.

조리 기기(100)는 재생 가이드 바(901)가 특정 재생 시점에 위치한 경우, 해당 재생 시점에 상응하는 조리 이미지 및 인덱스 정보(950)를 표시할 수 있다.When the reproduction guide bar 901 is located at a specific reproduction time point, the cooking appliance 100 may display a cooking image and index information 950 corresponding to the reproduction time point.

이와 같이, 사용자는 제1 조리 영상 화면(900)을 통해, 과거 조리 이력을 기반으로, 조리 과정 중의 조리 온도를 종합적으로 참조할 수 있고, 특정 조리 온도 하에서, 식재료의 조리 상태를 확인할 수 있다.In this way, the user may refer to the cooking temperature during the cooking process comprehensively based on the past cooking history through the first cooking image screen 900 and check the cooking state of the food material under the specific cooking temperature.

다음으로, 도 10을 설명한다.Next, FIG. 10 will be described.

도 10을 참조하면, 제2 조리 영상 화면(1000)이 도시되어 있다.Referring to FIG. 10 , a second cooking image screen 1000 is shown.

제2 조리 영상 화면(1000)은 조리 영상 재생 화면(1010) 및 색상 프로파일 화면(10300)을 포함할 수 있다.The second cooking image screen 1000 may include a cooking image reproduction screen 1010 and a color profile screen 10300 .

조리 영상 재생 화면(1010)은 조리 이미지 또는 조리 동영상이 재생되는 화면일 수 있다.The cooking image reproduction screen 1010 may be a screen on which a cooking image or a cooking video is reproduced.

색상 프로파일 화면(1030)은 조리 동영상의 재생에 따라 변화되는 식재료의 색상을 나타내는 그래프를 포함할 수 있다. The color profile screen 1030 may include a graph indicating the color of the food material that is changed according to the reproduction of the cooking video.

색상 프로파일 화면(1030)은 식재료의 색상 변화에 따라 복수의 단계들로 구분된 그래프를 포함할 수 있다. 사용자는 색상 프로파일 화면(1030)을 통해 식재료의 색상 변화의 추이를 확인할 수 있다.The color profile screen 1030 may include a graph divided into a plurality of steps according to the color change of the food material. The user may check the trend of the color change of the food material through the color profile screen 1030 .

색상 프로파일 화면(1030) 상에는 재생 가이드 바(901)가 더 표시될 수 있다. 재생 가이드 바(901)는 조리 동영상의 특정 재생 시점에 대한 검색을 위한 바일 수 있다. A reproduction guide bar 901 may be further displayed on the color profile screen 1030 . The playback guide bar 901 may be a bar for searching for a specific playback time of the cooking video.

또한, 사용자는 재생 가이드 바(901)를 통해 원하는 색상 단계에서의 식재료의 조리 상태를 조리 이미지를 통해 확인할 수 있다.In addition, the user may check the cooking state of the food material at a desired color level through the cooking image through the reproduction guide bar 901 .

또한, 조리 기기(100)는 재생 가이드 바(901)가 특정 재생 시점에 위치한 경우, 해당 재생 시점에 상응하는 조리 이미지 및 인덱스 정보(1050)를 표시할 수 있다.Also, when the reproduction guide bar 901 is located at a specific reproduction time point, the cooking appliance 100 may display a cooking image and index information 1050 corresponding to the reproduction time point.

이와 같이, 사용자는 제2 조리 영상 화면(1000)을 통해, 과거 조리 이력을 기반으로, 조리 과정 중 변화되는 식재료의 색상을 종합적으로 참조할 수 있고, 특정 색상 단계 하에서, 식재료의 조리 상태를 확인할 수 있다.In this way, the user can refer to the color of the food material that is changed during the cooking process based on the past cooking history through the second cooking image screen 1000 and can check the cooking state of the food material under a specific color level. can

도 11을 참조하면, 제3 조리 영상 화면(1100)이 도시되어 있다.Referring to FIG. 11 , a third cooking image screen 1100 is shown.

제3 조리 영상 화면(1100)은 조리 영상 재생 화면(1110) 및 형태 프로파일 화면(1130)을 포함할 수 있다.The third cooking image screen 1100 may include a cooking image reproduction screen 1110 and a shape profile screen 1130 .

조리 영상 재생 화면(1110)은 조리 이미지 또는 조리 동영상이 재생되는 화면일 수 있다.The cooking image reproduction screen 1110 may be a screen on which a cooking image or a cooking video is reproduced.

색상 프로파일 화면(1130)은 조리 동영상의 재생에 따라 변화되는 식재료의 형태를 나타내는 그래프를 포함할 수 있다. 식재료의 형태는 식재료의 크기를 나타낼 수 있다.The color profile screen 1130 may include a graph indicating the shape of the food material that is changed according to the reproduction of the cooking video. The shape of the food material may indicate the size of the food material.

형태 프로파일 화면(1130)은 식재료의 형태 변화에 따라 복수의 단계들로 구분된 그래프를 포함할 수 있다. 사용자는 형태 프로파일 화면(1130)을 통해 식재료의 색상 변화의 추이를 확인할 수 있다.The shape profile screen 1130 may include a graph divided into a plurality of steps according to a change in the shape of the food material. The user may check the trend of the color change of the food material through the shape profile screen 1130 .

형태 프로파일 화면(1130) 상에는 재생 가이드 바(901)가 더 표시될 수 있다. 재생 가이드 바(901)는 조리 동영상의 특정 재생 시점에 대한 검색을 위한 바일 수 있다. A reproduction guide bar 901 may be further displayed on the shape profile screen 1130 . The playback guide bar 901 may be a bar for searching for a specific playback time of the cooking video.

또한, 사용자는 재생 가이드 바(901)를 통해 원하는 형태 단계에서의 식재료의 조리 상태를 조리 이미지를 통해 확인할 수 있다.In addition, the user may check the cooking state of the food material at a desired shape stage through the cooking image through the reproduction guide bar 901 .

또한, 조리 기기(100)는 재생 가이드 바(901)가 특정 재생 시점에 위치한 경우, 해당 재생 시점에 상응하는 조리 이미지 및 인덱스 정보(1150)를 표시할 수 있다.Also, when the reproduction guide bar 901 is located at a specific reproduction time point, the cooking appliance 100 may display a cooking image and index information 1150 corresponding to the reproduction time point.

이와 같이, 사용자는 제3 조리 영상 화면(1000)을 통해, 과거 조리 이력을 기반으로, 조리 과정 중 변화되는 식재료의 형태를 종합적으로 참조할 수 있고, 특정 형태 단계 하에서, 식재료의 조리 상태를 확인할 수 있다.In this way, the user can refer to the shape of the food ingredient changed during the cooking process based on the past cooking history through the third cooking image screen 1000 and can check the cooking state of the ingredient under a specific shape step. can

도 12 내지 14는 종래 기술의 방식에 따라 이미지 프레임들을 이용하여, 인덱스 조리 동영상을 생성하는 예를 설명하는 도면이고, 도 15는 본 개시의 실시 예에 따라 이미지 프레임들을 이용하여, 인덱스 조리 동영상을 생성하는 예를 설명하는 도면이다.12 to 14 are diagrams illustrating an example of generating an index cooking video using image frames according to a prior art method, and FIG. 15 is an index cooking video using image frames according to an embodiment of the present disclosure. It is a figure explaining the example to generate|occur|produce.

도 12 내지 도 15에서, 녹화된 동영상은 재생 시간에 관계 없이, 일정한 저장 용량을 유지함을 가정한다. 하나의 이미지 프레임은 120kb이고, 일정한 저장 용량은 14.4Mb임을 가정한다.12 to 15 , it is assumed that the recorded video maintains a constant storage capacity regardless of the playback time. It is assumed that one image frame is 120 kb and the constant storage capacity is 14.4 Mb.

또한, 생성된 조리 동영상의 재생 속도도 전체 재생 시간에 대해 균등하게 유지됨을 가정한다.In addition, it is assumed that the playback speed of the generated cooking video is also maintained uniformly for the entire playback time.

조리 기기(100)의 조리 시간이 길어짐에 따라 카메라(121)의 촬영 시간이 길어지는 경우, 앞에서 저장된 이미지 프레임들은 일정 조건에 따라 삭제될 수 있다.When the photographing time of the camera 121 increases as the cooking time of the cooking appliance 100 increases, the previously stored image frames may be deleted according to a predetermined condition.

도 12 내지 도 15에서는 타임 랩스(Time Lapse) 기법을 통해, 인덱스 조리 동영상을 생성한다. 타임 랩스 기법은 이미지 프레임의 캡쳐 주기를 연속된 프레임의 주기보다 더 낮춰 촬영하는 기법이다. Time lapse 기법은 일반 속도로 재생할 때, 시간은 더 빠르게 이동하는 것처럼 보인다.12 to 15 , an index cooking video is generated through a time lapse technique. The time-lapse technique is a technique of photographing an image frame at a lower capture period than that of consecutive frames. The time lapse technique makes time seem to move faster when playing back at normal speed.

도 12를 참조하면, Time gap이 1초인 경우, 촬영된 전체 이미지 프레임들을 저장한 후, 저장된 전체 이미지 프레임들을 기반으로, 인덱스 조리 동영상을 생성하는 경우가 도시되어 있다. Time gap은 이미지 프레임의 캡쳐 주기를 나타낼 수 있다.Referring to FIG. 12 , when the time gap is 1 second, after storing all captured image frames, an index cooking video is generated based on all the stored image frames. The time gap may indicate a capture period of an image frame.

그러나, 이 경우, 녹화 종료 시, 전체 저장 용량은 432Mb가 되어, 최대 저장 용량을 초과하는 문제가 발생한다.However, in this case, when recording is finished, the total storage capacity becomes 432 Mb, which causes a problem of exceeding the maximum storage capacity.

도 13은 Time Gap을 순차적으로 증가하여, 캡쳐된 이미지 프레임들만을 이용하여, 인덱스 조리 동영상을 생성하는 경우이다.13 is a case in which an index cooking video is generated using only captured image frames by sequentially increasing the time gap.

도 13의 경우, Time Gap이 2초였다가, 촬영 시간이 길어짐에 따라, 최대 저장 용량을 초과하지 않기 위해, Time Gap이 3초로 증가된 경우이다.In the case of FIG. 13 , the Time Gap was 2 seconds, but as the shooting time increases, the Time Gap is increased to 3 seconds in order not to exceed the maximum storage capacity.

Time Gap이 2초인 경우, 저장 용량을 확보하기 위해, 기존의 2번째 이미지 프레임, 4번째 프레임 등이 삭제된다.When the time gap is 2 seconds, the existing 2nd image frame, 4th frame, etc. are deleted in order to secure a storage capacity.

그러나, Time Gap이 3초로 증가된 경우, 4번째 이미지 프레임은 이미 삭제되어버리는 문제가 발생한다. 더욱이, 4번째 이미지 프레임이 인덱스 특징을 담고 있는 경우, 더 큰 문제가 발생한다.However, when the Time Gap is increased to 3 seconds, the fourth image frame is already deleted. Moreover, a bigger problem arises when the 4th image frame contains index features.

인덱스 특징을 담고 있는 이미지 프레임은 온도, 색상, 형태 중 어느 하나 이상이 임계 값 이상 변화되는 특징을 담고 있는 프레임일 수 있다.The image frame including the index feature may be a frame including a feature in which any one or more of temperature, color, and shape changes by more than a threshold value.

도 14는 홀수 또는 짝수 번째 카운팅 되는 이미지 프레임들만을 이용하여, 인덱스 조리 동영상을 생성하는 경우이다.14 is a case in which an index cooking video is generated using only odd-numbered or even-numbered image frames.

예를 들어, time gap이 2초이고, 짝수 번째 이미지 프레임들이 삭제되고,홀수 번째 이미지 프레임들만이 저장된 상태에 있다. For example, the time gap is 2 seconds, even-numbered image frames are deleted, and only odd-numbered image frames are stored.

저장 용량의 증가가 되는 경우, 종래에 저장된 3번째 이미지 프레임은 짝수 번째 이미지 프레임으로 취급되어 삭제될 수 있다.When the storage capacity is increased, the conventionally stored third image frame is treated as an even-numbered image frame and may be deleted.

이미지 프레임의 삭제 주기는 초기 설정된 타임 갭의 주기와 일치할 수 있다.The deletion period of the image frame may coincide with the period of the initially set time gap.

결과적으로, 이전에 촬영된 이미지 프레임들은 4초 간격의 time gap을 갖는 효과를 보이게 되고(1,5,9번째 프레임), 최근에 촬영된 이미지 프레임(117, 119번째 프레임)은 2초 간격의 time gap을 갖게되는 효과를 보여, time gap의 편차가 발생될 수 있다.As a result, previously captured image frames have an effect of having a time gap of 4 seconds apart (1st, 5th, and 9th frames), and recently captured image frames (117 and 119th frames) have a time gap of 2 seconds. It shows the effect of having a time gap, so a deviation of the time gap may occur.

Time gap의 편차가 발생되는 경우, 인덱스 조리 동영상은 앞부분은 빨리 재생되는 효과를 보이고, 뒷부분은 느리게 재생되는 효과를 보여, 부자연스러운 동영상이 생성되는 문제가 발생한다.When a deviation of the time gap occurs, the front part of the index cooking video has the effect of being played quickly and the rear part has the effect of being played slowly, resulting in an unnatural video generation problem.

도 15는 본 개시의 일실시 예에 따라, 홀수 번째 또는 짝수 번째 캡쳐되는 이미지 프레임을 삭제한 후, 이미지 프레임 당 Time Gap을 2배로 증가시켜, Time gap을 유지하는 방식이다.15 is a method of maintaining a time gap by doubling a time gap per image frame after deleting an odd-numbered or even-numbered image frame, according to an embodiment of the present disclosure.

도 14의 문제점을 해결하기 위한 방법으로, 이전에 저장된 이미지 프레임들의 time gap이 2배 증가되는 효과가 발생하는 시점에, 최근에 촬영된 이미지 프레임들에 대한 time gap을 2배로 증가시키는 방법이다.As a method for solving the problem of FIG. 14 , it is a method of doubling the time gap for recently photographed image frames at a point in time when the effect of increasing the time gap of previously stored image frames by a factor of two occurs.

즉, 프로세서(180)는 저장 용량 확보를 위해, 3번째 이미지 프레임을 삭제하여, time gap이 4초로 늘어난 경우, 최근 이미지 프레임들에 대한 time gap을 4초로 증가시킬 수 있다.That is, when the time gap is increased to 4 seconds by deleting the third image frame to secure storage capacity, the processor 180 may increase the time gap for recent image frames to 4 seconds.

이 경우, 메모리에 저장되는 최대 용량은 120*120kb=14.4Mb가 되어, 최대 저장 용량을 초과하지 않으면서, Time Gap의 편차가 발생되지 않는다.In this case, the maximum capacity stored in the memory becomes 120*120kb = 14.4Mb, so that the time gap does not occur without exceeding the maximum storage capacity.

Time gap의 편차가 발생되지 않음에 따라 자연스럽게 재생되는 인덱스 조리 동영상이 얻어질 수 있다.As the deviation of the time gap does not occur, an index cooking video that is reproduced naturally can be obtained.

본 개시의 일 실시 예에 따르면, 전술한 방법은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.According to an embodiment of the present disclosure, the above-described method may be implemented as computer-readable code on a medium in which a program is recorded. The computer-readable medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.

Claims

In the cooking appliance,
Memory;
cuisine;
a camera for photographing food materials placed in the cooking room; and
Obtaining a plurality of image frames and index information of each of the plurality of image frames for the food material photographed through the camera, and using the plurality of image frames and the respective index information, the total cooking of the food material Including a processor for generating an index cooking video having a playback time shorter than the time and profile information indicating a change in the cooking state of the ingredients
cooking appliance.

According to claim 1,
Further comprising a display unit,
the processor is
Displaying a cooking image screen including a cooking image reproduction screen providing the index cooking video and a profile screen showing the profile information on the display unit
cooking appliance.

3. The method of claim 2,
The index information is
Including one or more of the cooking temperature of the food material, the color of the food material, and the shape of the food material,
The profile screen is
A screen showing a change in the cooking temperature, a change in the color of the food material, and a change in the shape of the food material during the playback section of the index cooking video
cooking appliance.

4. The method of claim 3,
the processor is
When a search command is received, a cooking image at a specific reproduction time corresponding to the search command and the index information for the cooked image are displayed on the display unit
cooking appliance.

5. The method of claim 4,
The cooking video screen further comprises a playback guide bar for guiding the playback of the index cooking video,
The search command is a command to move the play guide bar
cooking appliance.

According to claim 1,
Further comprising a communication unit for performing wireless communication with the user's mobile terminal,
the processor is
Transmitting the index cooking video and profile information corresponding to the index cooking video to the mobile terminal through the communication unit
cooking appliance.

According to claim 1,
Further comprising a communication unit for wirelessly communicating with a server providing a social network service (Social Network Service, SNS),
the processor is
transmitting the index cooking video and profile information corresponding to the index cooking video to the server through the communication unit
cooking appliance.

According to claim 1,
the processor is
comparing a first value included in first index information of a first image frame among the plurality of image frames with a second value included in second index information of a second image frame following the first image frame; ,
When the difference between the first value and the second value is equal to or greater than a predetermined value, the second image frame is used to generate the index cooking video;
deleting the second image frame when the difference between the first value and the second value is less than a predetermined value
cooking appliance.

9. The method of claim 8,
the processor is
Each of the first and second values is any one of a cooking temperature of the food material, an RGB value indicating the color of the food material, and the size of the shape of the food material
cooking appliance.

According to claim 1,
the processor is
Creating the index cooking video using a time lapse technique of capturing an image frame according to a first time gap indicating a capture period of the image frame
cooking appliance.

11. The method of claim 10,
the processor is
When the capacity of the plurality of image frames reaches the maximum storage capacity of the memory, the captured image frames are deleted according to an erasing period having the same period as the first time gap;
increasing the first time gap to a second time gap larger than the first time gap;
cooking appliance.

12. The method of claim 11,
the processor is
If the difference between the value included in the index information of the image frame and the value included in the index information of the previously captured image frame is more than a certain difference, the image frame is not deleted according to the deletion period
cooking appliance.

A method of operating a cooking appliance, comprising:
obtaining a plurality of image frames and index information of each of the plurality of image frames for the food material photographed through the camera; and
Using the plurality of image frames and the respective index information, generating an index cooking video having a playback time smaller than the total cooking time of the food material and profile information indicating a change in the cooking state of the food material including steps
How cooking appliances work.

In a computer-readable inactive recording medium recording an operation method of a cooking appliance,
The method of operation is
obtaining a plurality of image frames and index information of each of the plurality of image frames for the food material photographed through the camera; and
Using the plurality of image frames and the respective index information, generating an index cooking video having a playback time smaller than the total cooking time of the food material and profile information indicating a change in the cooking state of the food material including steps
Inactive recording media.