KR20240000322A

KR20240000322A - 조리 장치 및 이의 제어 방법

Info

Publication number: KR20240000322A
Application number: KR1020220103516A
Authority: KR
Inventors: 여해동
Original assignee: 삼성전자주식회사
Priority date: 2022-06-23
Filing date: 2022-08-18
Publication date: 2024-01-02

Abstract

조리 장치 및 이의 제어 방법이 개시된다. 본 개시에 따른 조리 장치는 조리 장치 및 조리 장치의 주변부를 촬영하는 카메라, 조리 장치의 제어에 관한 입력을 감지하는 사용자 인터페이스, 적어도 하나의 인스트럭션을 저장하는 메모리 및 적어도 하나의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하고, 프로세서는, 조리 장치 및 조리 장치의 주변부를 촬영한 이미지를 획득하고, 이미지가 획득되는 동안 조리 장치의 제어에 관한 입력을 감지하고, 획득된 이미지에 기초하여 감지된 입력이 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하고, 감지된 입력이 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 감지된 입력에 대응되는 조리 동작을 수행할 수 있다.

Description

조리 장치 및 이의 제어 방법 {COOKING APPARATUS AND METHOD FOR CONTROLLING THEREOF}

본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는, 의도하지 않은 조리 장치의 제어에 관한 입력을 식별하여 조리 장치의 오작동을 방지하는 조리 장치 및 이의 제어 방법에 관한 것이다.

가스레인지, 인덕션(Induction), 오븐(Oven), 전자레인지 등과 같은 조리 장치는 버튼형, 레버형, 터치형 등의 사용자 인터페이스를 통해 사용자의 제어 명령을 수신하여 조리 동작(예: 가열, 냉각)을 수행한다.

사용자가 위와 같은 조리 장치를 이용하여 음식물을 조리하는 경우, 음식물의 재료를 조리 장치에 구비된 조리 기구(예: 냄비, 후라이팬, 조리용기)에 옮겨 담거나, 조리 장치를 이용하여 조리 행위(예: 가열, 섞기, 볶기, 뒤집기)를 하거나, 조리 장치가 음식물의 재료를 가열하는 과정에서 이물질(예: 물, 재료)이 터치형 사용자 인터페이스에 튈 수 있다. 이로 인해 조리 장치는 이물질로 인한 입력을 사용자의 제어 명령으로 인식하여 잘못된 조리 동작을 수행하는 경우가 발생한다.

또한, 사용자가 조리 방법, 조리 단계를 혼동하여 사용자 인터페이스를 통해 잘못된 조리 장치의 제어 명령을 입력할 수 있다. 이로 인해 조리 장치는 사용자의 잘못된 제어 명령에 따라 잘못된 조리 동작을 수행하는 경우가 발생한다.

따라서, 이물질로 인한 의도치 않은 입력, 조리 방법에 맞지 않은 잘못된 입력을 식별하여 조리 장치가 올바른 조리 동작을 수행하도록 조리 장치를 제어하는 방법의 모색이 요청된다.

상술한 목적을 달성하기 위한 본 실시 예에 따른 조리 장치는, 상기 조리 장치 및 상기 조리 장치의 주변부를 촬영하는 카메라, 상기 조리 장치의 제어에 관한 입력을 감지하는 사용자 인터페이스, 적어도 하나의 인스트럭션을 저장하는 메모리 및 상기 적어도 하나의 인스트럭션을 실행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서는, 상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 이미지를 획득하고, 상기 이미지가 획득되는 동안 상기 조리 장치의 제어에 관한 입력을 감지하고, 상기 획득된 이미지에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하고, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행할 수 있다.

한편, 상기 프로세서는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하지 않을 수 있다.

한편, 상기 전자 장치는, 외부 전자 장치와 통신 연결을 수행하는 통신 인터페이스를 더 포함하고, 상기 프로세서는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 조리 장치를 이용하는 조리 행위가 현재 조리 단계에 매칭되는지 여부를 식별하고, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되고 상기 조리 행위가 상기 현재 조리 단계에 매칭되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행할 수 있다.

한편, 상기 프로세서는, 상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 감지된 입력이 상기 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공할 수 있다.

한편, 상기 프로세서는, 상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 현재 조리 단계에 매칭되는 조리 행위에 대한 정보를 포함하는 알림을 제공할 수 있다.

한편, 상기 프로세서는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위인지 여부와 무관하게 상기 감지된 입력에 대응되는 조리 동작을 수행하고, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 취소할 수 있다.

한편, 상기 프로세서는, 상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 복수의 영상 프레임들을 획득하고, 상기 획득된 복수의 영상 프레임들 중 기 설정된 구간 별로 분할된 구간 영상 프레임들을 식별하고, 상기 식별된 구간 영상 프레임들에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다.

한편, 상기 분할된 구간 영상 프레임들은 상기 기 설정된 구간별로 식별된 제1 구간 영상 프레임들과 제2 구간 영상 프레임들을 포함하고, 상기 제1 구간 영상 프레임들과 제2 구간 영상 프레임들은 적어도 하나의 동일한 영상 프레임을 포함할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 이미지를 획득하는 단계, 상기 이미지가 획득되는 동안 상기 조리 장치의 제어에 관한 입력을 감지하는 단계, 상기 획득된 이미지에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 단계 및 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 단계를 포함할 수 있다.

한편, 상기 조리 동작을 수행하는 단계는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하지 않을 수 있다.

한편, 상기 제어 방법은, 상기 조리 장치를 이용하는 조리 행위를 포함하는 조리 방법에 대한 레시피 정보를 획득하는 단계를 더 포함하고, 상기 식별하는 단계는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 조리 장치를 이용하는 조리 행위가 현재 조리 단계에 매칭되는지 여부를 식별하는 단계를 더 포함하고, 상기 조리 동작을 수행하는 단계는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되고 상기 조리 행위가 상기 현재 조리 단계에 매칭되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행할 수 있다.

한편, 상기 조리 동작을 수행하는 단계는, 상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 감지된 입력이 상기 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공할 수 있다.

한편, 상기 조리 동작을 수행하는 단계는, 상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 현재 조리 단계에 매칭되는 조리 행위에 대한 정보를 포함하는 알림을 제공할 수 있다.

한편, 상기 조리 동작을 수행하는 단계는, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위인지 여부와 무관하게 상기 감지된 입력에 대응되는 조리 동작을 수행하고, 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 취소할 수 있다.

한편, 상기 획득하는 단계는, 상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 복수의 영상 프레임들을 획득하고, 상기 식별하는 단계는, 상기 획득된 복수의 영상 프레임들 중 기 설정된 구간 별로 분할된 구간 영상 프레임들을 식별하고, 상기 식별된 구간 영상 프레임들에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다.

전자 장치의 프로세서의 의해 실행되어 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독가능 기록매체에 있어서, 상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 이미지를 획득하는 단계, 상기 이미지가 획득되는 동안 상기 조리 장치의 제어에 관한 입력을 감지하는 단계, 상기 획득된 이미지에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 단계 및 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 단계를 포함할 수 있다.

본 개시의 특정 실시 예의 양상, 특징 및 이점은 첨부된 도면들을 참조하여 후술되는 설명을 통해 보다 명확해질 것이다.
도 1은 본 개시의 일 실시 예에 따른, 조리 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른, 조리 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른, 조리 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시 예에 따른, 이물질에 의한 조리 장치의 오작동을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른, 조리 장치의 동작을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시 예에 따른, 조리 장치의 동작을 설명하기 위한 흐름도이다.
도 7a는 본 개시의 일 실시 예에 따른, 조리 장치가 획득한 이미지의 구간 영상 프레임들에 기초하여 감지된 입력이 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 동작을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시 예에 따른, 조리 장치가 획득한 이미지의 구간 영상 프레임들에 기초하여 감지된 입력이 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른, 조리 장치의 동작을 설명하기 위한 흐름도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.

이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 개시의 일 실시 예에 따른, 조리 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 조리 장치(100)는 음식을 조리하기 위해 가열 동작을 수행하는 가스레인지 또는 인덕션(Induction)일 수 있다. 다만, 이에 국한되는 것은 아니며, 가열 동작 외에 다양한 조리 동작(예: 가열, 냉각)을 수행할 수 있는 전자 장치일 수 있다.

조리 장치(100)는, 도 1에 도시된 바와 같이 카메라(110)를 일 구성 요소로 포함할 수 있다. 조리 장치(100)가 조리 동작을 수행하는 조리부의 상단에 위치할 수 있다. 다만, 이에 국한되는 것은 아니며, 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영할 수 있는 다양한 위치에 배치될 수 있다.

조리 장치(100)는 조리부의 일 영역에 사용자 인터페이스(120)를 일 구성 요소로 포함할 수 있다. 사용자 인터페이스(120)는, 도 1에 도시된 바와 같이 조리 장치(100)가 조리 동작을 수행하는 조리부의 주변부 또는 조리부의 일 영역에 배치되어 조리 장치(100)의 제어와 관련된 입력을 감지할 수 있다. 다만, 이에 국한되는 것은 아니며, 사용자 인터페이스(120)는 조리 장치(100)의 일부 영역에 다양한 위치로 배치될 수 있다.

조리 장치(100) 및 조리 장치(100)의 각 구성의 동작에 대한 내용은 도 2와 함께 한 단계 구체적으로 설명한다.

도 2는 본 개시의 일 실시 예에 따른, 조리 장치(100)의 구성을 도시한 블록도이다.

조리 장치(100)는 가스레인지, 인덕션, 오븐(Oven), 전자레인지일 수 있다. 다만, 이에 국한되는 것은 아니며, 조리 장치(100)는 음식물을 조리하는데 사용되며, 조리부를 통해 가열, 냉각 등 음식물의 조리 동작을 수행할 수 있는 다양한 전자 장치일 수 있다.

도 2를 참조하면, 조리 장치(100)는 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영하는 카메라(110), 조리 장치(100)의 제어에 관한 입력을 감지하는 사용자 인터페이스(120), 적어도 하나의 인스트럭션을 저장하는 메모리(140) 및 적어도 하나의 인스트럭션을 실행하는 프로세서(150)를 포함할 수 있다. 다만, 이에 국한되는 것은 아니며, 조리 장치(100)는 센서, 디스플레이(미도시), 스피커(미도시), 진동 출력부(미도시) 등 다양한 전자 장치의 구성을 포함할 수 있다.

카메라(110)는 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라(110)는 하나 이상의 렌즈, 광각렌즈, 망원렌즈, 3D 뎁스 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.

카메라(110)는 조리 장치(100) 내부 또는 외부에 배치되어 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영할 수 있다. 구체적으로, 카메라(110)는 조리 장치(100)의 조리부 및 조리부의 주변부를 촬영할 수 있다.

카메라(110)는 서로 다른 위치에 배치되어 서로 다른 각도에서 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영하는 복수의 카메라(110)로 이루어질 수도 있다.

또한, 카메라(110)는 조리 장치(100)의 일 구성 요소로 포함되지 않고 조리 장치(100)와 유/무선으로 연결되는 외부 카메라(110)일 수 있다.

프로세서(150)는 카메라(110)를 통해 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 획득할 수 있다. 또한, 프로세서(150)는 카메라(110)를 통해 조리 장치(100)가 가열, 냉각 등의 조리 동작을 수행하는 조리부 및 조리부의 주변부를 촬영한 이미지를 획득할 수 있다.

사용자 인터페이스(120)는 버튼(button), 레버(lever), 스위치(switch), 터치(Touch), 비접촉 동작 감지 센서형 인터페이스 등을 포함할 수 있다.

사용자 인터페이스(120)는 버튼(button), 레버(lever), 스위치(switch), 터치(Touch), 비접촉 동작 감지 센서형 인터페이스 중에서 반드시 한 종류로 이루어지는 것은 아니며, 하나 이상의 서로 다른 종류로 이루어질 수 있다.

사용자 인터페이스(120)가 터치형 사용자 인터페이스(120)인 경우, 사용자 인터페이스(120)는, 예를 들어, 전기 신호의 변화를 감지하는 정전식 터치형 사용자 인터페이스(120), 물리적 압력 변화를 감지하는 감압식 터치형 사용자 인터페이스(120)일 수 있다.

프로세서(150)는 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 입력을 감지하여 조리 장치(100)의 조리 동작을 제어하는 입력 정보를 획득할 수 있다. 여기서, 조리 장치(100)의 제어에 관한 입력은, 예를 들어, 조리 장치의 화력을 현재 화력보다 강하거나 약하게 조절하거나 조리 장치(100)의 전원을 온/오프(on/off)하는 동작을 제어하는 입력일 수 있다. 또한, 조리 동작은, 예를 들어, 조리 장치(100)가 조리 대상을 가열 또는 냉각하기 위해 조리부를 제어하는 동작일 수 있다. 다만, 이에 국한되는 것은 아니며, 음식물의 조리를 위한 다양한 동작을 의미할 수 있다.

사용자 인터페이스(120)가 터치형 사용자 인터페이스(120)인 경우, 프로세서(150)는 터치형 사용자 인터페이스(120)를 통해 이물질(예: 물)에 의한 전기 신호의 변화 또는 물리적 압력 변화를 감지하여 조리 장치(100)의 조리 동작을 제어하는 입력 정보를 획득할 수도 있다.

통신 인터페이스(130)는 무선 통신 인터페이스, 유선 통신 인터페이스 또는 입력 인터페이스를 포함할 수 있다.

무선 통신 인터페이스는, 무선 통신 기술이나 이동 통신 기술을 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultrawide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술 로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다. 무선 통신 인터페이스는 전자기파를 외부로 송신하거나 또는 외부에서 전달된 전자기파를 수신할 수 있는 안테나, 통신 칩 및 기판 등을 이용하여 구현될 수 있다.

유선 통신 인터페이스는 유선 통신 네트워크를 기반으로 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 유선 통신 네트워크는, 예를 들어, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 이더넷(Ethernet) 케이블 등 물리적인 케이블을 이용하여 구현될 수 있다.

무선 통신 인터페이스 및 유선 통신 인터페이스는 실시 예에 따라 어느 하나가 생략될 수도 있다. 따라서, 전자 장치는 무선 통신 인터페이스만을 포함하거나 유선 통신 인터페이스만을 포함할 수 있다. 뿐만 아니라, 전자 장치는 무선 통신 인터페이스에 의한 무선 접속과 유선 통신 인터페이스에 의한 유선 접속을 모두 지원하는 통합된 통신 인터페이스를 구비할 수도 있다.

전자 장치는 한 가지 방식의 통신 연결을 수행하는 한 개의 통신 인터페이스(130)를 포함하는 경우에 국한되지 않고, 복수의 방식으로 통신 연결을 수행하는 복수의 통신 인터페이스(130)를 포함할 수 있다.

프로세서(150)는 통신 인터페이스(130)를 통해 실외 또는 실내에 있는 다양한 외부 전자 장치 또는 서버와 통신을 수행하여 조리 장치(100)의 제어에 필요한 다양한 정보를 획득할 수 있다.

구체적으로, 프로세서(150)는 통신 인터페이스(130)를 통해 외부 전자 장치 또는 외부 서버와 통신 연결을 수행하여 조리 장치(100)를 이용한 조리 행위를 포함하는 레시피(Recipe) 정보를 획득할 수 있다.

여기서, 조리 행위는 사용자가 조리 장치(100)를 이용하여 조리의 대상이 되는 재료를 가열/냉각하는 행위, 재료를 볶는 행위, 재료를 섞는 행위, 재료를 뒤집는 행위 등 음식물을 조리하기 위한 다양한 행위를 의미할 수 있다.

또한, 레시피 정보는 조리하고자하는 음식물의 재료, 조리 방법, 조리 단계 등 음식물 조리에 필요한 다양한 정보를 포함할 수 있다.

다만, 이에 국한되는 것은 아니며, 프로세서(150)는 통신 인터페이스(130)를 통해 외부 전자 장치 또는 외부 서버와 통신 연결을 수행하여 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 획득할 수도 있다.

또한, 프로세서(150)는 외부 전자 장치가 조리 동작의 일부를 수행하도록 하기 위해 통신 인터페이스(130)를 통해 외부 전자 장치와 통신 연결을 수행하여 조리 장치(100)의 조리 동작에 필요한 다양한 정보를 전송할 수 있다.

메모리(140)는 각종 프로그램이나 데이터를 일시적 또는 비일시적으로 저장하고, 프로세서(150)의 호출에 따라서 저장된 정보를 프로세서(150)에 전달한다. 또한, 메모리(140)는, 프로세서(150)의 연산, 처리 또는 제어 동작 등에 필요한 각종 정보를 전자적 포맷으로 저장할 수 있다.

메모리(140)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이피롬(EPROM), 이이피롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리(140) 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.

메모리(140)는 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 저장할 수 있다. 메모리(140)는 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지로 이루어진 하나 이상의 영상 프레임을 저장할 수 있다.

메모리(140)는 조리 장치(100)의 제어에 관한 입력 정보, 조리 장치(100)의 제어에 관한 입력 정보에 대응되는 조리 행위에 대한 정보, 조리 장치(100)의 제어에 관한 입력 정보에 대응되는 조리 동작을 저장할 수 있다. 메모리(140)는 조리의 대상이 되는 음식물에 대한 정보, 음식물의 재료, 조리 방법, 조리 단계 등을 포함하는 레시피에 대한 정보를 저장할 수 있다.

프로세서(150)는 조리 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(150)는 상술한 바와 메모리(140)를 포함하는 조리 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(140)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 조리 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(150)는 하나의 프로세서(150)로 구현될 수 있을 뿐만 아니라 복수의 프로세서(150)로 구현될 수 있다.

프로세서(150)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(150)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서(150), 마이크로 프로세서(150), 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(150)(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.

한편, 본 개시에서 프로세서(150)는 디지털 신호를 처리하는 중앙처리장치 (central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(150)(application processor(AP)), 또는 커뮤니케이션 프로세서(150)(communication processor(CP)), ARM 프로세서(150) 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(150)(160)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형 태로 구현될 수도 있다. 프로세서(150)는 메모리(140)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다. 뿐만 아니라, 프로세서(150)는 인공지능 기능을 수행하기 위하여, 별도의 AI 전용 프로세서(150)인 GPU(graphics-processing unit), NPU(Neural Processing Unit), VPU(Visual Processing UniT) 중 적어도 하나를 포함할 수 있다.

프로세서(150)의 구체적인 조리 장치(100) 제어 동작은 도 3 내지 6을 통해 자세히 설명한다.

도 3은 본 개시의 일 실시 예에 따른, 조리 장치(100)의 동작을 설명하기 위한 흐름도이다.

도 3을 참조하면, 프로세서(150)는 카메라(110)를 통해 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 획득할 수 있다. 또한, 프로세서(150)는 카메라(110)를 통해 조리 장치(100)가 조리 동작을 수행하는 조리부 및 조리부의 주변부를 촬영한 이미지를 획득할 수도 있다(S310).

다만, 이에 국한되는 것은 아니며, 프로세서(150)는 통신 인터페이스(130)를 통해 외부 전자 장치 또는 외부 서버와 통신 연결을 수행하여 조리 장치(100), 조리 장치(100)가 조리 동작을 수행하는 조리부, 조리 장치(100)의 주변부, 조리부의 주변부 등을 촬영한 이미지를 획득할 수도 있다.

프로세서(150)는 이미지가 획득되는 동안 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 입력을 감지할 수 있다(S320). 여기서 조리 장치(100)의 제어에 관한 입력은 조리 장치(100)가 조리 동작을 수행하도록 하는 제어 명령일 수 있다. 구체적으로, 조리 장치(100)의 제어에 관한 입력은, 예를 들어, 조리 장치의 화력을 현재 화력보다 강하거나 약하게 조절하거나 조리 장치(100)의 전원을 온/오프(on/off)하는 동작을 제어하는 입력일 수 있다. 또한, 조리 동작은, 예를 들어, 조리 장치(100)가 조리 대상을 가열 또는 냉각하기 위해 조리부를 제어하는 동작일 수 있다. 다만, 이에 국한되는 것은 아니며, 음식물의 조리를 위한 다양한 동작을 의미할 수 있다.

구체적으로 프로세서(150)는 이미지가 획득되는 동안 터치형 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 터치 입력, 비접촉 제스처 입력, 버튼 또는 레버의 조작 입력 등을 감지할 수 있다.

프로세서(150)는 획득된 이미지에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다(S330). 다만, 이에 국한되지 않고 조리 장치(100)는 스피커(미도시)를 통해 획득된 오디오 데이터에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다. 여기서, 오디오 데이터는 조리 행위에 대응되는 소리(예: 끓는 소리, 튀기는 소리, 굽는 소리, 볶는 소리 등)일 수 있다.

구체적으로, 프로세서(150)는 감지된 조리 장치(100)의 제어에 관한 입력이 획득된 이미지 또는 오디오 데이터에 포함된 사용자의 조리 행위(예: 가열, 냉각, 굽기, 뒤집기, 볶기, 섞기)에 대응되는지 여부를 식별할 수 있다. 프로세서(150)가 사용자 인터페이스(120)를 통해 조리 장치(100)의 가열 동작에 대한 입력을 감지한 경우, 획득된 이미지 또는 오디오 데이터에 포함된 사용자의 조리 행위가 조리 장치(100)의 가열 동작에 대응되는 것인지 여부를 식별할 수 있다.

사용자 인터페이스(120)를 통해 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되면(S330-Y), 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 수행할 수 있다(S340).

예를 들어, 프로세서(150)가 사용자 인터페이스(120)를 통해 조리 장치(100)의 가열 동작에 대한 입력을 감지한 경우, 획득된 이미지 또는 오디오 데이터에 포함된 사용자의 조리 행위가 조리 장치(100)의 가열 동작에 대응되는 것으로 식별되면, 프로세서(150)는 감지된 입력에 대응되는 가열 동작을 수행할 수 있다.

사용자 인터페이스(120)를 통해 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면(S330-N), 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 수행하지 않을 수 있다(S350).

이 경우, 사용자 인터페이스(120)를 통해 감지된 입력은 조리 과정 중 사용자 인터페이스(120)에 튄 이물질(예: 물)로 인해 프로세서(150)가 사용자 인터페이스(120)를 통해 정전기 신호의 변화 또는 압력의 변화를 감지하여 조리 장치(100) 제어에 관한 입력 정보를 획득한 것일 수도 있다.

도 4는 본 개시의 일 실시 예에 따른, 이물질에 의한 조리 장치(100)의 오작동을 설명하기 위한 도면이다.

도 4를 참조하면, 조리 장치(100)에서 조리 되는 조리 기구에 담긴 음식물의 재료 또는 물(400)이 일부 튀어 조리 장치(100) 일부 영역에 배치된 사용자 인터페이스(120)가 오염될 수 있다. 여기서, 사용자 인터페이스(120)가 터치형 사용자 인터페이스(120)인 경우, 사용자의 의도적인 입력이 아님에도 프로세서(150)가 터치형 사용자 인터페이스(120)를 통해 물(400)로 인한 정전기 신호의 변화를 감지하여 조리 장치(100) 제어에 관한 입력 정보를 획득하여 오작동이 발생할 수 있다.

구체적으로, 물(400)이 조리 장치(100)의 사용자 인터페이스(120) 중 가열 동작을 제어하기 위한 영역에 튄 경우, 프로세서(150)는 물(400)로 인한 정전기 신호의 변화를 터치형 사용자 인터페이스(120)를 통해 감지하여 가열 동작에 관한 입력 정보를 획득할 수 있다.

여기서, 프로세서(150)는 조리 장치(100) 및 조리 장치(100) 주변부를 촬영한 이미지에 포함된 사용자의 조리 행위가 조리 장치(100)의 가열 동작에 대응되지 않는 것으로 식별되면, 프로세서(150)는 감지된 입력에 대응되는 가열 동작을 수행하지 않을 수 있다.

따라서, 프로세서(150)는 사용자가 의도하지 않은 이물질에 의한 입력으로 인한 조리 장치(100)의 오작동 발생을 방지할 수 있다.

도 5는 본 개시의 일 실시 예에 따른, 조리 장치(100)의 동작을 설명하기 위한 흐름도이다.

도 5를 참조하면, 프로세서(150)는 카메라(110)를 통해 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 획득할 수 있다. 또한, 프로세서(150)는 카메라(110)를 통해 조리 장치(100)가 조리 동작을 수행하는 조리부 및 조리부의 주변부를 촬영한 이미지를 획득할 수도 있다(S510).

프로세서(150)는 이미지가 획득되는 동안 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 입력을 감지할 수 있다(S520). 여기서 조리 장치(100)의 제어에 관한 입력은 조리 장치(100)가 조리 동작을 수행하도록 하는 제어 명령일 수 있다.

프로세서(150)는 통신 인터페이스(130)를 통해 외부 서버와 통신 연결을 수행하여 조리 장치(100)를 이용하는 조리 행위를 포함하는 조리 방법에 대한 레시피 정보를 획득할 수 있다(S530). 여기서, 레시피 정보는 조리의 대상이 되는 음식물의 재료, 조리 방법, 조리 단계 등 음식물 조리에 필요한 다양한 정보를 포함할 수 있다.

프로세서(150)는 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 입력을 감지하여 획득한 정보의 신뢰도가 기 설정된 값 이하인 것으로 식별되면, 획득된 레시피 정보에 기초하여 조리 장치(100)의 제어에 관한 입력이 현재 조리 단계에 대응되는 것인지 여부를 식별할 수 있다. 획득된 레시피 정보에 기초하여 조리 장치(100)의 제어에 관한 입력이 현재 조리 단계에 대응되는 것으로 식별되면, 프로세서(150)는 조리 장치(100)의 제어에 관한 입력에 기초하여 현재 조리 단계에서 화력을 조절하거나 조리 장치의 전원을 on/off하는 동작을 수행할 수 있다.

프로세서(150)는 조리 장치(100)의 제어에 관한 입력을 감지한 뒤 조리 장치(100)를 이용하는 조리 행위를 포함하는 조리 방법에 대한 레시피 정보를 획득할 수도 있고, 조리 장치(100)의 제어에 관한 입력 감지와 무관하게 별도로 조리 방법에 대한 레시피 정보를 획득할 수도 있다.

프로세서(150)는 획득된 이미지에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다(S540). 다만, 이에 국한되지 않고 조리 장치(100)는 스피커(미도시)를 통해 획득된 오디오 데이터에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다. 여기서, 오디오 데이터는 조리 행위에 대응되는 소리(예: 끓는 소리, 튀기는 소리, 굽는 소리, 볶는 소리 등)일 수 있다.

사용자 인터페이스(120)를 통해 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되면(S540-Y), 프로세서(150)는 레시피 정보에 기초하여 조리 장치(100)를 이용하는 조리 행위가 현재 조리 단계에 매칭되는지 여부를 식별할 수 있다(S550).

예를 들어, 프로세서(150)가 사용자 인터페이스(120)를 통해 조리 장치(100)의 가열 동작에 대한 입력을 감지한 경우, 획득된 이미지 또는 오디오 데이터에 포함된 사용자의 조리 행위가 조리 장치(100)의 가열 동작에 대응되는 것으로 식별되면, 프로세서(150)는 레시피 정보에 기초하여 조리 장치(100)를 이용한 가열 동작이 현재 조리 단계에 매칭되는지 여부를 식별할 수 있다.

사용자 인터페이스(120)를 통해 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면(S540-N), 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 수행하지 않을 수 있다(S560).

이 경우, 사용자 인터페이스(120)를 통해 감지된 입력은 조리 과정 중 사용자 인터페이스(120)에 튄 이물질(예: 물)로 인해 프로세서(150)가 사용자 인터페이스(120)를 통해 정전기 신호의 변화 또는 압력의 변화를 감지하여 조리 장치(100) 제어에 관한 입력 정보를 획득한 것일 수도 있다. 구체적인 예는 도 3과 함께 전술하였다.

감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되고 조리 행위가 현재 조리 단계에 매칭되는 것으로 식별되면(S550-Y), 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 수행할 수 있다(S570).

예를 들어, 조리 장치(100) 및 조리 장치(100)를 촬영하여 획득한 이미지에 사용자로부터 가열 동작에 관한 입력을 수신하는 이미지가 포함되어 있으면, 프로세서(150)는 감지된 조리 장치(100)의 가열 동작에 관한 입력이 사용자가 가열 동작을 수행하기 위해 직접 입력한 것으로 식별할 수 있다. 또한, 위와 같은 가열 동작이 레시피 정보에 기초하여 현재 조리 단계에 매칭되는 적절한 조리 행위라면 프로세서(150)는 감지된 입력에 대응되는 가열 동작을 수행할 수 있다.

감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되고 조리 행위가 현재 조리 단계에 매칭되지 않는 것으로 식별되면(S550-N), 프로세서(150)는 감지된 입력이 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공할 수 있다(S580).

가열 동작에 관한 입력이 감지된 경우, 프로세서(150)는 레시피 정보에 기초하여 현재 조리 단계가 가열 동작과 매칭되지 않는 것으로 식별할 수 있다. 이 경우, 프로세서(150)는 감지된 가열 동작에 관한 입력이 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공할 수 있다.

여기서, 사용자에게 제공되는 알림은 디스플레이(미도시)를 통해 제공되는 시각적 정보이거나 스피커(미도시)를 통해 제공되는 청각적 정보이거나 진동 출력부(미도시)를 통해 제공되는 촉각적 정보일 수 있으며, 이 중 어느 한 종류에 의한 방식이 아닌 서로 다른 복수의 방식을 이용한 알림을 제공할 수도 있다.

이외에도 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되고 조리 행위가 현재 조리 단계에 매칭되지 않는 것으로 식별되면(S550-N), 프로세서(150)는, 조리 행위가 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 레시피 정보에 기초하여 현재 조리 단계에 매칭되는 조리 행위에 대한 정보를 포함하는 알림을 제공할 수 있다. 여기서, 사용자에게 알림을 제공하는 방식은 전술한 바와 같다.

따라서, 프로세서(150)는 올바른 조리 방법에 대한 정보를 제공 받은 사용자가 입력한 현재 조리 단계에 매칭되는 적절한 조리 장치(100)의 제어에 관한 입력을 재차 감지하여 조리 동작을 수행할 수 있다.

도 6은 본 개시의 일 실시 예에 따른, 조리 장치(100)의 동작을 설명하기 위한 흐름도이다.

도 6을 참조하면, 프로세서(150)는 카메라(110)를 통해 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 획득할 수 있다. 또한, 프로세서(150)는 카메라(110)를 통해 조리 장치(100)가 조리 동작을 수행하는 조리부 및 조리부의 주변부를 촬영한 이미지를 획득할 수도 있다(S610).

프로세서(150)는 이미지가 획득되는 동안 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 입력을 감지할 수 있다(S620). 여기서 조리 장치(100)의 제어에 관한 입력은 조리 장치(100)가 조리 동작을 수행하도록 하는 제어 명령일 수 있다.

프로세서(150)는 감지된 입력이 조리 장치(100)를 이용하는 조리 행위인지 여부와 무관하게 감지된 입력에 대응되는 조리 동작을 수행할 수 있다(S630).

프로세서(150)는 획득된 이미지에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다(S640). 다만, 이에 국한되지 않고 조리 장치(100)는 스피커(미도시)를 통해 획득된 오디오 데이터에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다. 여기서, 오디오 데이터는 조리 행위에 대응되는 소리(예: 끓는 소리, 튀기는 소리, 굽는 소리, 볶는 소리 등)일 수 있다.

이후 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되면(S640-Y), 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 유지할 수 있다(S650)

이후 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면(S640-N), 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 취소할 수 있다(S660).

프로세서(150)는 감지된 입력이 조리 장치(100)를 이용하는 조리 행위인지 여부와 무관하게 감지된 입력에 대응되는 조리 동작을 먼저 수행하고, 이후 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면 사후적으로 수행된 조리 동작을 취소하므로 프로세서의 처리 속도가 느리거나, 영상 프레임을 식별하는 속도가 느린 경우 활용될 수 있다.

상술한 바와 같이 프로세서(150)는 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지, 사용자 인터페이스(120)를 통해 감지된 입력 및 획득한 레시피 정보에 기초하여 다양한 방식으로 조리 장치(100)의 제어 동작을 수행할 수 있다.

이하에서는 도 7과 함께 프로세서(150)가 획득한 영상을 분할한 영상 프레임에 기초하여 감지된 입력이 사용자의 조리 행위에 대응되는지 여부를 식별하는 방법을 한 단계 구체적으로 설명한다.

도 7a 및 7b는 본 개시의 일 실시 예에 따른, 조리 장치(100)가 획득한 이미지의 구간 영상 프레임들에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별하는 동작을 설명하기 위한 도면이다.

도 7a를 참조하면, 프로세서(150)는 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 복수의 영상 프레임들(710-1)을 획득할 수 있다.

프로세서(150)는 획득된 복수의 영상 프레임들(710-1) 중 기 설정된 구간 별로 분할된 구간 영상 프레임들을 식별할 수 있다. 여기서, 구간 영상 프레임들은 기 설정된 시간 단위로 분할된 것일 수 있으며, 원칙적으로 동일한 영상 프레임을 포함하지 않는다.

프로세서(150)는 식별된 구간 영상 프레임들에 기초하여 감지된 입력(720)이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다.

여기서, 영상 프레임에 포함된 조리 행위가 어떤 행위인지 식별하기 위해 인공지능 모델(예: 사용자의 조리 행위 분류 모델)이 활용될 수 있다. 사용자의 조리 행위 분류 모델은 입력 데이터인 이미지 또는 음성 데이터와 출력 데이터인 사용자의 조리 행위에 대응되는 벡터 값을 학습 데이터로 하여 학습된 인공지능 모델일 수 있다.

프로세서(150)는 메모리(140) 또는 외부 서버에 저장된 사용자의 조리 행위 분류 모델에 이미지 또는 음성 데이터를 입력하여 사용자의 조리 행위에 대응 되는 벡터 값을 획득할 수 있다. 프로세서(150)는 사용자의 조리 행위 분류 모델로부터 출력된 벡터 값에 기초하여 종류별로 분류된 사용자의 조리 행위에 대한 정보를 획득할 수 있다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

프로세서(150)는 학습된 인공지능 모델에 복수의 영상 프레임들(710-1)을 입력하여 복수의 영상 프레임들에 포함되어 있는 사용자의 조리 행위가 어떤 조리 행위(예: 가열, 냉각, 굽기, 볶기, 섞기)에 해당되는지에 대한 정보를 획득할 수 있다. 프로세서(150)는 사용자 인터페이스(120)를 통해 감지된 입력(720)이 복수의 영상 프레임들(710-1) 중 인공지능 모델을 이용하여 식별된 사용자의 조리 행위에 대응되는지 여부를 식별하여 조리 동작 수행 여부를 결정할 수 있다.

프로세서(150)는 인공지능 모델을 이용하여 출력된 벡터 값의 신뢰도가 기 설정된 값 이하인 것으로 식별되면, 획득된 레시피 정보에 기초하여 조리 장치(100)의 제어에 관한 입력이 현재 조리 단계에 대응되는 것인지 여부를 식별할 수 있다. 획득된 레시피 정보에 기초하여 조리 장치(100)의 제어에 관한 입력이 현재 조리 단계에 대응되는 것으로 식별되면, 프로세서(150)는 조리 장치(100)의 제어에 관한 입력에 기초하여 현재 조리 단계에서 화력을 조절하거나 조리 장치의 전원을 on/off하는 동작을 수행할 수 있다.

도 7b를 참조하면, 분할된 구간 영상 프레임들은 기 설정된 구간별로 식별된 제1 구간 영상 프레임들과 제2 구간 영상 프레임들을 포함하고, 제1 구간 영상 프레임들과 제2 구간 영상 프레임들은 적어도 하나의 동일한 영상 프레임을 포함할 수 있다(710-2).

여기서, 프로세서(150)는 프로세싱 속도가 기 설정된 값 이상인지 여부를 식별할 수 있다. 여기서, 프로세서(150)는 CPU의 코어 개수, 클럭 속도, NPU의 유무, NPU의 속도 등에 기초하여 프로세싱 속도가 기 설정된 값 이상인지 여부를 식별할 수 있다. 여기서, NPU는 딥러닝(deep learning)을 가속화 할 수 있는 특화된 칩으로 NPU가 있는 경우는 연산의 일부를 NPU에 할당하여 더 고속의 연산이 가능해진다.

즉, 프로세서(150)는 CPU/NPU에 대한 정보 및 클럭 속도에 기초하여 영상 프레임 인식 속도를 식별할 수 있는 모듈을 포함할 수 있다.

프로세서(150)는 CPU의 코어 개수가 많을수록 프로세싱 속도가 빠른 것으로 식별할 수 있고, CPU의 코어 개수가 적을수록 프로세싱 속도가 느린 것으로 식별할 수 있다. 프로세서(150)는 클럭 속도가 빠를수록 프로세싱 속도가 빠른 것으로 식별할 수 있고 클럭 속도가 느릴수록 프로세싱 속도가 느린 것으로 식별할 수 있다. 프로세서(150)는 NPU가 존재하면 프로세싱 속도가 빠른 것으로 식별할 수 있고, NPU가 존재하지 않으면 프로세싱 속도가 느린 것으로 식별할 수 있다.

프로세서(150)의 프로세싱 속도가 기 설정된 값 이상인 것으로 식별된 경우, 프로세서(150)는 서로 다른 구간 영상 프레임들(710-2)이 적어도 하나의 동일한 영상 프레임을 포함 하는 오버래핑(Over Lapping) 방식으로 영상 프레임을 식별할 수 있다. 즉, 하나의 구간 영상 프레임들(710-2)이 중복된 영상 프레임을 포함함으로써 프로세서(150)는 영상 프레임에 포함된 사용자의 조리 행위에 대응되는 정보를 보다 빠르게 획득할 수 있다. 결과적으로, 프로세서(150)는 감지된 입력(720)이 영상 프레임에 포함된 사용자의 조리 행위에 대응되는지 여부를 보다 빠르게 식별할 수 있다.

또한, 프로세서(150)의 프로세싱 속도가 기 설정된 값 미만인 것으로 식별된 경우, 프로세서(150)는 감지된 입력이 조리 장치(100)를 이용하는 조리 행위인지 여부와 무관하게 감지된 입력에 대응되는 조리 동작을 수행할 수 있다.

프로세서(150)는 획득된 구간 영상 프레임들에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다.

이후 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되면, 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 유지할 수 있다.

이후 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 프로세서(150)는 감지된 입력에 대응되는 조리 동작을 취소할 수 있다.

도 8은 본 개시의 일 실시 예에 따른, 조리 장치(100)의 동작을 설명하기 위한 흐름도이다.

도 8을 참조하면, 조리 장치(100)는 카메라(110)를 통해 조리 장치(100) 및 조리 장치(100)의 주변부를 촬영한 이미지를 획득할 수 있다. 또한, 조리 장치(100)는 카메라(110)를 통해 조리 장치(100)가 조리 동작을 수행하는 조리부 및 조리부의 주변부를 촬영한 이미지를 획득할 수도 있다(S810).

다만, 이에 국한되는 것은 아니며, 조리 장치(100)는 통신 인터페이스(130)를 통해 외부 전자 장치 또는 외부 서버와 통신 연결을 수행하여 조리 장치(100), 조리 장치(100)가 조리 동작을 수행하는 조리부, 조리 장치(100)의 주변부, 조리부의 주변부 등을 촬영한 이미지를 획득할 수도 있다.

조리 장치(100)는 이미지가 획득되는 동안 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 입력을 감지할 수 있다(S820). 여기서 조리 장치(100)의 제어에 관한 입력은 조리 장치(100)가 조리 동작을 수행하도록 하는 제어 명령일 수 있다.

구체적으로 조리 장치(100)는 이미지가 획득되는 동안 터치형 사용자 인터페이스(120)를 통해 조리 장치(100)의 제어에 관한 터치 입력, 비접촉 제스처 입력, 버튼 또는 레버의 조작 입력 등을 감지할 수 있다.

조리 장치(100)는 획득된 이미지에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다. 다만, 이에 국한되지 않고 조리 장치(100)는 스피커(미도시)를 통해 획득된 오디오 데이터에 기초하여 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는지 여부를 식별할 수 있다. 여기서, 오디오 데이터는 조리 행위에 대응되는 소리(예: 끓는 소리, 튀기는 소리, 굽는 소리, 볶는 소리 등)일 수 있다.

사용자 인터페이스(120)를 통해 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되면, 조리 장치(100)는 감지된 입력에 대응되는 조리 동작을 수행할 수 있다(S830).

사용자 인터페이스(120)를 통해 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 조리 장치(100)는 감지된 입력에 대응되는 조리 동작을 수행하지 않을 수 있다.

또한, 감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되면, 조리 장치(100)는 통신 인터페이스(130)를 통해 외부 전자 장치 또는 외부 서버로부터 획득한 레시피 정보에 기초하여 조리 장치(100)를 이용하는 조리 행위가 현재 조리 단계에 매칭되는지 여부를 식별할 수 있다.

감지된 입력이 조리 장치(100)를 이용하는 조리 행위에 대응되는 것으로 식별되고 조리 행위가 현재 조리 단계에 매칭되는 것으로 식별되면, 조리 장치(100)는 감지된 입력에 대응되는 조리 동작을 수행할 수 있다.

조리 장치(100)는 조리 행위가 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 감지된 입력이 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공할 수 있다.

이외에 조리 장치는 조리 행위가 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 레시피 정보에 기초하여 현재 조리 단계에 매칭되는 조리 행위에 대한 정보를 포함하는 알림을 제공하는 조리 장치.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 조리 장치
110: 카메라
120: 사용자 인터페이스
130: 통신 인터페이스
140: 메모리
150: 프로세서

Claims

조리 장치에 있어서,
상기 조리 장치 및 상기 조리 장치의 주변부를 촬영하는 카메라;
상기 조리 장치의 제어에 관한 입력을 감지하는 사용자 인터페이스;
적어도 하나의 인스트럭션을 저장하는 메모리; 및
상기 적어도 하나의 인스트럭션을 실행하는 하나 이상의 프로세서;를 포함하고,
상기 프로세서는,
상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 이미지를 획득하고,
상기 이미지가 획득되는 동안 상기 조리 장치의 제어에 관한 입력을 감지하고,
상기 획득된 이미지에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하고,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 조리 장치.
제1항에 있어서,
상기 프로세서는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하지 않는 조리 장치.
제1항에 있어서,
상기 조리 장치는,
외부 전자 장치와 통신 연결을 수행하는 통신 인터페이스;를 더 포함하고,
상기 프로세서는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 조리 장치를 이용하는 조리 행위가 현재 조리 단계에 매칭되는지 여부를 식별하고,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되고 상기 조리 행위가 상기 현재 조리 단계에 매칭되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 조리 장치.
제3항에 있어서,
상기 프로세서는
상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 감지된 입력이 상기 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공하는 조리 장치.
제3항에 있어서,
상기 프로세서는,
상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 현재 조리 단계에 매칭되는 조리 행위에 대한 정보를 포함하는 알림을 제공하는 조리 장치.
제1항에 있어서,
상기 프로세서는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위인지 여부와 무관하게 상기 감지된 입력에 대응되는 조리 동작을 수행하고,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 취소하는 조리 장치.
제1항에 있어서,
상기 프로세서는,
상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 복수의 영상 프레임들을 획득하고,
상기 획득된 복수의 영상 프레임들 중 기 설정된 구간 별로 분할된 구간 영상 프레임들을 식별하고,
상기 식별된 구간 영상 프레임들에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는, 조리 장치.
제7항에 있어서,
상기 분할된 구간 영상 프레임들은 상기 기 설정된 구간별로 식별된 제1 구간 영상 프레임들과 제2 구간 영상 프레임들을 포함하고,
상기 제1 구간 영상 프레임들과 제2 구간 영상 프레임들은 적어도 하나의 동일한 영상 프레임을 포함하는 조리 장치.
조리 장치의 제어 방법에 있어서,
상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 이미지를 획득하는 단계;
상기 이미지가 획득되는 동안 상기 조리 장치의 제어에 관한 입력을 감지하는 단계;
상기 획득된 이미지에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 단계; 및
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 단계;를 포함하는 제어 방법.
제9항에 있어서,
상기 조리 동작을 수행하는 단계는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하지 않는 제어 방법.
제9항에 있어서,
상기 제어 방법은,
상기 조리 장치를 이용하는 조리 행위를 포함하는 조리 방법에 대한 레시피 정보를 획득하는 단계;를 더 포함하고,
상기 식별하는 단계는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 조리 장치를 이용하는 조리 행위가 현재 조리 단계에 매칭되는지 여부를 식별하는 단계;를 더 포함하고,
상기 조리 동작을 수행하는 단계는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되고 상기 조리 행위가 상기 현재 조리 단계에 매칭되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 제어 방법.
제11항에 있어서,
상기 조리 동작을 수행하는 단계는,
상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 감지된 입력이 상기 현재 조리 단계에 대응되는 것인지 여부를 확인하는 알림을 제공하는 제어 방법.
제11항에 있어서,
상기 조리 동작을 수행하는 단계는,
상기 조리 행위가 상기 현재 조리 단계에 매칭되지 않는 것으로 식별되면, 상기 레시피 정보에 기초하여 상기 현재 조리 단계에 매칭되는 조리 행위에 대한 정보를 포함하는 알림을 제공하는 제어 방법.
제9항에 있어서,
상기 조리 동작을 수행하는 단계는,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위인지 여부와 무관하게 상기 감지된 입력에 대응되는 조리 동작을 수행하고,
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되지 않는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 취소하는 제어 방법.
제9항에 있어서,
상기 획득하는 단계는,
상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 복수의 영상 프레임들을 획득하고,
상기 식별하는 단계는,
상기 획득된 복수의 영상 프레임들 중 기 설정된 구간 별로 분할된 구간 영상 프레임들을 식별하고,
상기 식별된 구간 영상 프레임들에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 제어 방법.
제15항에 있어서,
상기 분할된 구간 영상 프레임들은 상기 기 설정된 구간별로 식별된 제1 구간 영상 프레임들과 제2 구간 영상 프레임들을 포함하고,
상기 제1 구간 영상 프레임들과 제2 구간 영상 프레임들은 적어도 하나의 동일한 영상 프레임을 포함하는 제어 방법.
전자 장치의 프로세서의 의해 실행되어 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독가능 기록매체에 있어서,
상기 조리 장치 및 상기 조리 장치의 주변부를 촬영한 이미지를 획득하는 단계;
상기 이미지가 획득되는 동안 상기 조리 장치의 제어에 관한 입력을 감지하는 단계;
상기 획득된 이미지에 기초하여 상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는지 여부를 식별하는 단계; 및
상기 감지된 입력이 상기 조리 장치를 이용하는 조리 행위에 대응되는 것으로 식별되면, 상기 감지된 입력에 대응되는 조리 동작을 수행하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.