KR20240057959A

KR20240057959A - 조리 기기 및 그 제어 방법

Info

Publication number: KR20240057959A
Application number: KR1020230022365A
Authority: KR
Inventors: 가기환; 한성주
Original assignee: 삼성전자주식회사
Priority date: 2022-10-25
Filing date: 2023-02-20
Publication date: 2024-05-03

Abstract

조리 기기는, 조리물을 수용하는 챔버;와, 챔버 내부의 영상을 획득하는 카메라;와, 조리물의 버닝 상태를 추정하도록 학습된 모델을 저장하는 메모리와, 사용자 인터페이스; 및 카메라, 메모리 및 사용자 인터페이스와 전기적으로 연결된 제어부;를 포함한다. 제어부는, 학습된 모델을 이용하여 카메라에 의해 획득된 영상 내의 조리물의 버닝 상태를 추정하고, 조리물의 버닝 상태를 사용자에게 알리도록 사용자 인터페이스를 제어한다.

Description

조리 기기 및 그 제어 방법{COOKING APPARATUS AND CONTROLLING METHOD THEREOF}

본 개시는 조리실 내부를 촬영하는 카메라가 마련된 조리 기기 및 그 제어 방법에 관한 것이다.

조리 기기는, 음식물과 같은 조리 대상을 가열하여 조리하기 위한 기기로, 조리 대상의 가열, 해동, 건조 및 살균 등 조리와 관련된 여러 기능을 제공할 수 있는 장치를 의미한다. 예를 들면, 조리 기기는, 가스 오븐이나 전기 오븐과 같은 오븐(oven), 마이크로파 가열 장치(이하 전자 레인지, microwave), 가스 레인지, 전기 레인지, 가스 그릴 또는 전기 그릴을 의미할 수 있다.

일반적으로 오븐은 열을 발생시키는 히터를 이용하여 음식물에 직접 열을 전달하거나 조리실 내부를 가열하여 음식물을 조리한다. 전자 레인지는 고주파를 열원으로 하여 음식물의 분자 배열을 교란시킴에 따라 발생되는 분자간 마찰열에 의해 음식물을 조리한다.

최근에는 조리 기기의 챔버 내에 카메라를 설치하고 카메라에 의해 획득된 영상을 인식하여 조리물의 조리 상태를 인식하는 기술이 등장하고 있다.

본 개시의 일 측면은, 인공 지능 모델을 이용하여 조리물의 버닝 상태를 인식하고 조리물의 버닝 상태를 사용자에게 알릴 수 있는 조리 기기 및 그 제어 방법을 제공한다.

일 실시예에 따른 조리 기기(1)는, 조리물을 수용하는 챔버(50); 상기 챔버(50) 내부의 영상을 획득하는 카메라(60); 조리물의 버닝 상태를 추정하도록 학습된 모델을 저장하는 메모리(220); 사용자 인터페이스(40); 및 상기 카메라(60), 메모리(220) 및 사용자 인터페이스(40)와 전기적으로 연결된 제어부(200);를 포함하고, 상기 제어부는, 상기 학습된 모델을 이용하여 상기 카메라에 의해 획득된 영상 내의 조리물의 버닝 상태를 추정하고, 상기 조리물의 버닝 상태를 사용자에게 알리도록 상기 사용자 인터페이스를 제어한다.

일 실시예에 따른 조리 기기의 제어 방법은, 챔버(50) 내부의 영상을 획득하고; 조리물의 버닝 상태를 추정하도록 학습된 모델을 이용하여 상기 영상 내의 조리물의 버닝 상태를 추정하고; 사용자 인터페이스(40)를 통해 상기 조리물의 버닝 상태를 사용자에게 알리는 것;을 포함한다.

본 문서에서 달성하고자 하는 기술적 과제 및 효과는 전술된 것으로 제한되지 않으며, 언급된 것들 이외의 다른 기술적 과제 및 효과도 아래의 설명으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 다양한 전자 장치들에 의해 구현되는 네트워크 시스템을 도시한다.
도 2는 일 실시예에 따른 조리 기기의 사시도이다.
도 3은 일 실시예에 따른 조리 기기의 단면도이다.
도 4는 트레이가 챔버 측벽의 제1 지지대에 거치된 예를 도시한다.
도 5는 일 실시예에 따른 조리 기기의 제어 구성들을 도시한다.
도 6은 도 5에서 설명된 제어부의 구조를 예시한다.
도 7은 일 실시예에 따른 조리 기기의 학습된 모델의 일예를 나타낸다.
도 8은 일 실시예에 따른 조리 기기의 학습된 모델에 사용된 기준 영상에 대한 테이블을 나타낸다.
도 9는 일 실시예에 따른 조리 기기의 제어 방법을 설명하는 순서도이다.
도 10은 일 실시예에 따른 조리 기기에서 CNN과 RNN이 조합된 학습된 모델을 이용하여 조리물의 버닝 상태를 추정하는 과정을 도시한다.
도 11은 일 실시예에 따른 조리 기기에서 조리물이 버닝 인식 가능한 조리물인지 판단하는 것을 설명하는 순서도이다.
도 12는 일 실시예에 따른 조리 기기에서 CNN을 이용하여 조리물의 버닝 상태를 추정하는 것을 설명하는 순서도이다.
도 13은 일 실시예에 따른 조리 기기에서 CNN 및 RNN의 조합을 이용하여 조리물의 버닝 상태를 추정하는 것을 설명하는 순서도이다.
도 14는 일 실시예에 따른 조리 기기에서 학습된 모델에 의해 추정된 조리물의 클래스별 버닝상태를 나타낸다.
도 15는 일 실시예에 따른 조리 기기에서 조리물의 클래스별 버닝상태를 시계열적으로 나타낸 그래프이다.
도 16은 일 실시예에 따른 조리 기기에서 조리물의 클래스별 버닝상태 구간을 나타낸다.
도 17은 일 실시예에 따른 조리 기기에서 현재 버닝 클래스와 목표 버닝 클래스의 차이에 따른 제어를 설명하기 위한 순서도이다.
도 18은 일 실시예에 따른 조리 기기에서 버닝 상태 판단 기능을 설정하는 화면을 나타낸다.
도 19는 일 실시예에 따른 조리 기기에서 클래스별 버닝 상태 알림 기능을 설정하는 화면을 나타낸다.
도 20은 일 실시예에 따른 조리 기기에서 Burn 감지시 제어 기능을 설정하는 화면을 나타낸다.
도 21은 일 실시예에 따른 조리 기기에서 현재 버닝 클래스와 목표 버닝 클래스와의 차이에 제어 기능을 설정하는 화면을 나타낸다.
도 22는 일 실시예에 따른 조리 기기에서 버닝 클래스별 제어 기능을 설정하는 화면을 나타낸다.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.

도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다.

본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.

"제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.

어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

“포함하다” 또는 "가지다"등의 용어는 본 문서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.

어떤 구성요소가 다른 구성요소와 "연결", "결합", "지지" 또는 "접촉"되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다.

어떤 구성요소가 다른 구성요소 "상에" 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우뿐 아니라 두 구성요소 사이에 또 다른 구성요소가 존재하는 경우도 포함한다.

“및/또는"이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예에 대해 설명한다.

도 1은 다양한 전자 장치들에 의해 구현되는 네트워크 시스템을 도시한다.

도 1을 참조하면, 가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 가전 기기(10)의 동작을 제어하는 적어도 하나의 프로세서 및 가전 기기(10)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.

가전 기기(10)는 다양한 종류의 가전 제품들 중 적어도 하나일 수 있다. 예를 들어, 가전 기기(10)는 도시된 바와 같이 냉장고(11), 식기세척기(12), 전기레인지(13), 전기오븐(14), 공기조화기(15), 의류 관리기(16), 세탁기(17), 건조기(18), 마이크로파 오븐(19) 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니며, 예를 들어, 도면에 도시되지 않은 청소 로봇, 진공 청소기, 텔레비전 등의 다양한 타입의 가전 제품을 포함할 수 있다. 또한, 앞서 언급된 가전 제품들은 예시에 불과하며, 앞서 언급된 가전 제품들 외에도, 다른 가전 기기, 사용자 기기(2) 또는 서버(3)와 연결되어 후술하는 동작을 수행할 수 있는 기기는 일 실시예에 따른 가전 기기(10)에 포함될 수 있다.

서버(3)는 다른 서버, 가전 기기(10) 또는 사용자 기기(2)와 통신할 수 있는 통신 모듈, 다른 서버, 가전 기기(10) 또는 사용자 기기(2)로부터 수신된 데이터를 처리할 수 있는 적어도 하나의 프로세서 및 데이터를 처리하기 위한 프로그램 또는 처리된 데이터를 저장할 수 있는 적어도 하나의 메모리를 포함할 수 있다. 이러한 서버(3)는 워크스테이션(workstation), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양한 컴퓨팅 디바이스로 구현될 수 있다. 서버(3)는 기능, 기능의 세부 구성 또는 데이터 등을 기준으로 물리적 또는 논리적으로 구분된 하나 이상의 서버로 구현될 수 있으며, 각 서버 간의 통신을 통해 데이터를 송수신하고 송수신된 데이터를 처리할 수 있다.

서버(3)는 사용자 계정을 관리하고, 사용자 계정에 결부시켜 가전 기기(10)를 등록하고, 등록된 가전 기기(10)를 관리하거나 제어하는 등의 기능을 수행할 수 있다. 예를 들어, 사용자는 사용자 기기(2)를 통해 서버(3)에 접속하여, 사용자 계정을 생성할 수 있다. 사용자 계정은 사용자에 의해 설정된 아이디와 비밀번호에 의해 식별될 수 있다. 서버(3)는 정해진 절차에 따라 가전 기기(10)를 사용자 계정에 등록할 수 있다. 예를 들어, 서버(3)는 가전 기기(10)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address) 등)를 사용자 계정에 연결하여, 가전 기기(10)를 등록, 관리, 제어할 수 있다. 사용자 기기(2)는 가전 기기(10) 또는 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 사용자 기기(2)의 동작을 제어하는 적어도 하나의 프로세서 및 사용자 기기(2)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.

사용자 기기(2)는 사용자가 휴대하거나, 사용자의 가정 또는 사무실 등에 배치될 수 있다. 사용자 기기(2)는 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

사용자 기기(2)의 메모리에는 가전 기기(10)를 제어하기 위한 프로그램, 즉 어플리케이션이 저장될 수 있다. 어플리케이션은 사용자 기기(2)에 설치된 상태로 판매되거나, 외부 서버로부터 다운로드 받아 설치될 수 있다.

사용자가 사용자 기기(2)에 설치된 어플리케이션을 실행함으로써 서버(3)에 접속하여 사용자 계정을 생성하고, 로그인 된 사용자 계정을 기반으로 서버(3)와 통신을 수행하여 가전 기기(10)를 등록할 수 있다.

예를 들어, 사용자 기기(2)에 설치된 어플리케이션에서 안내하는 절차에 따라 가전 기기(10)가 서버(3)에 접속될 수 있도록 가전 기기(10)를 조작하면, 서버(3)에서 해당 사용자 계정에 가전 기기(10)의 식별 정보(예: 시리얼 넘버 또는 맥 주소(MAC address) 등)를 등재함으로써, 사용자 계정에 가전 기기(10)를 등록할 수 있다.

사용자는 사용자 기기(2)에 설치된 어플리케이션을 이용하여 가전 기기(10)를 제어할 수 있다. 예를 들어, 사용자가 사용자 기기(2)에 설치된 어플리케이션으로 사용자 계정에 로그인 하면, 사용자 계정에 등록된 가전 기기(10)가 나타나고, 가전 기기(10)에 대한 제어 명령을 입력하면 서버(3)를 통해 가전 기기(10)에 제어 명령을 전달할 수 있다.

네트워크는 유선 네트워크와 무선 네트워크를 모두 포함할 수 있다. 유선 네트워크는 케이블 네트워크 또는 전화 네트워크 등을 포함하며, 무선 네트워크는 전파를 통하여 신호를 송수신하는 모든 네트워크를 포함할 수 있다. 유선 네트워크와 무선 네트워크는 서로 연결될 수 있다.

네트워크는 인터넷 같은 광역 네트워크(wide area network, WAN), 접속 중계기(Access Point, AP)를 중심으로 형성된 지역 네트워크(local area network, LAN) 및/또는 접속 중계기(AP)를 통하지 않는 근거리 무선 네트워크를 포함할 수 있다. 근거리 무선 네트워크는, 예를 들면, 블루투스(Bluetooth™, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4), 와이파이 다이렉트(Wi-Fi Direct), NFC(Near Field Communication), 지-웨이브(Z-Wave) 등을 포함할 수 있으나, 예시된 것들로 한정되지 않는다.

접속 중계기(AP)는 가전 기기(10) 또는 사용자 기기(2)를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 가전 기기(10) 또는 사용자 기기(2)는 광역 네트워크(WAN)를 통해 서버(3)에 연결될 수 있다.

접속 중계기(AP)는 와이파이(Wi-Fi™, IEEE 802.11), 블루투스(Bluetooth™, IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4) 등의 무선 통신을 이용하여 가전 기기(10) 또는 사용자 기기(2)와 통신하고 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있으나, 이에 한정되는 것은 아니다.

다양한 실시예에 따라, 가전 기기(10)는 접속 중계기(AP)를 통하지 않고 사용자 기기(2) 또는 서버(3)와 직접 연결될 수도 있다.

가전 기기(10)는 원거리 무선 네트워크 또는 근거리 무선 네트워크를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.

예를 들어, 가전 기기(10)는 근거리 무선 네트워크(예: 와이파이 다이렉트)를 통해 사용자 기기(2)와 연결될 수 있다.

또 다른 예로, 가전 기기(10)는 원거리 무선 네트워크(예: 셀룰러 통신 모듈)를 이용하여 광역 네트워크(WAN)를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.

또 다른 예로, 가전 기기(10)는 유선 통신을 이용하여 광역 네트워크(WAN)에 접속하고, 광역 네트워크(WAN)를 통해 사용자 기기(2) 또는 서버(3)와 연결될 수 있다.

가전 기기(10)가 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있는 경우, 접속 중계기로서 동작할 수도 있다. 이에 따라, 가전 기기(10)는 다른 가전 기기를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 또한, 다른 가전 기기는 가전 기기(10)를 서버(3)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다.

가전 기기(10)는 네트워크를 통하여 동작 또는 상태에 관한 정보를 다른 가전 기기, 사용자 기기(2) 또는 서버(3)에 전송할 수 있다. 예를 들어, 가전 기기(10)는 서버(3)로부터 요청이 수신되는 경우, 가전 기기(10)에서 특정 이벤트가 발생한 경우, 또는 주기적으로 또는 실시간으로 동작 또는 상태에 관한 정보를 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로 전송할 수 있다. 서버(3)는 가전 기기(10)로부터 동작 또는 상태에 관한 정보가 수신되면 저장되어 있던 가전 기기(10)의 동작 또는 상태에 관한 정보를 업데이트하고, 네트워크를 통하여 사용자 기기(2)에 가전 기기(10)의 동작 및 상태에 관한 업데이트된 정보를 전송할 수 있다. 여기서, 정보의 업데이트란 기존 정보에 새로운 정보를 추가하는 동작, 기존 정보를 새로운 정보로 대체하는 동작 등 기존 정보가 변경되는 다양한 동작을 포함할 수 있다.

가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로부터 다양한 정보를 획득하고, 획득된 정보를 사용자에게 제공할 수 있다. 예를 들어, 가전 기기(10)는 서버(3)로부터 가전 기기(10)의 기능과 관련된 정보(예를 들어, 조리법, 세탁법 등), 다양한 환경 정보(예를 들어, 날씨, 온도, 습도 등)의 정보를 획득하고, 사용자 인터페이스를 통해 획득된 정보를 출력할 수 있다.

가전 기기(10)는 다른 가전 기기, 사용자 기기(2) 또는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 예를 들어, 가전 기기(10)는 사용자 입력이 없더라도 서버(3)의 제어 명령에 따라 동작할 수 있도록 사용자의 사전 승인을 획득한 경우, 가전 기기(10)는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 여기서, 서버(3)로부터 수신되는 제어 명령은 사용자가 사용자 기기(2)를 통해 입력한 제어 명령 또는 기 설정된 조건에 기초한 제어 명령 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

사용자 기기(2)는 통신 모듈을 통해 사용자에 관한 정보를 가전 기기(10) 또는 서버(3)에 전송할 수 있다. 예를 들어, 사용자 기기(2)는 사용자의 위치, 사용자의 건강 상태, 사용자의 취향, 사용자의 일정 등에 관한 정보를 서버(3)에 전송할 수 있다. 사용자 기기(2)는 사용자의 사전 승인에 따라 사용자에 관한 정보를 서버(3)에 전송할 수 있다.

가전 기기(10), 사용자 기기(2) 또는 서버(3)는 인공 지능 등의 기술을 이용하여 제어 명령을 결정할 수 있다. 예를 들어, 서버(3)는 가전 기기(10)의 동작 또는 상태에 관한 정보를 수신하거나 사용자 기기(2)의 사용자에 관한 정보를 수신하여 인공 지능 등의 기술을 이용하여 처리하고, 처리 결과에 기초하여 가전 기기(10) 또는 사용자 기기(2)에 처리 결과 또는 제어 명령을 전송할 수 있다.

이하에서 설명되는 조리 기기(1)는 전술된 가전 기기(10)에 해당한다.

도 2는 일 실시예에 따른 조리 기기의 사시도이다. 도 3은 일 실시예에 따른 조리 기기의 단면도이다. 도 4는 트레이가 챔버 측벽의 제1 지지대에 거치된 예를 도시한다.

도 2, 도 3 및 도 4를 참조하면, 조리 기기(1)는, 외관을 형성하는 하우징(1h)과, 하우징(1h)의 개구를 개폐하도록 마련되는 도어(20)를 포함할 수 있다. 도어(20)는 적어도 하나의 투명 유리판(21)을 포함할 수 있다. 예를 들면, 도어(20)는 도어(20)의 외면을 형성하는 제1 투명 유리판(21)과 도어(20)의 내면을 형성하는 제2 투명 유리판(22)을 포함할 수 있다. 또한, 제1 투명 유리판(21)과 제2 투명 유리판(22) 사이에 제3 투명 유리판(23)이 배치될 수도 있다. 도어(20)가 3중 투명 유리판을 포함하는 것으로 예시되었으나, 이에 제한되지 않는다. 도어(20)는 2중 투명 유리판 또는 4중 투명 유리판을 포함할 수도 있다.

도어(20)에 포함되는 적어도 하나의 투명 유리판(21, 22, 23)은 윈도우 역할을 할 수 있다. 사용자는 도어(20)가 닫혀 있을 때 투명 유리판(21, 22, 23)을 통해 챔버(50) 내부를 관찰할 수 있다. 투명 유리판(21, 22, 23)은 내열 유리로 형성될 수 있다.

조리 기기(1)의 하우징(1h)에는 조리 기기(1)의 동작과 관련된 정보를 표시하고 사용자 입력을 획득하기 위한 사용자 인터페이스(40)가 마련될 수 있다. 사용자 인터페이스(40)는 조리 기기(1)의 동작과 관련된 정보를 표시하는 디스플레이(41)와 사용자의 입력을 획득하는 입력부(42)를 포함할 수 있다. 디스플레이(41)와 입력부(42)는 하우징(1h)의 다양한 위치에 마련될 수 있다. 예를 들면, 디스플레이(41)와 입력부(42)는 하우징(1h)의 상측 전면에 위치할 수 있다.

디스플레이(41)는 다양한 종류의 디스플레이 패널로 제공될 수 있다. 예를 들어, 디스플레이(41)는 액정 디스플레이 패널(Liquid Crystal Display Panel, LCD Panel), 발광 다이오드 패널(Light Emitting Diode Panel, LED Panel), 유기 발광 다이오드 패널(Organic Light Emitting Diode Panel, OLED Panel), 또는 마이크로 LED 패널을 포함할 수 있다. 디스플레이(41)는 터치 스크린을 포함하여 입력 장치로도 사용될 수 있다.

디스플레이(41)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다. 디스플레이(41)는 조리 기기(1)의 동작과 관련된 정보를 영상 또는 텍스트 중 적어도 하나로 표시할 수 있다. 또한, 디스플레이(41)는 조리 기기(1)의 제어를 가능하게 하는 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 표시할 수 있다. 즉, 디스플레이(41)는 아이콘(Icon)과 같은 UI 엘리먼트(User Interface Element)를 표시할 수 있다.

입력부(42)는 사용자 입력에 대응하는 전기적 신호(전압 또는 전류)를 제어부(200)로 전송할 수 있다. 입력부(42)는 다양한 버튼들 및/또는 다이얼을 포함할 수 있다. 예를 들면, 입력부(42)는 조리 기기(1)의 전원을 온 또는 오프 하기 위한 전원 버튼, 조리 동작을 시작 또는 정지하기 위한 시작/정지 버튼, 조리 코스를 선택하기 위한 조리 코스 버튼, 조리 온도를 설정하기 위한 온도 버튼 및 조리 시간을 설정하기 위한 시간 버튼 중 적어도 하나를 포함할 수 있다. 다양한 버튼들은 물리 버튼 또는 터치 버튼으로 마련될 수 있다.

입력부(42)에 포함되는 다이얼은 회전 가능하게 마련될 수 있다. 다이얼의 회전에 의해 복수의 조리 코스 중 하나가 선택될 수 있다. 다이얼의 회전에 따라 디스플레이(41)에 표시되는 UI 엘리먼트들이 순차적으로 이동할 수 있다. 조리 기기(1)는 선택된 조리 코스에 따라 조리를 수행할 수 있다. 조리 코스는 조리 온도, 조리 시간, 히터(80)의 출력 및 팬(90)의 출력과 같은 조리 파라미터를 포함할 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 다른 조리 코스가 선택될 수 있다.

조리 기기(1)는 하우징(1h) 내부에 마련되고 조리물이 위치할 수 있는 챔버(50)를 포함할 수 있다. 하우징(1h)의 전방에는 개구가 마련될 수 있다. 사용자는 하우징(1h)의 개구를 통해 조리물을 챔버(50) 내에 위치시킬 수 있다. 챔버(50)는 직육면체 형상으로 마련될 수 있다.

챔버(50)의 양 측벽에는 트레이(T)의 거치를 위한 복수의 지지대(51, 52)가 마련될 수 있다. 지지대는 '레일'로 호칭될 수도 있다. 일 예로, 복수의 지지대(51, 52)는 챔버(50)의 좌측 내벽과 우측 내벽으로부터 돌출되도록 형성될 수 있다. 다른 예로, 복수의 지지대(51, 52)는 별도의 구조물로서 챔버(50)의 좌측 내벽과 우측 내벽에 장착 가능하도록 마련될 수 있다.

복수의 지지대(51, 52) 각각은 전후 방향으로 미리 정해진 길이를 갖는다. 복수의 지지대(51, 52)는 상하 방향으로 서로 떨어진 위치에 마련될 수 있다. 예를 들면, 복수의 지지대(51, 52)는 제1 지지대(51)와, 제1 지지대(51)의 위치보다 높은 위치에 형성되는 제2 지지대(52)를 포함할 수 있다. 제1 지지대(51)는 챔버(50)의 바닥(50a)으로부터 제1 높이(h1)에 위치할 수 있다. 제2 지지대(52)는 챔버(50)의 바닥(50a)으로부터 제1 높이(h1)보다 높은 제2 높이(h2)에 위치할 수 있다.

제1 지지대(51)는 챔버(50)의 좌측 내벽과 우측 내벽 각각의 제1 높이에 위치하는 한 쌍의 지지대를 의미할 수 있다. 제2 지지대(52)는 챔버(50)의 좌측 내벽과 우측 내벽 각각의 제2 높이에 위치하는 한 쌍의 지지대를 의미할 수 있다. 챔버(50) 내 공간은 복수의 지지대(51, 52)에 의해 복수의 층으로 구분될 수 있다. 예를 들면, 챔버(50)의 바닥(50a)은 1층(F1)을 형성하고, 제1 지지대(51)는 2층(F2)을 형성하며, 제2 지지대(52)는 3층(F3)을 형성할 수 있다.

복수의 지지대(51, 52)에 의해 트레이(T)가 챔버(50) 내에서 다양한 높이에 거치될 수 있다. 예를 들면, 트레이(T)는 챔버(50)의 바닥(50a), 제1 지지대(51) 또는 제2 지지대(52)에 거치될 수 있다. 트레이(T)가 챔버(50) 내에 투입되면, 트레이(T)의 상면은 챔버(50)의 천장과 마주할 수 있다. 트레이(T)의 상면에는 조리물이 위치할 수 있다. 트레이(T)는 다양한 형상을 가질 수 있다. 예를 들면, 트레이(T)는 직사각형 또는 원형으로 마련될 수 있다.

복수의 트레이가 동시에 거치되는 경우, 복수의 조리 공간이 형성될 수 있다. 예를 들면, 복수의 트레이가 챔버(50)의 바닥(50a), 제1 지지대(51) 및 제2 지지대(52) 모두에 거치되면, 챔버(50) 내에는 1층 공간, 2층 공간 및 3층 공간이 형성될 수 있다.

챔버(50)의 양 측벽에서 서로 다른 높이에 2개의 지지대(51, 52)가 마련되는 것으로 예시되었으나, 이에 제한되지 않는다. 설계에 따라 다양한 개수의 레일이 마련될 수 있다. 챔버(50)가 클수록 많은 수의 레일이 마련될 수 있다.

챔버(50)와 하우징(1h) 사이에는 조리 기기(1)의 동작에 필요한 다양한 부품들이 배치될 수 있다. 예를 들면, 조리 기기(1)는 카메라(60), 조명(70), 팬(90) 및 다양한 회로를 포함할 수 있다.

카메라(60)는 챔버(50) 내부의 영상을 획득할 수 있다. 카메라(60)는 획득한 영상의 데이터를 제어부(200)로 전송할 수 있다. 카메라(60)는 렌즈와 영상 센서를 포함할 수 있다. 카메라(60)의 시야(FOV)를 확보하기 위해, 카메라(60)의 위치와 인접한 챔버(50)의 상면의 일부는 투명 소재(예를 들면, 투명 내열 유리)로 형성될 수 있다.

조명(70)은 챔버(50) 내부로 광을 방출할 수 있다. 조명(70)에서 방출되는 광에 의해 챔버(50) 내부가 밝아질 수 있다. 그에 따라 카메라(60)에 의해 획득된 영상의 밝기, 대비 및/또는 선명도가 증가할 수 있고, 영상에 포함된 오브젝트의 식별력이 향상될 수 있다. 조명(70)의 위치와 인접한 챔버(50)의 상면의 다른 일부에는 조명(70)의 광을 챔버(50) 내부로 투과시키고 확산시키기 위한 확산 소재가 마련될 수 있다.

챔버(50)의 상단에는 히터(80)가 위치할 수 있다. 히터(80)는 챔버(50) 내부로 열을 공급할 수 있다. 히터(80)가 생성하는 열에 의해 조리물이 조리될 수 있다. 히터(80)는 하나 이상으로 마련될 수 있다. 제어부(200)에 의해 히터(80)의 가열 레벨과 가열 시간이 조절될 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 히터(80)의 출력과 가열 시간이 다르게 조절될 수 있다. 즉, 조리 코스에 따라 히터(80)의 동작이 다르게 제어될 수 있다.

팬(90)은 챔버(50) 내부의 공기를 순환시킬 수 있다. 팬(90)은 모터와 블레이드를 포함할 수 있다. 팬(90)은 하나 이상으로 마련될 수 있다. 팬(90)이 동작함에 따라 히터(80)에 의해 가열된 공기가 챔버(50) 내부를 순환할 수 있다. 따라서 히터(80)에 의해 생성된 열이 챔버(50)의 상부로부터 하부까지 골고루 전달될 수 있다. 제어부(200)에 의해 팬(90)의 회전 속도와 회전 시간이 조절될 수 있다. 조리 코스에 따라 팬(90)의 동작이 다르게 제어될 수 있다. 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량 및/또는 크기에 따라 팬(90)의 출력과 회전 시간이 다르게 조절될 수 있다.

도 5는 일 실시예에 따른 조리 기기의 제어 구성들을 도시한다.

도 5를 참조하면, 조리 기기(1)는 사용자 인터페이스(40), 카메라(60), 조명(70), 히터(80), 팬(90), 통신 회로(100), 온도 센서(110) 및 제어부(200)를 포함할 수 있다. 제어부(200)는 조리 기기(1)의 구성요소들과 전기적으로 연결되고, 조리 기기(1)의 구성요소들을 제어할 수 있다.

사용자 인터페이스(40)는 디스플레이(41)와 입력부(42)를 포함할 수 있다. 디스플레이(41)는 조리 기기(1)의 동작과 관련된 정보를 표시할 수 있다. 디스플레이(41)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다.

입력부(42)는 사용자 입력을 획득할 수 있다. 사용자 입력은 다양한 명령을 포함할 수 있다. 예를 들면, 입력부(42)는, 아이템을 선택하는 명령, 조리 코스를 선택하는 명령, 히터(80)의 가열 레벨을 조절하는 명령, 조리 시간을 조절하는 명령, 조리 온도를 조절하는 명령, 조리 시작 명령 또는 조리 중지 명령 중 적어도 하나를 획득할 수 있다. 사용자 입력은 사용자 기기(2)로부터 획득될 수도 있다.

제어부(200)는 입력부(42) 또는 사용자 기기(2) 중 적어도 하나를 통해 수신되는 명령을 처리하여 조리 기기(1)의 작동을 제어할 수 있다. 조리 기기(1)는 메모리(220), 사용자 기기(2) 또는 서버(3)로부터 획득한 조리 코스 정보에 기초하여 조리를 자동으로 수행할 수 있다.

카메라(60)는 챔버(50) 내부의 영상을 획득할 수 있다. 카메라(60)는 미리 정해진 시야(FOV)를 가질 수 있다. 카메라(60)는 챔버(50)의 상부에 위치하고, 챔버(50)의 상면에서 챔버(50) 내부를 향하는 시야(FOV)를 가질 수 있다. 제어부(200)는 조리 기기(1)의 전원이 켜진 후 도어(20)가 닫히면 챔버(50) 내부의 영상을 획득하도록 카메라(60)를 제어할 수 있다. 제어부(200)는 조리가 시작된 후 조리가 완료될 때까지 미리 정해진 시간 간격마다 챔버(50) 내부의 영상을 획득하도록 카메라(60)를 제어할 수도 있다. 제어부(200)는 조리 동작이 수행되는 동안 획득되는 복수의 영상을 이용하여 조리물의 버닝 상태를 판단할 수 있다.

제어부(200)는 카메라(60)에 의해 획득된 챔버(50) 내부의 영상에 포함된 다양한 오브젝트를 식별할 수 있다. 제어부(200)는 영상에 포함된 조리물을 식별할 수 있다. 제어부(200)는 영상에 포함된 조리물의 버닝 상태를 추정할 수 있다. 제어부(200)는 메모리(220) 또는 서버(3)로부터 획득되는 학습된 모델을 이용하여 영상 내의 조리물의 버닝 상태를 추정할 수 있다. 제어부(200)는 조리물의 버닝 상태를 사용자에게 알리도록 사용자 인터페이스(40)를 제어할 수 있다.

조명(70)은 챔버(50) 내부로 광을 방출할 수 있다. 제어부(200)는 조리 기기(1)의 전원이 켜지면 광을 방출하도록 조명(70)을 제어할 수 있다. 제어부(200)는 조리가 완료될 때까지 또는 조리 기기(1)의 전원이 꺼질 때까지 광을 방출하도록 조명(70)을 제어할 수 있다.

히터(80)는 챔버(50) 내부로 열을 공급할 수 있다. 제어부(200)는 히터(80)의 출력을 조절할 수 있다. 예를 들면, 제어부(200)는 히터(80)의 가열 레벨과 가열 시간을 조절할 수 있다. 제어부(200)는 챔버(50) 내 트레이(T)의 위치, 조리물의 성질 및/또는 조리 코스에 따라 히터(80)의 가열 레벨과 가열 시간을 조절할 수 있다.

팬(90)은 챔버(50) 내부의 공기를 순환시킬 수 있다. 제어부(200)는 팬(90)의 출력을 조절할 수 있다. 예를 들면, 제어부(200)는 팬(90)의 회전 속도와 회전 시간을 조절할 수 있다. 제어부(200)는 챔버(50) 내 트레이(T)의 위치, 조리물의 종류, 수량, 개수 및/또는 크기에 따라 팬(90)의 회전 속도와 회전 시간을 조절할 수 있다.

통신 회로(100)는 네트워크를 통해 사용자 기기(2) 또는 서버(3) 중 적어도 하나와 연결을 수행할 수 있다. 제어부(200)는 통신 회로(100)를 통해 서버(3)로부터 다양한 정보, 다양한 신호 및/또는 다양한 데이터를 획득할 수 있다. 예를 들면, 통신 회로(100)는 사용자 기기(2)로부터 원격 제어 신호를 수신할 수 있다. 제어부(200)는 통신 회로(100)를 통해 서버(3)로부터 영상을 분석하는데 사용되는 학습된 모델을 획득할 수 있다.

통신 회로(100)는 다양한 통신 모듈을 포함할 수 있다. 통신 회로(100)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 무선 통신 기술로서, 무선 랜(wireless local area network), 홈 RF(Home Radio Frequency), 적외선 통신, UWB(Ultra-wide band) 통신, 와이파이, 블루투스, 지그비(Zigbee) 등이 적용될 수 있다.

온도 센서(110)는 챔버(50) 내부의 온도를 검출할 수 있다. 온도 센서(110)는 챔버(50) 내부의 다양한 위치에 설치될 수 있다. 온도 센서(110)는 검출된 온도에 대응하는 전기적 신호를 제어부(200)에 전송할 수 있다. 제어부(200)는 챔버(50) 내부의 온도가 조리물의 종류, 개수 및/또는 조리 코스에 따라 정해지는 조리 온도로 유지되도록 히터(80)와 팬(90) 중 적어도 하나를 제어할 수 있다.

이외에도, 조리 기기(1)는 다양한 센서를 포함할 수 있다. 예를 들면, 조리 기기(1)는 전류 센서와 전압 센서를 포함할 수 있다. 전류 센서는 조리 기기(1)의 전자 부품들에 인가되는 전류를 측정할 수 있다. 전압 센서는 조리 기기(1)의 전자 부품들에 인가되는 전압을 측정할 수 있다.

제어부(200)는 프로세서(210)와 메모리(220)를 포함할 수 있다. 프로세서(210)는 하드웨어로서, 논리 회로와 연산 회로를 포함할 수 있다. 프로세서(210)는 조리 기기(1)의 동작을 위해 메모리(220)에 저장된 프로그램, 인스트럭션 및/또는 데이터를 이용하여 전기적으로 연결된 조리 기기(1)의 구성요소들을 제어할 수 있다. 제어부(200)는 콘덴서, 인덕터 및 저항 소자와 같은 회로 소자를 포함하는 제어 회로로 구현될 수 있다. 프로세서(210)와 메모리(220)는 별도의 칩으로 구현되거나, 단일의 칩으로 구현될 수 있다. 또한, 제어부(200)는 복수의 프로세서와 복수의 메모리를 포함할 수 있다.

메모리(220)는 조리 기기(1)의 동작을 위한 프로그램, 어플리케이션 및/또는 데이터를 저장할 수 있고, 프로세서(210)에 의해 생성되는 데이터를 저장할 수 있다. 메모리(220)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 플래시 메모리와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(220)는 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.

조리 기기(1)의 구성요소는 전술된 것으로 제한되지 않는다. 조리 기기(1)는 전술된 구성요소들 외에도 다양한 구성요소들을 더 포함할 수 있으며, 전술된 구성요소들 중 일부가 생략되는 것도 가능하다.

도 6은 도 5에서 설명된 제어부의 구조를 예시한다.

도 6을 참조하면, 제어부(200)는 서브 제어부(200a)와 메인 제어부(200b)를 포함할 수 있다. 서브 제어부(200a)와 메인 제어부(200b)는 서로 전기적으로 연결되고, 각각 별도의 프로세서와 메모리를 포함할 수 있다. 메인 제어부(200b)는 히터(80) 및 팬(90)과 전기적으로 연결되고 히터(80)의 동작과 팬(90)의 동작을 제어할 수 있다.

서브 제어부(200a)는 사용자 인터페이스(40), 카메라(60), 조명(70), 통신 회로(100) 및 온도 센서(110)의 동작을 제어할 수 있다. 서브 제어부(200a)는 사용자 인터페이스(40)를 통해 입력되는 사용자 입력에 대응하는 전기적 신호를 처리할 수 있고, 조리 기기(1)의 동작에 관한 정보를 표시하도록 사용자 인터페이스(40)를 제어할 수 있다.

또한, 서브 제어부(200a)는 서버(3)로부터 획득되거나 메모리(220)에 저장된 학습된 모델을 이용하여 카메라(60)에 의해 획득된 영상 내의 조리물의 버닝 상태를 추정할 수 있다. 서브 제어부(200a)는 영상을 전처리 하고, 학습된 모델을 이용하여 영상으로부터 조리물의 버닝 상태를 추정할 수 있다. 서브 제어부(200a)는 학습된 모델을 이용하여 카메라(60)에 의해 획득된 챔버(50) 내부의 영상으로부터 조리물의 버닝 상태를 추정할 수 있다.

또한, 서브 제어부(200a)는 서버(3)로부터 학습된 모델에 사용되는 기준 영상(Reference Image)을 다운로드 받아 메모리(220)에 저장할 수 있다. 기준 영상은 조리 기기(1)의 공장 출하 시 메모리(220)에 저장되어 있을 수 있다. 서브 제어부(200a)는 메모리(220)에 저장된 기준 영상을 서버(3)에 전송할 수 있다. 서버(3)는 수신된 기준 영상을 이용하여 자체 내의 학습 전 인공 지능 모델인 학습 모델을 학습시키고, 학습된 모델을 생성할 수 있다. 서브 제어부(200a)는 서버(3)로부터 서버(3)에 의해 생성된 학습된 모델을 다운로드 받아 메모리(220)에 저장할 수 있다. 서브 제어부(200a)는 서버(3)로부터 학습된 모델을 다운로드 받아 메모리(220)에 저장할 수 있다. 학습된 모델은 조리 기기(1)의 공장 출하 시 메모리(220)에 저장되어 있을 수 있다.

한편, 서브 제어부(200a)는 챔버(50) 내의 영상을 전처리 하고, 메모리(220)에 저장된 학습된 모델을 이용하여 영상으로부터 조리물의 버닝 상태를 추정할 수 있다. 서브 제어부(200a)는 메모리(220)에 저장된 학습된 모델을 컨버팅하여 조리물의 버닝 상태를 추정할 수 있다. 서브 제어부(200a)는 카메라(60)에 의해 획득된 영상을 학습된 모델에 입력함으로써 영상에 포함된 조리물의 버닝 상태를 추정할 수 있다. 학습된 모델에 챔버 내부의 영상이 입력되면, 학습된 모델은 식품 영상 인식 결과를 얻는 작업인 모델 컨버팅을 통해 조리물의 버닝 상태를 출력할 수 있다.

학습된 모델은 인공지능 모델을 의미한다. 학습된 모델은 머신 러닝 및/또는 딥 러닝을 통해 생성될 수 있다. 학습된 모델은 서버(3)에 의해 생성될 수 있으며, 조리 기기(1)의 메모리(220)에 저장될 수 있다. 학습 알고리즘은, 예를 들면, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으며, 예시된 것으로 한정되지 않는다.

학습된 모델은 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 및/또는 심층 Q-네트워크(deep Q-networks)를 포함할 수 있으며, 예시된 것으로 제한되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.

서브 제어부(200a)는 인공 지능 알고리즘을 처리하기 위해, 다중 입력 - 다중 출력 연산(즉, 매트릭스(Matrix) 연산)을 수행할 수 있는 특수한 프로세서를 포함할 수 있다. 서브 제어부(200a)에 포함되는 특수한 프로세서는 NPU(Neural Process Unit)로 호칭될 수 있다.

도 7은 일 실시예에 따른 조리 기기의 학습된 모델의 일예를 나타낸다.

도 7을 참조하면, 학습된 모델이 인공 신경망 모델인 경우, 학습된 모델은 크게 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)으로 구성될 수 있다. 각 층은 여러 노드로 구성되는데, 입력층은 독립변수의 값을 받아들이는 역할을 하고, 은닉층은 독립변수의 값을 이용하여 복잡한 수많은 계산을 수행하며, 출력층은 분석의 결과값을 출력해주는 역할을 한다.

인공 신경망의 메커니즘을 간단히 살펴보면 다음과 같다.

한 배치 내에 있는 각 데이터의 독립변수의 값이 입력층에 있는 해당 노드에 입력된다. 그 후, 입력층의 각 노드에 있는 독립 변수값에 해당하는 임의의 가중치를 곱한 후, 가중합을 계산한다. 이렇게 계산된 값은 은닉층에 있는 해당 노드에 입력된다. 그 후, 은닉층의 각 노드에 있는 값에 해당하는 임의의 가중치를 곱한 후, 다시 가중합을 계산한다. 이렇게 계산된 값은 출력층에 있는 해당 노드에 입력이 된다. 출력층은 은닉층으로부터 입력받는 결과값을 각 데이터의 실제값과 비교하여 예측값과 실제값의 차이인 에러를 계산하고, 다시 한 배치 내에 있는 모든 데이터의 에러 평균을 계산하여 전체 에러를 계산한다. 인공 신경망은 이러한 전체 에러를 줄이기 위해 출력층에서부터 입력층으로 넘어오면서 뒤에서부터 가중치를 업데이트한다. 가중치에 대한 업데이트가 이루어지면, 그 후 가중치가 업데이트된 인공 신경망에 그다음 배치 내에 있는 데이터가 입력되고, 위 과정이 반복적으로 수행되면서 가중치에 대한 업데이트가 지속적으로 이루어진다. 이와 같이 예측값과 실제값의 차이인 에러를 줄이기 위해 지속적으로 가중치를 업데이트시키면서 최적의 가중치 조합을 찾아가는 과정을 학습이라 한다.

학습된 모델은 복수의 함수가 여러 레벨로 이루어진 것으로 초기 입력값으로부터 입력을 받아 출력을 다른 함수로 내는 1번째 레벨인 레벨1(F11, F12, F13)이 있다. 레벨1의 함수의 출력을 레벨2로 입력값을 전달하면, 레벨2(F21, F22, F23, F24)의 함수가 작동하여 출력이 나온다. 이러한 방식은 특정한 출력값으로 수렴할 때까지 반복된다. 이와 같이, 학습된 모델은 이전 레벨에서 입력값을 받아 다음 레벨로 출력값을 내는 작업이 계속 진행되는 구조를 갖는다.

또한, 학습된 모델에서 각 레벨의 함수에서 다음 레벨의 함수로 입력값을 전달하여 입력할지 여부는, 한 함수에서 다음 레벨의 모든 함수로 입력을 전달할 수 있고(일예로, F11), 한 함수에서 다음 레벨의 몇몇 특정 함수로만 입력을 전달 할 수도 있다(일예로, F13).

또한, 학습된 모델의 출력층은 최종 결과로 출력값을 낼 수 있는데, 이는 1개의 출력값일 수도 있고, 복수 개의 출력값일 수도 있다. 이때 레벨이나 함수의 크기는 모델 용량이나 대상에 따라서 변경될 수 있으며, 구조적으로 몇 단계를 건너 띄어 계산이 되는 부분이 존재할 수 있다.

학습된 모델을 생성할 때 입력영상을 초기 영상과 현재 영상 이 2가지를 이용하여 모델을 생성할 수 있다. 학습된 모델의 입력층에서 입력 값을 1개로 할 수 있지만, 2개로 하는 것은, 조리물의 버닝 상태를 추정할 때 조리물의 초기 영상과, 탄 이후의 현재 영상을 비교하여 그 결과 값을 출력하기 위함이다. 이는 현재 영상만을 이용하는 경우 조리물의 종류나 특성을 고려하지 못하는 반면, 초기 영상을 같이 이용하면, 조리물의 초기상태까지 같이 고려하게 되고, 조리물의 특성 및 조리에 따른 변화를 같이 고려하는 특징을 가질 수 있기 때문이다.

한편, 학습된 모델의 초기 입력이 F11,F12,F13의 입력이 되고, F11,F12,F13 함수 수행의 결과로 나온 출력이 F21,F22,F23,F24의 입력이 되는 과정은 선으로 나타나 있다.

이 입력과 출력은, 동일한 비중의 가중치로 다음 레벨 함수의 출력으로 들어갈 수 있으나, 좀 더 정확한 인식 결과를 추론하기 위한 학습된 모델에서는, 각 입력별로 가중치를 다양하게 가지게 할 수 있다. 각 가중치는 서로 같은 값일 수도 있고, 다른 값일 수도 있다.

도 8은 일 실시예에 따른 조리 기기의 학습된 모델에 사용된 기준 영상에 대한 테이블을 나타낸다.

도 8을 참조하면, 학습된 모델은 미리 수행된 실험에 의해 얻어진 학습 데이터인 기준 영상에 의해 학습이 이루어진다.

예를 들면, 학습된 모델은 미리 수행된 실험에 의해 얻어진 기준 영상을 이용한 딥러닝에 의해 입력층, 은닉층 및 출력층에 포함되는 노드 사이의 내부 변수가 조정됨으로써 학습이 이루어진다.

기준 영상은 카메라(60)에 의해 획득된 영상과 비교하는 영상이다.

기준 영상은 식품의 종류, 식품이 위치한 트레이의 레벨(높이)(레벨1, 레벨2 등), 식품을 거치하는 트레이의 종류 및 재질(도자기 재질 식기, 스텐 재질 식기, 랙 등), 식품이 거치된 방향(정위치,역위치,사이드위치 등), 식품이 타지 않은 초기 상태(Not Burn)와 탄 상태(Burn) 등에 따라 각각 촬영된 영상을 데이터베이스화한 영상일 수 있다. 이외에도 식품의 양, 가니쉬 여부 등에 따른 영상도 고려될 수 있다.

이와 같은 기준 영상은 학습된 모델을 생성할 때 사용되는 데이터 세트로서 훈련(Training), 검증(Validation) 및 테스트(Test)의 3가지 데이터세트로 나뉘어 모델 학습 및 평가에 사용될 수 있다.

훈련 세트(Training set)는 학습에 직접적으로 사용되는 데이터로서 모델을 학습시켜 최적의 내부 변수를 찾아내는 데 사용된다. 검증 세트(Validation set)는 학습하면서 중간 검증을 위해 사용되는 데이터로서 훈련 세트에서 학습된 모델을 평가하는 데 사용된다. 테스트 세트(Test set)는 학습된 모델의 최종 성능 확인을 위한 데이터이다.

기준 영상은 식품이 위치한 트레이의 높이, 식품을 거치하는 트레이의 종류 및 재질, 식품이 거치된 방향 외에도, 식품의 조리전 초기 상태와, 탄 상태 등의 식품 상태에 따른 영상을 포함한다. 이로 인해 이 기준 영상에 의해 생성된 학습된 모델은 조리물의 탄 정도에 대한 추정 정확도를 높일 수 있다.

도 9는 일 실시예에 따른 조리 기기의 제어 방법을 설명하는 순서도이다.

도 9를 참조하면, 조리 기기(1)의 제어부(200)는 카메라(60)를 제어하여 챔버(50) 내부의 영상을 획득할 수 있다(300). 제어부(200)는 영상 내에 포함된 조리물을 식별할 수 있다. 제어부(200)는 메모리(220)에 저장된 학습된 모델을 이용하여 영상 내에 포함된 조리물을 식별할 수 있다.

제어부(200)는 영상 세그멘테이션(Image Segmentation)을 통해 챔버(50) 내부의 영상에서 조리물 분할영상을 구분할 수 있다. 영상 세그멘테이션은 전체 영상에서 특정 객체의 영역을 다른 객체와 구분하는 방법이다. 제어부(200)는 영상 세그멘테이션(Image Segmentation)을 통해 챔버(50) 내의 영상에서 조리물 영역을 다른 영역에서 구분하여 인식할 수 있다.

제어부(200)는 메모리(220)에 저장된 학습된 모델을 이용하여 영상 내의 조리물의 버닝 상태를 추정할 수 있다(302). 제어부(200)는 챔버(50) 내의 영상에서 분할된 조리물 영상을 학습된 모델에 입력하여 조리물의 버닝 상태를 추정할 수 있다. 조리물의 버닝 상태는 조리물이 타지 않은 상태와 탄 상태를 포함할 수 있다. 또한, 조리물의 버닝 상태는 조리물의 단계별 버닝 정도를 포함할 수 있다. 예를 들면, 조리물이 타지 않는 상태인 ‘Not Burn’, 조리물이 탄 상태에 가까운 ‘Close to Burn’, 조리물이 탄 상태인 ‘Burn’, 그리고, 조리물이 지나치게 탄 상태인 ‘Over Burn’ 등의 단계적 탄 정도를 포함할 수 있다.

학습된 모델은 입력 정보로서 챔버(50) 내부의 영상이 입력되면, 영상 내에 포함된 조리물의 버닝 상태를 나타나는 영상 인식 결과를 출력하도록 학습되어 있다.

학습된 모델은 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 및/또는 심층 Q-네트워크(deep Q-networks)를 포함할 수 있으며, 예시된 것으로 제한되지 않는다.

제어부(200)는 사용자 인터페이스(40)를 통해 조리물의 버닝 상태를 사용자에게 알릴 수 있다(304). 제어부(200)는 사용자 인터페이스(40)를 통해 조리물의 버닝 상태를 표시하거나 음성 출력함으로써 사용자가 조리물의 버닝 상태를 알 수 있도록 할 수 있다. 따라서, 가열 조리시 조리물이 타는 것을 사전에 방지할 수 있다.

도 10은 일 실시예에 따른 조리 기기에서 CNN과 RNN이 조합된 학습된 모델을 이용하여 조리물의 버닝 상태를 추정하는 과정을 도시한다.

도 10을 참조하면, 제어부(200)는 가열 조리 행정 전에 챔버(50) 내의 초기 영상을 획득하고(310), 초기 영상으로부터 이 초기 영상에 포함된 초기 조리물 분할영상을 획득하고(320), 초기 조리물 분할영상의 조리물이 버닝 인식 가능한 조리물인지 판단할 수 있다(330).

제어부(200)는 버닝 인식 가능한 조리물인 경우, 제어부(200)는 조리물의 종류에 따른 가열 조리 행정을 시작한 후 챔버(40) 내의 현재 영상을 획득하고(340), 현재 영상으로부터 이 현재 영상에 포함된 현재 조리물 분할영상을 획득하고(350), 현재 조리물 분할영상 또는 초기 조리물 분할영상 및 현재 조리물 분할영상을 함께 CNN에 입력하여 현재 조리물의 버닝 상태를 추정할 수 있다(360).

일반적으로, CNN은 영상 분류에 특화된 인공 신경망으로 합성곱 층(Convolution Layer), 풀링 층(Pooling Layer) 및 완전 연결 계층(Fully connected Layer) 순으로 구성된다. 합성곱 층과 풀링 층을 통해 특정 필터 내지 커널(Kernel)이라는 불리는 정해진 합성곱 범위의 특징(Feature) 정보를 추출한다. 합성곱 연산을 수행하는 동안 부분화된 데이터가 파생되므로 풀링 층을 통해 피처(Feature)의 크기를 줄이면서 파편화된 영상 내의 패턴 정보를 반복해서 특정한다. 이 부분적인 영상 정보들은 이후 합쳐지면서 영상 자체가 아닌 영상 내의 불변하는 패턴 정보만을 담은 고유한 특징 맵(Feature map)으로 변환된다. 완전 연결 계층은 합성곱 층과 풀링 층을 통해 추출된 특징 맵을 기반으로 분류를 수행한다.

한편, 제어부(200)는 현재 조리물 분할영상 또는 초기 조리물 분할영상 및 현재 조리물 분할영상을 함께 CNN에 입력하여 현재 조리물의 버닝 특징을 추출한 후 이를 RNN에 입력하여 현재 조리물의 버닝 상태를 추정할 수도 있다(370).

RNN은 시계열 데이터 처리에 특화된 인공 신경망이다. 내부의 순환구조를 통해 자기 순환을 반복하며 과거의 학습 값을 현재의 학습 값으로 지속적으로 반영한다. RNN은 현재 상태에 대한 분석 결과를 도출하기 위해 현재 시점에서의 학습 값뿐만 아니라 이전 상태의 학습에 관한 정보도 함께 이용한다. RNN은 새로운 값이 들어왔을 때 현재의 값만 이용하여 예측값을 추정하는 것이 아니라 이전 값들의 결과값을 함께 분석에 활용한다. 이로 인해, 조리물의 버닝 변화율 및/또는 경향성을 포함하는 버닝 상태를 추정할 수 있다.

도 11은 일 실시예에 따른 조리 기기에서 조리물이 버닝 인식 가능한 조리물인지 판단하는 것을 설명하는 순서도이다.

도 11을 참조하면, 조리물의 버닝 상태를 정확히 추정하기 위해서는 조리물이 버닝 인식 가능한 조리물인지 버닝 인식 불가능한 조리물인지를 구분할 필요가 있다.

제어부(200)는 챔버(50) 내에 조리물이 인입되면, 카메라(60)를 통해 챔버(50) 내의 초기 영상을 획득할 수 있다(400). 제어부(200)는 가열 조리 행정 전에 챔버(50) 내의 초기 영상을 획득할 수 있다.

제어부(200)는 초기 영상에 포함된 조리물이 어두운 색상의 조리물인지 판단할 수 있다(402).

만약, 제어부(200)는 어두운 색상의 조리물인 경우(402, 예), 제어부(200)는 챔버(50) 내의 조리물을 버닝 인식 불가능한 조리물로 판단할 수 있다(410).

가열 조리 행정 시작 전에 너무 어두운 색상의 조리물인지를 판단하여 조리물의 버닝 인식 가능 혹은 버닝 인식 불가능을 판단할 수 있다. 초코 브라우니와 같은 조리물의 경우, 조리물 색상이 어두운 색상이므로 가열 전후의 색상 변화가 거의 없다. 따라서, 조리물이 타지 않은 상태나 탄 상태나 거의 구분되지 않아 버닝 상태를 판단하기 어렵다. 이로 인해, 어두운 색상의 조리물의 경우, 사용자에게 혼돈을 주지 않도록 버닝 인식 불가능한 조리물로 판단할 수 있다.

한편, 제어부(200)는 어두운 색상의 조리물이 아닌 경우(402, 아니오), 제어부(200)는 조리물의 종류에 따라 가열 조리 행정을 시작한다(404).

제어부(200)는 가열 조리 중 조리물의 변화량이 미리 설정된 변화량인 최소 변화량 이상인지 판단할 수 있다(406). 이때, 조리물의 변화량은 색상 변화 및/또는 형태 변화를 포함할 수 있다.

만약, 제어부(200)는 가열 조리 중 조리물의 변화량이 최소 변화량 이상인 경우(406, 예), 제어부(200)는 챔버(50) 내의 조리물을 버닝 인식 가능한 조리물로 판단할 수 있다(408).

한편, 제어부(200)는 가열 조리 중 조리물의 변화량이 최소 변화량 미만인 경우(406, 아니오), 제어부(200)는 챔버(50) 내의 조리물을 버닝 인식 불가능한 조리물로 판단할 수 있다(410).

가열 조리 행정 시작 이후 미리 설정된 시간 동안 조리물의 변화량이 미미하면 버닝 인식 불가능한 조리물로 판단할 수 있다. 계란이나 옥수수 껍질(Corn Husk) 등의 경우 일정 시간 동안 가열하더라도 색상이나 형태의 변화가 없다. 이로 인해, 가열 조리 중 색상 변화 또는/및 형태 변화가 없는 조리물의 경우, 사용자에게 혼돈을 주지 않도록 버닝 인식 불가능한 조리물로 판단할 수 있다.

도 12는 일 실시예에 따른 조리 기기에서 CNN을 이용하여 조리물의 버닝 상태를 추정하는 것을 설명하는 순서도이다.

도 12를 참조하면, 제어부(200)는 조리물이 버닝 인식 가능한 조리물인지를 판단할 수 있다(500).

제어부(200)는 조리물이 버닝 인식 가능한 조리물인 경우(500, 예), 제어부(200)는 가열 조리 중 카메라(60)를 통해 챔버(50) 내의 현재 영상을 획득할 수 있다(502).

제어부(200)는 챔버(50) 내의 영상(현재 영상 또는 현재 영상 및 초기 영상) 및 CNN를 이용하여 조리물의 버닝 상태 정보를 획득할 수 있다(504). 이때, 제어부(200)는 조리물의 현재 영상 또는 조리물의 초기 영상 및 현재 영상을 함께 CNN에 입력하여 조리물의 버닝 상태 정보를 획득할 수 있다. 조리물의 버닝 상태 정보는 조리물의 타지 않은 상태와 탄 상태 등의 버닝 상태와, 해당 버닝 상태의 확률적 수치를 포함할 수 있다.

제어부(200)는 조리물의 버닝 상태 정보에 따라 조리물의 버닝 정도를 추정할 수 있다(506).

챔버(50) 내의 영상과 CNN을 이용하면, 현재 시점에 촬영된 조리물의 현재 영상과 해당 조리물의 탄 상태인 영상과 비교하여 몇 %의 확률로 탄 상태인지를 알 수 있다.

예를 들면, CNN를 컨버팅하여 얻은 결과 값은 ‘치킨, Burn, 60%’또는 ‘브로콜리, Burn, 80%’와 같이 조리물의 상태와 해당 상태인 확률적 수치(%)를 포함한다. 따라서, 해당 시점에서 조리물이 탄 상태인지 아닌지를 알 수 있다. 확률이 일예로, 탄 상태를 판정하는 기준 확률이 70%일 경우, 치킨은 타지 않은 상태로 판단할 수 있다. 한편, 브로콜리는 탄 상태로 판단할 수 있다. 탄 상태의 기준 확률은 조리물의 종류마다 다를 수 있다.

한편, 조리물의 버닝 상태 정보는 조리물의 복수의 버닝 클래스 및 해당 버닝 클래스의 확률적 수치를 포함할 수 있다. 예를 들면, 복수의 버닝 클래스는 조리물이 타지 않는 상태인 ‘Not Burn’, 조리물이 탄 상태에 가까운 ‘Close to Burn’, 조리물이 탄 상태인 ‘Burn’, 그리고, 조리물이 지나치게 탄 상태인 ‘Over Burn’ 등의 단계적 버닝 클래스를 포함할 수 있다.

이러한 경우, CNN를 컨버팅하여 얻은 결과 값은 ‘치킨, Not Burn, N1%’, ‘치킨, Close to Burn, N2%’,‘치킨, Burn, N3%’ 또는 ‘치킨, Over Burn, N4%’중 어느 하나로 나타날 수 있다.

한편, CNN를 컨버팅하여 얻은 결과 값은 ‘치킨, Not Burn, N1%’, ‘치킨, Close to Burn, N2%’,‘치킨, Burn, N3%’ 및 ‘치킨, Over Burn, N4%’모두를 포함할 수 있다. 이럴 경우, 4개의 버닝 클래스와 확률적 수치를 비교하여 4개 중에서 해당 시점의 버닝 클래스와 확률적 수치를 결정할 수 있다.

도 13은 일 실시예에 따른 조리 기기에서 CNN 및 RNN의 조합을 이용하여 조리물의 버닝 상태를 추정하는 것을 설명하는 순서도이다.

도 13을 참조하면, 제어부(200)는 조리물이 버닝 인식 가능한 조리물인지를 판단할 수 있다(600).

제어부(200)는 조리물이 버닝 인식 가능한 조리물인 경우(600, 예), 제어부(200)는 가열 조리 중 카메라(60)를 통해 챔버(50) 내의 현재 영상을 획득할 수 있다(602).

제어부(200)는 챔버(50) 내의 영상(현재 영상 또는 현재 영상 및 초기 영상) 및 CNN를 이용하여 조리물의 버닝 상태 특징을 획득할 수 있다(604). 이때, 제어부(200)는 조리물의 현재 영상 또는 조리물의 초기 영상 및 현재 영상을 함께 CNN에 입력하여 조리물의 버닝 상태 특징을 획득할 수 있다.

제어부(200)는 조리물의 버닝 상태 특징 및 RNN를 이용하여 조리물의 버닝 상태 정보를 획득할 수 있다(606). 이때, 제어부(200)는 조리물의 버닝 상태 특징을 RNN에 입력하여 조리물의 버닝 상태 정보를 획득할 수 있다. 조리물의 버닝 상태 정보는 조리물의 타지 않은 상태와 탄 상태 등의 버닝 상태와, 해당 버닝 상태의 확률적 수치 및 시계열적 버닝 경향성을 포함할 수 있다.

RNN의 입력값으로 사용될 수 있는 조리물의 버닝 상태 특징은 다음의 2가지 값 중 어느 하나일 수 있다. 첫째, CNN의 합성곱과 풀링을 적용시켜 나온 결과값을 평탄화(flatten) 한 값일 수 있다. 둘째, 합성곱과 풀링을 적용시켜 나온 결과물을 평탄화한 후 이 평탄화된 값을 RNN의 입력값으로 직접 입력하는 대신에, 이 값들을 완전 연결 계층을 통과시켜 동일한 차원의 입력값으로 변환한 후 RNN의 입력값으로 입력할 수도 있다. 이로 인해, 동일한 위상에 있는 픽셀값들이 서로 다른 순서로 RNN에 입력되는 것을 방지할 수 있어 보다 정확한 분류 작업이 가능하다.

제어부(200)는 조리물의 버닝 상태 정보에 따라 조리물의 버닝 정도를 추정할 수 있다(608).

챔버(50) 내의 영상과 CNN 및 RNN을 이용하면, 현재 시점에 촬영된 조리물의 현재 영상과 해당 조리물의 탄 상태인 영상과 비교하여 몇 %의 확률로 탄 상태인지와 함께 시계열적 버닝 경향성(버닝 변화율)까지 알 수 있다. 이로 인해, 보다 신뢰성 있는 버닝 상태 추정이 가능하다.

한편, 조리물의 버닝 상태 정보는 조리물의 복수의 버닝 클래스, 해당 버닝 클래스의 확률적 수치 및 시계열적 버닝 경향성을 포함할 수 있다.

예를 들면, 복수의 버닝 클래스는 조리물이 타지 않는 상태인 ‘Not Burn’, 조리물이 탄 상태에 가까운 ‘Close to Burn’, 조리물이 탄 상태인 ‘Burn’, 그리고, 조리물이 지나치게 탄 상태인 ‘Over Burn’ 등의 단계적 버닝 클래스를 포함할 수 있다.

이러한 경우, CNN 및 RNN의 조합을 컨버팅하여 얻은 결과 값은 ‘치킨, Not Burn, N1%, d(Nn-Nn_1)/dt%’, ‘치킨, Close to Burn, N2%, d(Nn-Nn_1)/dt%’,‘치킨, Burn, N3%, d(Nn-Nn_1)/dt%’ 또는 ‘치킨, Over Burn, N4%, d(Nn-Nn_1)/dt%’중 어느 하나로 나타날 수 있다.

한편, CNN 및 RNN의 조합을 컨버팅하여 얻은 결과 값은 ‘치킨, Not Burn, N1%, d(Nn-Nn_1)/dt%’, ‘치킨, Close to Burn, N2%, d(Nn-Nn_1)/dt%’,‘치킨, Burn, N3%, d(Nn-Nn_1)/dt%’ 및 ‘치킨, Over Burn, N4%, d(Nn-Nn_1)/dt%’모두를 포함할 수 있다. 이럴 경우, 4개의 버닝 클래스, 확률적 수치 및 시계열적 버닝 경향성을 비교하여 4개 중에서 해당 시점의 버닝 클래스, 확률적 수치 및 시계열적 버닝 경향성을 결정할 수 있다. 이때, 시계열적 버닝 경향성은 현재와 이전의 확률적 수치들에 따른 버닝 경향성뿐만 아니라, 현재와 이전의 버닝 클래스에 따른 버닝 경향성을 포함할 수 있다.

도 14는 일 실시예에 따른 조리 기기에서 학습된 모델에 의해 추정된 조리물의 클래스별 버닝상태를 나타낸다. 도 15는 일 실시예에 따른 조리 기기에서 조리물의 클래스별 버닝상태를 시계열적으로 나타낸 그래프이다. 도 16은 일 실시예에 따른 조리 기기에서 조리물의 클래스별 버닝상태 구간을 나타낸다.

도 14 내지 도 16을 참조하면, 학습된 모델은 일예로, 4개의 출력을 갖는 모델일 수 있다. 이는 버닝 클래스가 4개인 경우를 의미한다.

예를 들면, 버닝 클래스 1, 2, 3, 및 4는 각각 시계열적인 버닝상태인 ‘Not Burn’, ‘Close to Burn’, ‘Burn’, ‘Over burn’일 수 있다.

학습된 모델에서 출력되는 4개의 출력 ‘Not Burn, N1 %’, ‘Close to Burn, N2%’, ‘Burn , N3%’및 ‘Over burn, N4%’을 시계열적으로 수신하여 그래프를 그리면, 도 15의 그래프와 같이 나타낼 수 있다.

버닝 알림 시점은 유동적으로 조정할 수 있다. t1은 Close to Burn 시점을 알리는 버닝 알림 시점일 수 있다. t2는 Close to Burn에서 Burn 으로 전환되는 중간 시점을 알리는 버닝 알림 시점일 수 있다. t3는 Burn 시점을 알리는 버닝 알림 시점일 수 있다.

Not Burn 구간은 조리개시시점으로부터 미리 설정된 시간이 경과한 구간으로 설정할 수 있다.

Close to Burn 구간(N2)은 Burn 시점 전으로부터 일정 구간일 수 있다.

Burn 구간(N1)은 Burn 시점 이후로부터 일정 구간일 수 있다.

Over Burn 구간은 Burn 구간(N1) 이후의 구간일 수 있다.

Close to Burn 구간(N2)과 Burn 구간(N1)은 동일한 시간 길이를 가진 구간일 수 있다.

조리개시시점부터 Burn 시점까지의 시간을 T라고 할 때 Close to Burn 구간(N2)과 Burn 구간(N1)은 각각 0.2T일 수 있다.

따라서, 제어부(200)는 사용자 인터페이스(40)를 통해 조리물의 버닝 정도별로 그에 대응하는 시점에 해당 버닝 정도를 사용자에게 알릴 수 있다.

도 17은 일 실시예에 따른 조리 기기에서 현재 버닝 클래스와 목표 버닝 클래스의 차이에 따른 제어를 설명하기 위한 순서도이다.

도 17을 참조하면, 제어부(200)는 학습된 모델을 이용하여 조리물의 클래스별 버닝 상태 확률을 각각 획득할 수 있다(700).

제어부(200)는 조리물의 클래스별 버닝 상태 확률 중 가장 높은 확률의 버닝 클래스와 목표 버닝 클래스를 비교하여 가장 높은 확률의 버닝 클래스(현재 버닝 클래스)가 목표 버닝 클래스 이상인지 판단할 수 있다(702).

4개의 클래스별 버닝 상태 확률이 ‘Not Burn, 30 %’, ‘Close to Burn, 40%’, ‘Burn , 60%’및 ‘Over Burn, 30%’일 경우, 확률값이 가장 높은 ‘Burn , 60%’를 현재 버닝 클래스로 판단할 수 있다.

한편, 학습된 모델의 출력에 버닝 클래스와 확률적 수치뿐만 아니라 시계열적 버닝 경향성을 포함하는 경우, 확률값이 가장 높은 확률의 버닝 클래스를 바로 현재의 버닝 클래스로 판단하지 않고, 시계열적 버닝 경향성을 이용하여 각 버닝 클래스를 보정한 후 보정된 각 클래스별 버닝 상태 확률 중 가장 높은 확률의 버닝 클래스를 현재 버닝 클래스로 판단할 수 있다.

예를 들면, ‘Close to Burn’의 경우, 이전에 ‘Close to Burn’→ ‘Burn’→ ‘Close to Burn’으로 순서로 나타나 시계열적으로 버닝 클래스가 역행하면, 일정 시간 동안 ‘Close to Burn’를 ‘Burn’으로 추정할 수 있다.

또한, ‘Over Burn’의 경우, 이전에 ‘Close to Burn’에서 ‘Over Burn’로 바로 변경되어 시계열적으로 중간 버닝 클래스를 초월하면, 일정 시간 동안 ‘Over Burn’를 초월된 중간 버닝 클래스인 ‘Burn’으로 추정할 수 있다.

이와 같이, 시계열적 버닝 경향성을 이용하여 버닝 클래스별로 이전 버닝 클래스와 현재 버닝 클래스를 비교하여 현재 버닝 클래스가 시계열적으로 역행하거나 이전 버닝 클래스와 현재 버닝 클래스 간의 차이가 미리 설정된 차이보다 클 경우, 현재 버닝 클래스를 보정할 수 있다.

만약, 제어부(200)는 가장 높은 확률의 버닝 클래스가 목표 버닝 클래스 미만이면(702, 아니오), 제어부(200)는 사용자 인터페이스(40)를 통해 현재 버닝 클래스를 사용자에 알릴 수 있다(704).

한편, 제어부(200)는 가장 높은 확률의 버닝 클래스가 목표 버닝 클래스 이상이면(702, 예), 제어부(200)는 가장 높은 확률의 버닝 클래스와 목표 버닝 클래스 간의 버닝 클래스 차이를 판단할 수 있다(706).

제어부(200)는 버닝 클래스 차이에 따른 제어를 수행할 수 있다(708).

목표 버닝 클래스와 현재 버닝 클래스의 차이에 따라 ‘Alarm’, ‘Pause’ 또는 ‘Stop’중 어느 하나의 제어를 수행할 수 있다. ‘Alarm’은 사용자에게 조리물이 탔음을 알리는 제어이다. ‘Pause’는 사용자에게 조리물이 탔음을 알림과 함께 가열 행정을 멈추지 않고 고내 온도를 유지하는 제어이다. ‘Stop’은 사용자에게 조리물이 탔음을 알림과 함께 가열 행정을 멈추고 고내 온도를 하강 시키는 제어이다.

예를 들면, 현재 버닝 클래스가 목표 버닝 클래스보다 2단계 높으면, ‘Stop’를 수행할 수 있다(ex, 현재 버닝 클래스 Over Burn, 목표 버닝 클래스 close burn).

또한, 현재 버닝 클래스가 목표 버닝 클래스보다 1단계 높으면, ‘Pause’를 수행할 수 있다(ex, 현재 버닝 클래스 Over Burn, 목표 버닝 클래스 Burn).

또한, 현재 버닝 클래스가 목표 버닝 클래스이면, ‘Alarm’을 수행할 수 있다(ex, 현재 버닝 클래스 Burn, 목표 버닝 클래스 Burn).

도 18은 일 실시예에 따른 조리 기기에서 버닝 상태 판단 기능을 설정하는 화면을 나타낸다.

도 18을 참조하면, 학습된 모델을 이용하여 조리물의 버닝 상태를 판단하는 기능을 설정하는 화면이 나타나 있다.

사용자는 사용자 인터페이스(40)에 표시되는 버닝 상태 판단 기능 설정화면 상에서 ON 버튼과 OFF 버튼을 어느 하나를 선택하는 것에 의해 버닝 상태 판단 기능을 활성화할 수 있다.

버닝 상태 판단 기능은 CNN을 이용한 버닝 상태 판단 기능과 CNN과 RNN의 조합을 이용한 버닝 상태를 판단하는 기능을 포함할 수 있다. 이러한 경우, 사용자는 2가지 기능 중 활성화하길 원하는 기능을 선택할 수 있다.

도 19는 일 실시예에 따른 조리 기기에서 클래스별 버닝 상태 알림 기능을 설정하는 화면을 나타낸다.

도 19을 참조하면, 조리물의 클래스별 버닝 상태 알림 기능을 설정하는 화면이 나타나 있다.

사용자는 사용자 인터페이스(40)에 표시되는 클래스별 버닝 상태 알림 기능 설정 화면 상에서 ON 버튼과 OFF 버튼을 어느 하나를 선택하는 것에 의해 클래스별 버닝 상태 알림 기능을 활성화할 수 있다.

예를 들면, 사용자가 클래스별 버닝 상태 알림 기능을 활성화하면, 조리물의 버닝 상태가 ‘Not Burn’, ‘Close to Burn’, ‘Burn’및 ‘Over Burn’의 4개 중 어느 하나일 때마다 사용자에게 알린다.

도 20은 일 실시예에 따른 조리 기기에서 Burn 감지시 제어 기능을 설정하는 화면을 나타낸다.

도 20을 참조하면, 조리물의 Burn 감지시 수행할 제어 기능을 설정하는 화면이 나타나 있다.

사용자는 조리물의 Burn 감지시 조리 기기(1)를 제어할 제어로서 Pause, Stop, Alarm 중 어느 하나의 제어를 선택할 수 있다. 따라서, 조리물의 Burn 감지시 사용자별 맞춤 제어를 제공할 수 있다.

도 21은 일 실시예에 따른 조리 기기에서 현재 버닝 클래스와 목표 버닝 클래스와의 차이에 제어 기능을 설정하는 화면을 나타낸다.

도 21을 참조하면, 목표 버닝 클래스와의 차이에 따른 제어를 설정하는 화면이 나타나 있다.

사용자는 사용자 인터페이스(40)를 통해 현재 버닝 클래스와 목표 버닝 클래스의 차이에 따라 Alarm, Pause, Stop 중 어느 하나의 제어를 수행하도록 설정할 수 있다.

예를 들면, 사용자는 현재 버닝 클래스가 목표 수준에 도달한 경우, Alarm를 수행하도록 설정할 수 있다.

사용자는 현재 버닝 클래스가 목표 수준 1단계를 초과한 경우, Pause를 수행하도록 설정할 수 있다.

사용자는 현재 버닝 클래스가 목표 수준 2단계를 초과한 경우, Stop를 수행하도록 설정할 수 있다.

따라서, 현재 버닝 클래스와 목표 버닝 클래스 간의 차이에 따라 조리 기기(1)의 다양한 제어를 선택받을 수 있다. 이를 통해 목표 수준 별 및 사용자 별 제어 방법을 다르게 제어할 수 있어 사용자 맞춤별 제어를 수행할 수 있다.

도 22는 일 실시예에 따른 조리 기기에서 버닝 클래스별 제어 기능을 설정하는 화면을 나타낸다.

도 22를 참조하면, 버닝 클래스별 제어 기능을 설정하는 화면이 나타나 있다.

사용자는 사용자 인터페이스(40)를 통해 조리물의 버닝 클래스별로 원하는 제어를 선택할 수 있다.

예를 들면, 사용자는 조리물의 버닝 상태가 ‘Close to Burn’인 경우, 복수의 제어 중 Alarm를 수행하도록 설정할 수 있다.

사용자는 조리물의 버닝 상태가 ‘Burn’인 경우, 복수의 제어 중 Pause를 수행하도록 설정할 수 있다.

사용자는 조리물의 버닝 상태가 ‘Over Burn’인 경우, 복수의 제어 중 Stop를 수행하도록 설정할 수 있다.

따라서, 조리물의 버닝 클래스별로 사용자 맞춤 제어를 수행할 수 있다.

일 실시예에 따른 조리 기기(1)는, 조리물을 수용하는 챔버(50); 상기 챔버(50) 내부의 영상을 획득하는 카메라(60); 조리물의 버닝 상태를 추정하도록 학습된 모델을 저장하는 메모리(220); 사용자 인터페이스(40); 및 상기 카메라(60), 메모리(220) 및 사용자 인터페이스(40)와 전기적으로 연결된 제어부(200);를 포함할 수 있다. 상기 제어부는, 상기 학습된 모델을 이용하여 상기 카메라에 의해 획득된 영상 내의 조리물의 버닝 상태를 추정하고, 상기 조리물의 버닝 상태를 사용자에게 알리도록 상기 사용자 인터페이스를 제어할 수 있다.

상기 제어부는, 상기 조리물의 현재 영상 또는 상기 조리물의 초기 영상 및 상기 현재 영상을 함께 상기 학습된 모델에 입력하여 상기 조리물의 버닝 상태를 추정할 수 있다.

상기 학습된 모델은, CNN(Convolutional Neural Network) 또는 상기 CNN과 RNN(Recurrent Neural Network)의 조합일 수 있다.

상기 제어부는, 가열 조리 전 조리물 색상과, 가열 조리 중 조리물 색상 변화 또는 형태 변화 중 적어도 하나를 근거로 상기 조리물이 버닝 상태 인식 가능한 조리물인지 판단하고, 버닝 상태 인식 가능한 조리물인 경우, 상기 조리물의 버닝 상태를 추정할 수 있다.

상기 제어부는, 상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스 및 해당 버닝 클래스의 확률적 수치를 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정할 수 있다.

상기 제어부는, 상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스, 해당 버닝 클래스의 확률적 수치 및 시계열적 버닝 경향성을 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정할 수 있다.

상기 제어부는, 상기 조리물의 이전 버닝 정도와 현재 버닝 정도를 비교하여 상기 현재 버닝 정도가 시계열적으로 역행하거나 상기 이전 버닝 정도와 상기 현재 버닝 정도 간의 차이가 미리 설정된 차이보다 클 경우, 상기 현재 버닝 정도를 보정할 수 있다.

상기 제어부는, 상기 조리물의 버닝 정도별로 그에 대응하는 시점에 해당 버닝 정도를 사용자에게 알릴 수 있다.

상기 제어부는, 상기 사용자 인터페이스를 통해 사용자에 의해 입력된 명령에 따라 조리물의 버닝 정도에 따른 가열 제어를 설정할 수 있다.

상기 제어부는, 상기 조리물의 버닝 정도에 따라 그에 대응하는 가열 제어를 수행할 수 있다.

일 실시예에 따른 조리 기기의 제어 방법은, 챔버(50) 내부의 영상을 획득하고; 조리물의 버닝 상태를 추정하도록 학습된 모델을 이용하여 상기 영상 내의 조리물의 버닝 상태를 추정하고; 사용자 인터페이스(40)를 통해 상기 조리물의 버닝 상태를 사용자에게 알리는 것;을 포함할 수 있다.

상기 조리물의 버닝 상태를 추정하는 것은, 상기 조리물의 현재 영상 또는 상기 조리물의 초기 영상 및 상기 현재 영상을 함께 상기 학습된 모델에 입력하여 상기 조리물의 버닝 상태를 추정하는 것을 포함할 수 있다.

상기 조리물의 버닝 상태를 추정하는 것은, 가열 조리 전 조리물 색상과, 가열 조리 중 조리물 색상 변화 또는 형태 변화 중 적어도 하나를 근거로 상기 조리물이 버닝 상태 인식 가능한 조리물인지 판단하고, 버닝 상태 인식 가능한 조리물인 경우, 상기 조리물의 버닝 상태를 추정하는 것을 포함할 수 있다.

상기 조리물의 버닝 상태를 추정하는 것은, 상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스 및 해당 버닝 클래스의 확률적 수치를 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정하는 것을 포함할 수 있다.

상기 조리물의 버닝 상태를 추정하는 것은, 상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스, 해당 버닝 클래스의 확률적 수치 및 시계열적 버닝 경향성을 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정하는 것을 포함할 수 있다.

상기 조리물의 버닝 상태를 추정하는 것은, 상기 조리물의 이전 버닝 정도와 현재 버닝 정도를 비교하여 상기 현재 버닝 정도가 시계열적으로 역행하거나 상기 이전 버닝 정도와 상기 현재 버닝 정도 간의 차이가 미리 설정된 차이보다 클 경우, 상기 현재 버닝 정도를 보정하는 것을 포함할 수 있다.

상기 조리물의 버닝 상태를 알리는 것은, 상기 조리물의 버닝 정도별로 그에 대응하는 시점에 해당 버닝 정도를 사용자에게 알리는 것을 포함할 수 있다.

상기 사용자 인터페이스를 통해 사용자에 의해 입력된 명령에 따라 조리물의 버닝 정도에 따른 가열 제어를 설정하는 것을 더 포함할 수 있다.

상기 조리물의 버닝 정도에 따라 그에 대응하는 가열 제어를 수행하는 것을 더 포함할 수 있다.

전술된 바와 같이, 개시된 조리 기기 및 조리 기기의 제어 방법은, 학습된 모델을 이용하여 챔버 내의 조리물의 버닝 상태를 추정할 수 있어 조리물이 탄 상태인지 타지 않은 상태인지 등을 정확히 알 수 있다.

또한, 개시된 조리 기기 및 조리 기기의 제어 방법은, 조리물의 버닝 상태를 사용자에게 제공할 수 있어 사용자에게 보다 정확한 조리 정보를 제공할 수 있다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 저장매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

1: 조리 기기
2: 모바일 장치
3: 서버
1h: 하우징
20: 도어
30: 윈도우
40: 사용자 인터페이스
50: 챔버
60: 카메라
70: 조명
80: 히터
90: 팬
100: 통신 회로
200: 제어부

Claims

조리물을 수용하는 챔버(50);
상기 챔버(50) 내부의 영상을 획득하는 카메라(60);
조리물의 버닝 상태를 추정하도록 학습된 모델을 저장하는 메모리(220);
사용자 인터페이스(40); 및
상기 카메라(60), 메모리(220) 및 사용자 인터페이스(40)와 전기적으로 연결된 제어부(200);를 포함하고,
상기 제어부는,
상기 학습된 모델을 이용하여 상기 카메라에 의해 획득된 영상 내의 조리물의 버닝 상태를 추정하고,
상기 조리물의 버닝 상태를 사용자에게 알리도록 상기 사용자 인터페이스를 제어하는 조리 기기.
제1항에 있어서,
상기 제어부는,
상기 조리물의 현재 영상 또는 상기 조리물의 초기 영상 및 상기 현재 영상을 함께 상기 학습된 모델에 입력하여 상기 조리물의 버닝 상태를 추정하는 조리 기기.
제1항에 있어서,
상기 학습된 모델은,
CNN(Convolutional Neural Network) 또는 상기 CNN과 RNN(Recurrent Neural Network)의 조합인 조리 기기.
제1항에 있어서,
상기 제어부는,
가열 조리 전 조리물 색상과, 가열 조리 중 조리물 색상 변화 또는 형태 변화 중 적어도 하나를 근거로 상기 조리물이 버닝 상태 인식 가능한 조리물인지 판단하고, 버닝 상태 인식 가능한 조리물인 경우, 상기 조리물의 버닝 상태를 추정하는 조리 기기.
제1항에 있어서,
상기 제어부는,
상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스 및 해당 버닝 클래스의 확률적 수치를 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정하는 조리 기기.
제1항에 있어서,
상기 제어부는,
상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스, 해당 버닝 클래스의 확률적 수치 및 시계열적 버닝 경향성을 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정하는 조리 기기.
제6항에 있어서,
상기 제어부는,
상기 조리물의 이전 버닝 정도와 현재 버닝 정도를 비교하여 상기 현재 버닝 정도가 시계열적으로 역행하거나 상기 이전 버닝 정도와 상기 현재 버닝 정도 간의 차이가 미리 설정된 차이보다 클 경우, 상기 현재 버닝 정도를 보정하는 조리 기기.
제5항에 있어서,
상기 제어부는,
상기 조리물의 버닝 정도별로 그에 대응하는 시점에 해당 버닝 정도를 사용자에게 알리는 조리 기기.
제1항에 있어서,
상기 제어부는,
상기 사용자 인터페이스를 통해 사용자에 의해 입력된 명령에 따라 조리물의 버닝 정도에 따른 가열 제어를 설정하는 조리 기기.
제9항에 있어서,
상기 제어부는,
상기 조리물의 버닝 정도에 따라 그에 대응하는 가열 제어를 수행하는 조리 기기.
챔버(50) 내부의 영상을 획득하고;
조리물의 버닝 상태를 추정하도록 학습된 모델을 이용하여 상기 영상 내의 조리물의 버닝 상태를 추정하고;
사용자 인터페이스(40)를 통해 상기 조리물의 버닝 상태를 사용자에게 알리는 것;을 포함하는 조리 기기의 제어 방법.
제11항에 있어서,
상기 조리물의 버닝 상태를 추정하는 것은,
상기 조리물의 현재 영상 또는 상기 조리물의 초기 영상 및 상기 현재 영상을 함께 상기 학습된 모델에 입력하여 상기 조리물의 버닝 상태를 추정하는 것을 포함하는 조리 기기의 제어 방법.
제11항에 있어서,
상기 학습된 모델은,
CNN(Convolutional Neural Network) 또는 상기 CNN과 RNN(Recurrent Neural Network)의 조합인 조리 기기의 제어 방법.
제11항에 있어서,
상기 조리물의 버닝 상태를 추정하는 것은,
가열 조리 전 조리물 색상과, 가열 조리 중 조리물 색상 변화 또는 형태 변화 중 적어도 하나를 근거로 상기 조리물이 버닝 상태 인식 가능한 조리물인지 판단하고, 버닝 상태 인식 가능한 조리물인 경우, 상기 조리물의 버닝 상태를 추정하는 것을 포함하는 조리 기기의 제어 방법.
제11항에 있어서,
상기 조리물의 버닝 상태를 추정하는 것은,
상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스 및 해당 버닝 클래스의 확률적 수치를 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정하는 것을 포함하는 조리 기기의 제어 방법.
제11항에 있어서,
상기 조리물의 버닝 상태를 추정하는 것은,
상기 학습된 모델을 이용하여 상기 조리물의 복수의 버닝 클래스, 해당 버닝 클래스의 확률적 수치 및 시계열적 버닝 경향성을 포함하는 버닝 상태 정보를 획득하고, 상기 버닝 상태 정보에 따라 상기 조리물의 버닝 정도를 추정하는 것을 포함하는 조리 기기의 제어 방법.
제16항에 있어서,
상기 조리물의 버닝 상태를 추정하는 것은,
상기 조리물의 이전 버닝 정도와 현재 버닝 정도를 비교하여 상기 현재 버닝 정도가 시계열적으로 역행하거나 상기 이전 버닝 정도와 상기 현재 버닝 정도 간의 차이가 미리 설정된 차이보다 클 경우, 상기 현재 버닝 정도를 보정하는 것을 포함하는 조리 기기의 제어 방법.
제15항에 있어서,
상기 조리물의 버닝 상태를 알리는 것은,
상기 조리물의 버닝 정도별로 그에 대응하는 시점에 해당 버닝 정도를 사용자에게 알리는 것을 포함하는 조리 기기의 제어 방법.
제11항에 있어서,
상기 사용자 인터페이스를 통해 사용자에 의해 입력된 명령에 따라 조리물의 버닝 정도에 따른 가열 제어를 설정하는 것을 더 포함하는 조리 기기의 제어 방법.
제19항에 있어서,
상기 조리물의 버닝 정도에 따라 그에 대응하는 가열 제어를 수행하는 것을 더 포함하는 조리 기기의 제어 방법.