KR102329592B1 - 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템 - Google Patents

Abstract

음식 준비 시스템 및 방법으로서, 음식 지지 플랫폼이 제1 음식을 지지하는 동안 음식 지지 플랫폼의 하나 또는 복수의 이미지를 획득하기 위해 카메라의 이미지 캡처를 트리거하는 단계; 제1 음식에 대해 재료 인식을 수행하는 단계- 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식하기 위해, 일반 분류기에서 각각의 이미지의 특징 텐서를 분류하는 단계 및 제1 음식에 대응되고, 상기 각 제 1 레벨 음식 재료 카테고리의 하위 카테고리인 제2 레벨 음식 재료 카테고리를 인식하기 위해, 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응되는 각 세부 분류기에서 각각의 이미지의 특징 텐서를 분류하는 단계를 포함; 및 실행된 재료 인식에 따라, 제1 음식을 가열하기 위해, 하나 또는 복수의 가열 유닛을 조정하는 단계, 를 포함한다.

Description

재료 인식을 기반으로 하는 음식 준비 방법 및 시스템

본 출원은 2017년 12월 30일에 출원하고, 출원번호가 US62/612,426인 미국 특허 출원을 우선권으로 주장하는바, 그 전부 내용은 참조로서 본 출원에 인용된다.

본 발명은 가전제품 분야에 관한 것으로, 특히 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템에 관한 것이다.

전자레인지, 스토브탑, 토스터 오븐, 전기밥솥, 오븐 및 찜기 등과 같은 종래의 전기 음식 준비 시스템은, 조리 온도 및 조리 시간 사양에 대한 수동 입력에 의존한다. 이러한 종래의 시스템은 사용자에게 음식 안전성 요구사항을 어기지 않으면서 상이한 음식 재료를 익히는 정도에 따른 가열 및 요리하는 방법에 대한 많은 지식과 경험을 가지도록 요구한다. 일부 최신형의 전기 음식 준비 시스템에서 사용자는 일부 기설정된 음식 옵션으로부터 선택할 수 있고, 사용자의 선택에 따라 조리 시간 및 전력 수준을 조정할 수 있다. 그러나 사용자가 요리하고자 하는 다양한 음식에 있어서, 이러한 기설정된 선택 메뉴는 너무 제한적이거나 너무 광범위하여 결정하기 어렵다.

사람들이 건강과 생활 방식 개선에 대한 관심이 날로 높아짐에 따라, 사람들이 먹는 음식의 품질 및 영양가는 점점 더 중요해지고 있다. 스마트 기기에서의 일부 응용 프로그램은 음식 재료 및 이에 각각의 영양 정보의 데이터베이스를 제공한다. 그러나 이러한 응용 프로그램은 일반적으로 각각의 영양 가치를 제공하도록, 사용자에게 음식 재료의 명칭 및 다양한 재료의 수량을 입력할 것을 요구한다. 상기 과정은 번거롭고 비효율적이므로, 이러한 응용 프로그램의 실용성을 심각하게 제한한다.

일부 연구원들은 인공 지능 및 딥러닝 기술을 사용하여 음식 이미지에 따라 음식 재료를 자동으로 인식할 것을 제안한다. 그러나 음식 재료가 요리에서 나타내는 형태 차이가 크고, 이미지를 캡처하는 상이한 조건으로 인해, 인식 결과가 매우 나쁘다. 또한, 음식 재료의 종류가 수십만 가지에 달하고, 하나의 요리에 수십 가지 재료가 존재하므로, 자동 인식 모델이 매우 크고 계산량이 방대하여, 순수한 학술 연구 환경 외부에서 발전되기 어렵다. 또한, 모델에 새로운 재료를 추가할 때마다, 파라미터의 개수를 변경해야 하고 모델에 대한 훈련을 반복해야 하기 때문에 이러한 시스템은 확장하기 어렵다.

이러한 이유로 인해, 적절한 자원 소비로 일관된 음식 재료 인식을 제공할 수 있고, 확장 가능하며, 음식 준비 제어를 조정하고/하거나 권장 영양을 제공하는 더 나은 음식 준비 시스템이 필요하다.

배경 기술에서 논의된 바와 같이, 종래의 음식 준비 시스템은 자동 재료 인식을 기초로 음식 준비를 자동으로 제어하는 측면에서 제한된 능력을 제공한다. 종래의 음식 재료 인식이 정확하지 않고, 대량의 계산 자원을 필요로 하며, 확장되기 어렵다. 본 발명에 개시된 방법 및 시스템은 다양한 방식으로 종래의 방법 및 시스템의 이러한 단점을 해결한다.

예를 들어, 음식을 음식 준비 시스템에 배치할 경우, 재료 인식을 위한 이미지를 현장에서 촬영한다. 음식 준비 시스템의 기본 이미지는 배경을 효과적으로 제거하여, 음식 관련 이미지 정보만 남겨둔다. 또한, 음식이 배치된 음식 준비 시스템의 알려진 사이즈를 고려하여, 이미지에서 음식 재료의 사이즈 및 비례도 공지된다. 현장 이미지의 획득은 다양한 조건에서 이미지 획득이 수행되는 기존 시스템의 이미지 처리가 어려워지고, 잘못된 인식 결과가 쉽게 발생하는 문제점들을 제거하고, 다른 현장 이미지 획득 기술은 또한 이미지 일관성 및 이미지의 충실도를 향상시키기 위해 사용된다.

또한, 재료 인식을 위한 이미지의 처리는 두 개의 단계, 즉 일반 분류 단계 및 세부 분류 단계로 수행된다. 일반 분류 단계에서, 요리의 음식 재료를 육류, 야채, 곡물 등과 같은 큰 카테고리로 분류한다. 세부 분류 단계에서 인식된 카테고리의 음식 재료를 육류에서의 생선, 닭고기, 소고기 등과 같은 더 구체적인 재료 라벨로 분류한다. 음식 재료의 큰 카테고리는 음식 준비 시스템의 특정 사용 설정에 기반하여 결정된다. 예를 들어, 조리 모드에서 전자레인지를 사용할 경우, 육류, 야채, 곡물 등과 같은 가공 처리되지 않은 음식 재료 카테고리를 사용하고; 재가열 모드에서 전자레인지를 사용할 경우, 볶음 요리, 구운 야채, 구운 고기, 피자, 수프 등과 같은 요리 스타일 카테고리를 사용한다. 큰 카테고리를 먼저 선택하면, 분류 과정이 더 집중되므로, 계산 모델의 사이즈가 감소되고, 계산량이 감소되며, 인식 정확도를 향상시킨다. 또한, 재료를 추가할 경우, 영향을 받는 큰 카테고리의 상세한 분류 모델만 업데이트 하면 되므로, 인식 시스템은 더 높은 확장성을 갖는다. 일부 실시예에 있어서, 이미지 처리를 통해 상위 n 개의(예를 들어 3 개) 음식 재료를 인식함으로써, 계산 복잡도, 처리 시간 및 메모리 사용량을 추가로 감소시킨다.

본 발명에 개시된 바와 같이, 음식 준비 시스템은 음식을 지지하도록 구성된 음식 지지 플랫폼, 음식 지지 플랫폼을 향하는 시야를 갖는 카메라, 음식 지지 플랫폼에 배치된 음식을 가열하도록 구성된 하나 또는 복수의 가열 유닛, 그리고 카메라 및 하나 또는 복수의 가열 유닛을 제어하기 위한 음식 준비 제어 유닛을 포함하고, 음식 준비 제어 유닛은 명령어를 포함하는 메모리 및 하나 또는 복수의 프로세서를 포함하며, 명령어는 하나 또는 복수의 프로세서에 의해 실행될 경우 프로세서로 하여금 동작을 실행하도록 하며, 상기 동작은 음식 지지 플랫폼이 제1 음식을 지지하는 동안 음식 지지 플랫폼의 하나 또는 복수의 이미지를 획득하기 위해 카메라의 이미지 캡처를 트리거하는 단계를 포함하고, 음식 지지 플랫폼의 하나 또는 복수의 이미지를 기초로 제1 음식에 대해 재료 인식을 수행하는 단계는, 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식하기 위해 일반 분류기에서 하나 또는 복수의 이미지 중의 각각의 이미지의 특징 텐서를 분류하는 단계; 제1 음식에 대응되는 제2 레벨 음식 재료 카테고리를 인식하기 위해, 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응되는 각 세부 분류기에서 각각의 이미지의 특징 텐서를 분류하는 단계 - 상기 제2 레벨 음식 재료 카테고리는 상기 각 제1 레벨 음식 재료 카테고리의 하위 카테고리임 - ; 및 실행된 재료 인식에 따라, 제1 음식을 가열하기 위해 하나 또는 복수의 가열 유닛을 조정하는 단계를 포함한다.

본 명세서에 개시된 바와 같이, 일부 실시예에 있어서, 음식 준비를 제어하는 방법은 음식 준비 시스템에서 동작을 실행하는 단계를 포함하고, 상기 음식 준비 시스템은 음식을 지지하도록 구성된 음식 지지 플랫폼, 음식 지지 플랫폼을 향한 시야를 갖는 카메라, 음식 지지 플랫폼에 배치된 음식을 가열하도록 구성된 하나 또는 복수의 가열 유닛, 그리고 카메라 및 하나 또는 복수의 가열 유닛을 제어하기 위한 음식 준비 제어 유닛을 포함하며, 음식 준비 제어 유닛은 메모리 및 하나 또는 복수의 프로세서를 포함하고, 상기 동작은, 음식 지지 플랫폼이 제1 음식을 지지하는 동안 음식 지지 플랫폼의 하나 또는 복수의 이미지를 획득하기 위해 카메라의 이미지 캡처를 트리거하는 단계; 음식 지지 플랫폼의 하나 또는 복수의 이미지에 기반하여 제1 음식에 대해 재료 인식을 수행하는 단계 - 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식하기 위해, 일반 분류기에서 하나 또는 복수의 이미지 중의 각각의 이미지의 특징 텐서를 분류하는 단계와, 제1 음식에 대응되고, 상기 각 제1 레벨 음식 재료 카테고리의 하위 카테고리인 제2 레벨 음식 재료 카테고리를 인식하기 위해, 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응되는 각 세부 분류기에서 각각의 이미지의 특징 텐서를 분류하는 단계를 포함함 - ; 및 실행된 재료 인식에 따라, 제1 음식을 가열하기 위해 하나 또는 복수의 가열 유닛을 조정하는 단계를 포함한다.

일부 실시예에 있어서, 시스템은 본 명세서에서 설명한 임의의 방법을 실행하는 프로세서 및 메모리를 포함한다. 일부 실시예에 따르면, 전자 기기는 하나 또는 복수의 프로세서 및 하나 또는 복수의 프로그램을 저장하는 메모리를 포함하고, 하나 또는 복수의 프로그램은 하나 또는 복수의 프로세서에 의해 실행되도록 구성되고, 하나 또는 복수의 프로그램은 본 명세서에서 설명한 임의의 방법의 동작을 실행하기 위한 명령어를 포함한다. 일부 실시예에 따르면, 비 일시적 컴퓨터 판독 가능한 저장 매체에는 명령어가 저장되고, 이러한 명령어는 전자 기기에 의해 실행될 경우, 상기 기기가 본 명세서에서 설명한 임의의 방법의 동작을 실행한다. 일부 실시예에 따르면, 전자 기기는 이미지를 캡처하기 위한 장치, 음식을 가열하기 위한 장치 및 본 명세서에서 설명한 임의의 방법의 동작을 실행하기 위한 장치를 포함한다.

아래의 설명에 따르면, 본 출원의 다양한 장점은 자명한 것이다.

아래에 도면을 결합하여, 바람직한 실시예의 상세한 설명을 통해 개시된 기술의 전술한 특징 및 장점과 추가 특징 및 장점은 더욱 명확하게 이해될 것이다.
본 발명의 기술의 실시예 또는 기존 기술에서의 기술방안을 더욱 명확하게 설명하기 위하여, 아래에서 실시예 또는 기존 기술을 설명하는데 필요한 첨부 도면을 간단하게 설명하고자 한다. 아래의 설명에서의 첨부 도면은 본 발명의 기술의 일부 실시예만 도시하였고, 본 분야의 기술자라면 창조적 노력 없이도, 여전히 이러한 첨부 도면으로부터 다른 도면을 얻을 수 있음은 자명한 것이다.
도 1은 일부 실시예에 따른 음식 준비 시스템의 블록도이다.
도 2는 일부 실시예에 따른 다수의 예시적 음식 준비 시스템을 도시한다.
도 3은 일부 실시예에 따른 음식 준비 시스템의 이미지 획득 및 이미지 전처리를 도시한다.
도 4a 내지 도 4c는 일부 실시예에 따른 음식 재료 인식의 블록도이다.
도 5는 일부 실시예에 따른 재료 인식을 이용한 음식 준비 방법의 흐름도이다.
도 6은 일부 실시예에 따른 음식 준비 시스템의 블록도이다.
동일한 도면의 참조 번호는 도면의 여러 도면에 걸쳐 대응되는 부분을 지칭한다.

아래에서, 실시예를 참조하여 상세하게 설명되며, 그 예는 첨부 도면에 도시된다. 아래의 상세한 설명에서, 본 명세서에서 제시된 주제를 철저하게 이해하도록 제공하기 위해 많은 특정 세부 사항이 설명된다. 그러나 본 기술분야의 기술자에게 있어서, 이러한 특정 세부 사항이 없이도 상기 주제를 구현할 수 있다는 것은 자명한 것이다. 다른 경우에, 공지된 방법, 과정, 컴포넌트 및 회로는 실시예의 각 측면을 불필요하게 흐리지 않게 하기 위해 상세하게 설명되지 않았다.

아래에, 본 출원의 실시예에서의 도면을 결합하여 본 출원의 실시예에서의 기술방안을 명확하고 완전하게 설명한다. 물론, 설명된 실시예는 본 출원의 실시예의 전부가 아닌 일부일 뿐이다. 본 출원의 실시예에 기반하여, 본 분야의 기술자에 의해 창조적 노동 없이 얻어진 다른 실시예는 전부 본 출원의 보호 범위에 속해야 한다.

도 1은 일부 실시예에 따른 음식 준비 시스템(102)의 블록도이다. 음식 준비 시스템은 음식을 가열하기 위한 시스템을 포함하고, 상기 음식은 날 음식의 요리 또는 요리된 음식 재가열 아이템을 포함한다. 음식 준비 시스템의 예는 전자레인지, 스토브, 토스터 오븐, 대류 오븐, 전기밥솥, 그릴팬 등을 포함한다. 음식 준비 시스템(102)은 전도 방식, 대류 방식, 방사선 방식, 방사선 방식 등과 같은 다양한 방식을 통해 음식을 가열하는 가열 시스템을 포함한다. 음식 준비 시스템에 설치되고 가열 장치에 커플링된 다양한 제어 장치(예를 들어, 노브, 버튼 또는 응용 프로그램)를 통해 음식으로 방출되는 열량 또는 전력, 열량이 음식으로 방출되는 속도, 음식으로 방출되는 열량의 분포 및 방열 지속 시간 중 적어도 하나를 제어할 수 있다. 일부 실시예에 있어서, 컨트롤 부재는 사용자에 의해 수동으로 조정 가능하다.

도 1에 도시된 바와 같이, 일부 실시예에 있어서, 음식 준비 시스템은 현장 이미지 획득 시스템(104)을 포함한다. 현장 이미지 획득 시스템은 하나 또는 복수의 스틸 이미지 카메라 또는 비디오 카메라를 포함하고, 상기 하나 또는 복수의 스틸 이미지 카메라 또는 비디오 카메라는 음식 준비 시스템 내부 또는 근접한 위치에 설치되어, 카메라의 시야가 음식을 넣고 요리하는 격실 내부를 포함하도록 한다. 예를 들어, 선택적으로 카메라를 스마트 오븐의 내부 상단 벽에 설치하여, 상기 카메라는 오븐 랙 상단을 볼 수 있는 시야를 갖게 할 수 있다. 선택적으로, 다른 카메라를 오븐 내부의 상단 가장자리에 설치하고, 상기 카메라는 오븐 랙 상단의 측면으로부터 오븐 랙을 볼 수 있는 시야를 가질 수 있다. 일부 실시예에 있어서, 카메라를 음식을 요리하는 격실의 외부에 설치하고, 투명 창(예를 들어, 단열 창)을 통해 음식의 위치를 가리킬 수 있다. 일부 실시예에 있어서, 카메라는 격실의 외부에 배치되거나 음식 플랫폼의 상단에 배치된다. 현장 이미지 획득 시스템은 데이터 저장 시스템을 포함하고, 상기 데이터 저장 시스템은 음식 조리실의 사이즈, 음식 조리실 내부의 참조 표시의 사이즈, 카메라와 음식 조리실에서의 다양한 참조 표시 사이의 거리를 저장하기 위한 것이므로, 카메라에 의해 촬영된 이미지가 이미지 중 음식의 크기 및 모양을 정확하게 결정하는데 사용될 수 있도록 한다. 따라서, 상기 현장 이미지 획득 시스템(104)은, 이미지 획득 과정에서, 이미지에 참조 표시를 배치하거나, 아이템의 사이즈, 위치 및 방향 정보의 도움없이 이미지를 사용해야 하는 종래의 이미지 획득 시스템의 문제점들을 해결한다.

일부 실시예에 있어서, 현장 이미지 획득 시스템(104)은 이미지 캡처 트리거 시스템을 포함한다. 예를 들어, 일부 실시예에 있어서, 이미지 캡처 트리거 시스템이 카메라의 시야에 변화가 발생한 것을 검출할 경우, 이미지 캡처를 트리거한다. 예를 들어, 오븐 문이 열릴 경우, 오븐에서의 조명 조건이 변화되어, 오븐 문이 열린 것에 응답하여 이미지 캡처를 트리거한다. 일부 실시예에 있어서, 음식이 카메라의 시야에 나타나기 시작할 경우, 이미지 캡처를 트리거한다. 일부 실시예에 있어서, 음식을 완전히 넣고 오븐 문을 닫을 경우, 이미지 캡처를 트리거한다. 예를 들어, 이미지 캡처 시스템이 오븐 문의 열림을 검출한 것에 응답하여 동작을 시작하고, 실제로 오븐 문의 닫힘을 검출한 것에 응답하여 이미지의 캡처를 트리거한다. 일부 실시예에 있어서, 일련의 이미지를 캡처하여, 최종 배치 위치로의 경로를 따라 각 소정 위치에서 음식의 이미지를 캡처한다. 음식의 상이한 사이즈 및 시각을 갖는 이미지를 이용하면, 이미지 분석의 정확성을 향상시킴에 있어서 도움이 된다. 예를 들어, 오븐 문을 열고 음식의 일부를 넣었을 경우 제1 이미지를 캡처하므로, 상기 이미지는 음식의 일부만 포함한다. 음식을 추가로 오븐에 넣으면, 음식을 오븐 랙에 배치하고 오븐 문을 닫을 경우에 최종 이미지를 촬영할 때까지, 음식의 점점 더 많은 부분을 포함한 추가 이미지가 캡처된다. 일부 실시예에 있어서, 이미지 캡처 트리거 시스템은 또한 오븐 내부의 기준 이미지로서, 오븐 문이 열리기 직전에 오븐 랙의 이미지를 캡처하여 저장하도록 카메라에 지시한다. 일부 실시예에 있어서, 사용자의 입력에 응답하여, 예를 들어 사용자가 음식을 음식 조리실에 넣은 후, 이미지 캡처를 수동으로 트리거한다. 수동 트리거는 더 쉽게 구현되고, 동작도 복잡하지 않으며, 재료 인식을 수행하기 위해 사용자는 음식 특성을 가장 잘 반영하는 이미지를 의도적으로 캡처할 수 있다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 이미지 처리 시스템(106)을 포함한다. 이미지 처리 시스템(106)은 현장 이미지 획득 시스템에 의해 캡처된 이미지를 획득하고, 이미지로부터 배경을 제거하기 위해, 음식에 넣기 전에 캡처된 기준 이미지에 기반하여 이미지에 대해 전처리를 수행한다. 기준 이미지는 음식 준비 시스템의 음식 조리실에서의 음식 지지 플랫폼의 정확한 조건을 캡처하고, 음식을 포함하는 이미지가 배경을 제거할 수 있는 탁월한 필터를 제공한다.

일부 실시예에 있어서, 현장 이미지 획득 시스템은 선택적으로 복수의 조명에 대한 제어부를 포함하고, 상기 복수의 조명은 음식 지지 플랫폼 주위의 상이한 위치(예를 들어, 조리 기구의 밑부분, 오븐 랙의 상부, 전자레인지 내부의 플레이트 내부 등)에 위치하며, 상이한 조명을 켜고 끄는 것 및 상이한 조명 조건에서 이미지를 캡처하는 것을 통해 이미지에서 음식의 모양 및 질감을 향상시킬 수 있다. 예를 들어, 머핀의 형태는 피자의 모양과 상이하고, 육류 소스의 질감도 으깬 감자의 질감과 상이하다. 이미지에서의 추가 정보는 음식 및 재료를 구별함에 있어서 도움이 된다.

일부 실시예에 있어서, 음식 준비 시스템은 재료 인식 시스템(108)을 포함한다. 배경을 제거한 후, 음식 특징 텐서를 생성하기 위해 재료 인식 시스템(108)은 음식의 이미지를 처리한다. 재료 인식 시스템의 요구에 따라 특징 텐서를 선택적으로 생성한다. 규칙에 기반한 재료 인식 시스템일 경우, 특징 텐서는 규칙에 기반한 재료 인식 시스템의 다양한 파라미터의 값을 포함한다. 파라미터는 선택적으로 색상 함량, 채도, 이미지 특징의 사이즈, 이미지 특징의 모양, 음식의 전체 모양 등을 포함한다. 일부 실시예에 있어서, 재료 인식 시스템은 다수의 라벨링된 이미지 또는 라벨링되지 않은 이미지로부터 학습된 기계 학습 모델을 사용하여 입력 이미지에서 캡처된 음식의 재료를 인식한다. 이러한 시스템의 경우, 기계 학습 모델의 요구에 기반하여 특징 텐서를 준비한다. 기계 학습 모델에 이미지를 입력하여 특징 추출을 실행하고, 기계 학습 모델을 통해 분류한다. 일부 실시예에 있어서, 기계 학습 모델은 딥 신경 네트워크 모델이고, 상기 딥 신경 네트워크 모델은 다수의 숨겨진 계층을 통해 이미지를 처리한다. 일부 실시예에 있어서, 조합된 하이브리드 시스템은 재료 인식을 위해 사용된다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 재료 데이터 통합 시스템(110)을 포함한다. 재료 데이터 통합 시스템(110)은 인식된 재료의 영양 데이터를 검색하고, 이미지에서 캡처된 음식에 대한 영양 평가를 생성한다. 일부 실시예에 있어서, 재료 데이터 통합 시스템(110)은 인식된 재료의 레시피를 검색하고, 레시피의 요구에 기반하여 선택적으로 사용자에게 요리 명령어를 제공하거나 조리 시간 및 가열 전력을 자동으로 조정한다. 일부 실시예에 있어서, 재료 데이터 통합 시스템(110)은 인식된 재료를 포함하는 복수의 레시피를 검색하고, 상이한 레시피의 영양 정보의 비교에 기초하여 사용자에게 추천한다.

일부 실시예에 있어서, 재료 인식 시스템(108)은 이미지에서 캡처된 음식에서의 상위 n 개의 주요 재료만 인식하고, 재료 데이터 통합 시스템(110)은 인식된 주요 재료를 포함하는 레시피를 검색하며, 레시피의 추가 재료를 음식에서의 기타 재료로 인식한다. 일부 실시예에 있어서, 재료 인식 시스템의 결과를 검증하기 위해 레시피의 추가 재료를 사용한다. 예를 들어, 재료 인식 시스템이 음식의 가능한 재료로서 네 가지 큰 카테고리의 재료를 생성하면, 음식에 포함된 이 상위 세 가지 재료 카테고리에서만 음식 재료의 구체적인 하위 카테고리를 인식하기 위해 추가 처리를 수행한다. 네 번째 카테고리는, 다른 세 개의 카테고리와 비교할 수 있는 구체적인 수준으로 지정되지 않은 채로 남겨져 있다. 레시피의 정보를 이용하여 레시피의 추가 재료에 제4 카테고리의 재료가 포함되면 재료 인식 모델을 사용하지 않고 제4 카테고리를 추가로 지정할 수 있어, 데이터 처리 시간을 절약하고 인식 정확도를 향상시킨다. 일부 실시예에 있어서, 또한 레시피에 기초하여 다양한 재료의 수량 정보를 결정한다. 예를 들어, 이미지로부터 직접 인식하지 못하는 기타 재료(예를 들어, 오일, 크림, 향료, 분말, 가루 형태 또는 인식 불가한 형태의 재료 등)를 판단하기 위해, 이미지로부터 인식된 주요 재료의 수량을 기초로 사용하고, 이미지 분석을 통해 인식된 재료 및 검색된 레시피에 따라 인식된 추가 재료에 기반하여 전체 영양 정보를 제공한다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 제어 조정/추천 시스템(112)을 포함한다. 음식을 요리 또는 재가열하기 위한 최적 온도 및 가열 전력을 결정하기 위해, 제어 조정/추천 시스템(112)은 인식된 재료 및 검색된 레시피 중 적어도 하나의 요리 명령어를 검색한다. 일부 실시예에 있어서, 음식 준비 시스템(102)은 음식 준비 시스템(102)의 가열 파라미터를 자동으로 조절한다. 일부 실시예에 있어서, 음식 준비 시스템(102)은 사용자에게 요리 제어 조정 권장사항을 제공하고, 사용자가 음식 준비 시스템(102)의 물리적 노브 및 버튼을 사용하여 요리 파라미터를 수동으로 조절하도록 한다. 일부 실시예에 있어서, 제어 조정/추천 시스템(112)은 선택적으로 사용자의 영양 및 취향 선호도에 기반하여 하나의 레시피와 다른 하나의 레시피에 따라 음식을 요리하는 방법에 관한 추천을 한다.

일부 실시예에 있어서, 음식 준비 시스템은 음식의 요리 또는 재가열 동안 음식의 이미지를 계속 캡처하고, 음식 재료의 익힘 정도 및 형태에 대해 등급을 나누고, 음식의 현재 형태에 기반하여 요리 온도 및 조리 시간을 자동으로 조정한다. 일부 실시예에 있어서, 음식의 이미지에서 음식이 적절한 익힘 정도로 조리되었음을 나타내고 조리실로부터 제거되어야 할 경우, 제어 조정/추천 시스템(112)은 경고를 발생시킨다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 사용자에 대한 입력/출력(I/O) 인터페이스(114)를 포함하고, 상기 사용자에 대한 I/O 인터페이스(114)는 선택적으로 디스플레이, 스피커, 키보드, 터치 스크린, 음성 입력 출력 인터페이스 등을 포함한다. 사용자에 대한 I/O 인터페이스(114)는 사용자에게 추천, 경고 및 영양 정보를 제공하고, 사용자로부터의 제어 명령어를 수신하기 위한 것이다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 외부 서비스에 대한 I/O 인터페이스(116)를 포함한다. 외부 서비스는, 레시피, 재료 인식 모델의 데이터베이스 서비스를 위한 것이고, 서버에서 재료 인식을 수행하기 위한 훈련 코퍼스 등을 포함한다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 음식 준비 제어부를 포함하고, 상기 음식 준비 제어부는 가열 유닛의 전력 출력, 요리 방법, 요리 온도, 열 분포, 조리 시간 등을 조정한다. 음식 준비 제어부(118)는 수동 조절 및 제어 조정/추천 시스템(112)의 제어 모두에 응답하는 버튼, 노브, 터치 스크린 제어 등을 포함한다.

일부 실시예에 있어서, 음식 준비 구조(120)는 바닥에 열 코일을 포함하는 요리 용기, 유도 요리 표면, 음식 지지 표면(예를 들어 오븐 랙)을 갖는 요리 인클로저와 같은 음식 준비 구조를 포함한다. 일부 실시예에 있어서, 음식 준비 구조(120)는 음식을 돌리거나 회전시키고, 음식물 주위의 열량 또는 가열 유닛을 재분배하기 위해 믹서기, 회전식 믹서기, 팬 등과 같은 돌림 및 믹싱 메커니즘을 포함한다.

일부 실시예에 있어서, 음식 준비 시스템(102)은 이전에 캡처된 음식의 이미지 또는 유사한 다른 음식 준비 시스템의 이미지로부터의 이미지 데이터베이스(122)를 더 포함한다. 일부 실시예에 있어서, 음식 준비 시스템(102)은 재료 데이터베이스를 포함하고, 상기 재료 데이터베이스는 카테고리, 하위 카테고리, 특징, 영양 데이터, 요리 방법, 다양한 음식 재료의 이미지 및 완성된 요리를 포함한다. 일부 실시예에 있어서, 음식 준비 시스템(102)은 재료를 통해 검색 가능한 레시피 데이터베이스를 더 포함하고, 또한 상이한 레시피에서의 상이한 재료에 대한 수량 정보를 포함한다. 일부 실시예에 있어서, 음식 준비 시스템(102)은 영양 데이터베이스를 더 포함하고, 상기 영양 데이터베이스는 상이한 레시피 및 재료에 대한 영양 정보, 그리고 상이한 레시피 및 재료와 사용자의 연관성(예를 들어, 알레르기, 의약 용도 등)을 포함한다. 음식 준비 시스템(102)의 다른 컴포넌트는 음식 준비 시스템(102)의 실제 사용 및 사용자 피드백에 기반하여 데이터베이스로부터 정보를 검색하고, 또한 추가 정보 내에서 데이터베이스를 업데이트한다.

이상의 예는 다만 예시적인 목적으로 제공된 것이다. 아래에 다른 첨부 도면 및 도시된 것에 대한 각 컴포넌트의 기능의 더 많은 세부 사항을 반복적으로 설명한다. 이해해야 할 것은, 본 명세서에 따른 하나 또는 복수의 컴포넌트는 다른 컴포넌트와 독립적으로 사용될 수 있다. 예를 들어, 일부 실시예에 있어서, 재료 인식 시스템 및 재료 데이터 통합 시스템은 현장 이미지 획득 시스템 및 이미지 처리 시스템과 별도로 구현될 수 있고, 이전에 다른 음식 준비 시스템로부터 캡처된 이미지에 기반하여 재료를 인식하는데 사용될 수도 있다.

도 2는 일부 실시예에 따른 다수의 예시적 음식 준비 시스템을 도시한다.

도 2에 도시된 바와 같이, 토스터 오븐(202), 전자레인지(204), 회전식 오븐(206) 및 전기쿡탑(208)은 각각의 카메라(예를 들어 카메라(210, 212, 230 및 232))를 포함하고, 상기 카메라들은 음식 준비 시스템의 음식 지지 표면(예를 들어, 토스터 오븐(202)에서의 오븐 랙, 전자레인지(204)에서의 마이크로 회전판, 회전식 오븐(206)에서의 회전판, 전기 쿡탑(208)에서의 요리 표면)을 가리킨다. 카메라 위치는 음식 준비 시스템(예를 들어, 토스터 오븐(202), 전자레인지(204), 회전식 오븐(206))의 조리실의 내부, 또는 음식 지지 표면의 바로 위(예를 들어, 전기쿡탑(208)에서의 스토브 탑면(234))에 위치하도록 선택된다. 사용자에게 음식 준비 시스템 내부에서 요리되거나 가열되는 음식의 정보 및 추천을 제공하기 위해, 디스플레이(예를 들어, 디스플레이(218 및 224))를 출력 인터페이스로 포함할 수 있다. 제어부(220, 222, 226, 228 및 236)를 사용하여 음식 준비 시스템의 요리 파라미터를 조정한다.

도 3은 일부 실시예에 따른 음식 준비 시스템에서의 이미지 획득 및 이미지 전처리를 도시한다. 도 3(a)에 도시된 바와 같이, 오븐에서의 음식 지지 표면의 기준 이미지(302)는 오븐 문을 열기 직전에 또는 음식을 오븐에 넣기 전에 오븐 문이 열린 것에 응답하여 즉시 캡처된 것이다. 상기 이미지는 오븐벽의 부분(308) 및 오븐 랙의 부분(310)을 포함한다. 상기 이미지는 피자 스톤을 나타내는 부분(312)을 더 포함한다. 음식(예를 들어, 피자)을 피자 스톤에 평평하게 넣은 후, 음식 지지 표면으로부터 캡처된 이미지(304)는 이미지(302)에서의 모든 컴포넌트 및 피자를 나타내는 이미지 부분(320)을 포함한다. 기준 이미지(302)를 필터로 사용하여 이미지(304)의 배경을 필터링할 경우, 음식(예를 들어, 피자)의 원본 이미지(306)를 획득하고, 상기 원본 이미지(306)는 깨끗한 흰색 배경을 갖고 음식의 부분(322)을 도시한다. 이러한 깨끗한 이미지(도 3(c)에 도시된 바와 같이)에 기반한 재료 인식은 랜덤한 조건에서 캡처된 이미지보다 높은 인식 정확도를 갖는다. 실질적으로 동일한 조건에서 적절한 기준 이미지를 캡처하지 못한 경우에서의 배경 제거 효과는 이상적이지 않고, 인식 결과를 왜곡시키는 아티팩트를 생성할 수 있다. 현장 이미지 캡처 및 배경 필터링을 통해, 이미지에 기반한 재료 인식의 효과는 더욱 좋다.

도 3(t-1 내지 t-3)은 음식(예를 들어, 피자(238))을 음식 준비 시스템(예를 들어 오븐(202))에 넣고 음식 지지 표면(예를 들어, 오븐 랙(242)에서의 피자 스톤(240))에 배치하는 동시에 카메라(210)에 의해 상이한 시간 포인트에서 캡처된 일련의 이미지를 도시한다. 상이한 이미지는 상이한 거리 및 시야각으로부터의 음식을 디스플레이하고, 재료 인식을 수행하기 위해 음식의 질감, 모양 및 색상에 대한 추가 정보를 제공한다. 일부 실시예에 있어서, 동일한 기준 이미지를 사용하여 이미지를 필터링하고, 음식 자체의 부분 이미지를 획득한다. 일부 실시예에 있어서, 부분 이미지는 재료 인식을 위한 것일 수도 있다. 일부 실시예에 있어서, 부분 이미지로부터 사이즈, 모양 데이터를 추출하고, 재료 및 재료 수량을 결정하기 위해, 사이즈, 모양 데이터와 완전한 음식의 이미지 정보를 결합하여 사용한다.

도 4a 내지 도 4c는 일부 실시예에 따른 음식 재료 인식의 블록도이다.

도 4a에서, 재료 인식 시스템(108)의 전체 아키텍처를 도시한다. 재료 인식 시스템(108)의 입력은 음식을 음식 지지 표면에 배치할 경우(및 선택적으로 음식을 음식 조리실에 넣어 음식 지지 표면에 도착하기 전일 경우) 음식 준비 시스템의 음식 지지 표면에서 캡처된 이미지이다. 일부 실시예에 있어서, 입력 이미지는 배경이 제거된 필터링된 이미지이다. 일부 실시예에 있어서, 입력은 스펙트럼 정보, 모양, 크기, 중량 정보 등과 같은 다른 센서 및 입력 인터페이스를 통해 획득된 추가 정보를 더 포함한다. 일부 실시예에 있어서, 사용자에 의해 선택된 요리 방법 또한 재료 인식에서 입력된 것으로 사용된다. 일부 실시예에 있어서, 음식 준비 시스템의 동작 모드는 재료 인식의 입력으로 사용된다. 예를 들어, 음식 준비 시스템이 재가열 모드가 아닌 생식 조리 모드로 동작될 경우, 상이한 큰 카테고리 및 인식 방법을 사용한다. 입력 센싱 단계(402)는 이미지 캡처, 이미지 전처리, 외부 데이터베이스 또는 내부 데이터베이스로부터 검색된 보조 정보, 사용자에 대한 I/O 인터페이스로부터 수신된 입력 등을 포함한다. 특징 추출 단계(404)에 있어서, 특징 텐서(예를 들어, 특징 벡터 v1, v2, ......, vn의 순서 집합)를 생성한다. 특징 텐서는 컬러 히스토그램, 모양 특징, 이미지 분할 데이터, 가중치 데이터, 이미지 특징 벡터 등과 같은 상이한 종류의 입력된 특징 벡터를 포함한다. 특징 텐서는 입력 데이터를 분류하는데, 상이한 재료에 대한 확률 분포를 생성하기 위해 후속적으로 사용되는 분류 방법에 기반한다. 다음, 일반 분류 단계(406)에 있어서, 특징 텐서를 일반 분류기에서의 입력으로 사용하여, 음식 중 재료의 전체 재료 카테고리를 결정한다. 음식 중 재료의 전체 재료 카테고리가 결정되면, 세부 분류 단계(408)를 실행한다. 세부 분류 단계에 있어서, 음식을 구성하는 상세한 재료 카테고리 또는 재료를 추가로 결정하기 위해, 인식된 상위 배열의 큰 재료 카테고리에 대응되는 세부 분류기를 사용한다.

도 4b는 음식의 상이한 재료의 분류기가 복수 층의 분류기로 구성된 것을 도시하고, 음식 재료를 과일, 육류, 야채 등의 루트 레벨 분류기(412)와 같은 복수의 제1 레벨 음식 카테고리로 분류한다. 일부 실시예에 있어서, 사용된 요리 방법에 따라(예를 들어, 음식 준비 시스템의 재가열 모드에서), 구운 음식, 수프, 볶음, 샐러드, 튀긴 음식, 등과 같은, 익지 않은 재료의 성분 카테고리와 대조적인 다른 세트의 제1 레벨 카테고리가 사용될 수 있다. 각 제1 레벨 음식 재료 카테고리는 하나의 상세한 제1 레벨 재료 분류기에 대응된다. 예를 들어, 제1 레벨 분류기에서, 과일 분류기(414)는 특징 텐서 또는 입력 특징 텐서의 하위 부분을 사용하여 음식에서 인식된 과일 재료를 추가로 분류할 수 있다. 육류 분류기(416)는 특징 텐서 또는 입력 특징 텐서의 하위 부분을 사용하여 음식에서 인식된 육류 재료를 추가로 분류할 수 있다. 야채 분류기(418)는 특징 텐서 또는 특징 텐서의 하위 부분을 사용하여 음식에서 인식된 야채 재료를 추가로 분류할 수 있다. 다시 말해, 분류기는 트리 구조로 구성되며, 작은 분류기는 모든 재료 카테고리가 아닌 하나의 재료 카테고리를 분류하는데 중점을 둔다. 이로써, 계산의 복잡도가 더욱 낮고, 음식의 분류에서 모든 분류기를 사용할 필요 없이, 관련성이 가장 높고 가장 가능성 있는 분류기가 트리거된다. 또한, 특징 텐서의 차원을 감소시킬 수도 있는데, 이는 음식에 속하지 않는 재료와 관련된 특징이 선택된 하위 레벨 분류기의 입력으로서 특징 텐서에 포함될 필요가 없기 때문이다. 도 4b에 도시된 바와 같이, 루트 레벨 분류기(412)를 사용하여 음식이 육류 아이템을 포함하도록 분류하고, 특징 텐서를 육류 카테고리(416)에 대응되는 제1 레벨 분류기(420)에 입력한다. 육류 카테고리에 대응되는 제1 레벨 분류기(420)를 사용하면, 재료 인식 시스템은 음식이 두 개의 제2 레벨 음식 카테고리에서의 재료 즉 어육 카테고리(422) 및 동물 육류 카테고리(424)를 포함한다는 것을 인식한다.

도 4c는 제2 레벨 음식 재료 카테고리에서의 각 카테고리가 또한 각각의 제2 레벨 분류기를 갖고 있음을 도시하고, 상기 제2 레벨 분류기는 입력 특징 텐서 또는 입력 특징 텐서의 일부를 사용할 수 있고, 음식에 존재하는 하나 또는 복수의 제3 레벨 재료 카테고리 또는 재료를 결정한다. 도 4c에 도시된 바와 같이, 입력 특징 텐서 또는 입력 특징 텐서의 일부를 세부 분류 단계(428)에서의 어육 분류기(430) 및 동물 육류 분류기(432)와 같은 세부 분류기에 입력(426)할 경우, 어육 분류기(430)는 연어(436), 농어(438) 등을 포함하는 다양한 타입의 어육 음식의 확률 및 동물 육류 분류기(432)는 돼지고기(440), 소등심(442), 닭고기(444)등의 다양한 동물 육류의 음식의 확률을 생성한다. 이로써 주요 재료 카테고리에 대한 재료 인식을 완료한다.

규칙에 기반한 방법 또는 학습에 기반한 방법을 통해 음식 인식 방법 및 시스템을 구현할 수 있다. 학습에 기반한 방법의 경우, 본 명세서에서 라벨 및 저장 방법을 제시한다. 라벨 방법 외에, 또한 도 4a 내지 도 4c에 도시된 바와 같은 브랜치 아키텍처를 통해 트리 구조 인식 시스템을 구현한다.

라벨 방법에서 데이터를 라벨링 하기 위해, 일부 실시예에 있어서, 재료 카테고리 리스트를 생성하고, 각 카테고리는 재료 카테고리 리스트에서 유일한 인덱스 번호를 갖는다. 상위 n 개의 주요 재료 카테고리만 입력 특징 벡터로 라벨링 된다. 사용자 입력에 따라 개수 n이 결정될 수 있고, 하나의 입력 벡터에 n 개의 파라미터가 존재할 수 있다. 각 파라미터는 크기 상한이 존재하고, 상기 크기 상한은 재료 카테고리 리스트에 의해 결정된다. 예를 들어, 미리 정의된 재료 카테고리 리스트에 255가지 재료 카테고리가 존재하면, 각 파라미터에는 8비트가 있다. 상위 세 개의 주요 재료만 라벨링 하였으면, 각 라벨에 세 개의 파라미터가 존재하므로, 벡터의 전체 크기는 24비트이다. 길이와 모든 재료 카테고리의 개수와 동일한 벡터로 음식을 라벨링 하는 것과 비교하면, 이는 이러한 카테고리의 라벨을 저장하기 위한 컴퓨터 자원을 절약한다.

일부 실시예에 있어서, 인식 시스템에 대해, 모델을 먼저 구축하고, 상기 모델은 도 4a에 도시된 바와 같은 세 개의 부분을 포함한다. 제1 부분은 특징 추출 모델(404)이고, 상기 특징 추출 모델(404)은 이미지로부터 기본 비전 특징을 추출할 수 있다. 제2 부분은 일반 분류기(406)이고, 상기 일반 분류기(406)는 특징 텐서를 일반적인 카테고리로 분류할 수 있다. 마지막 일부는 재료 인식 분기선 또는 세부 분류기이고, 상기 재료 인식 분기선 또는 세부 분류기는 음식에 포함된 재료의 카테고리를 인식한다. 세부 분류기의 인식 과정은 일반 분류기에 기반한다.

일부 실시예에 있어서, 입력은 컬러 카메라, 깊이 센서, 질량 분석기 및 수동 입력 등과 같은 상이한 타입의 센서로 획득될 수 있는 혼합 정보 타입을 갖는 텐서로 간주될 수 있다.

일부 실시예에 있어서, 규칙에 기반한 방법 또는 학습에 기반한 방법으로 특징 추출 컴포넌트를 구현할 수 있고, 이는 상이한 특징을 사용할 수 있음을 의미한다. 입력이 RGB 카메라에 의해 캡처될 경우, 추출 컴포넌트는 LBP, SIFT, 컬러 히스토그램, 또는 딥 러닝 네트워크 특징맵을 출력 텐서로 추출하여 향후 분류기의 입력으로 사용한다.

일반 분류기의 경우, 일반 분류기는 특징 추출 컴포넌트에 의해 추출된 텐서를 로딩하고 일반 인식 결과를 출력한다. 일반 인식은 입력 텐서를 하나 또는 복수의 일반 카테고리로만 분류함을 의미한다. 예를 들어, 사과 재료는 과일로 분류되고, 돼지 고기 재료는 육류로 분류되는 것이다. 일부 혼합 재료를 갖는 요리는 육류 및 야채 요리로 분류된다. 일부 복잡한 경우에 대해, 일반 분류기에는 하나 이상의 분류기를 포함하여 트리 모델을 구축하고, 각 분류기 상단에는 상이한 일반 레버가 모두 존재한다. 트리 모델의 목적은 특징 텐서를 따라 트리 모델의 루트로부터 분기로 흐를 경우, 상위 일반 카테고리로부터 일부 하위 구체적인 카테고리로 단계별로 이미지를 인식하는 것이다. 예를 들어, 도 4b에 도시된 바와 같이, 튀긴 연어 이미지는 육류로 먼저 분류된다. 다음, 이미지는 육류 카테고리의 각각의 분기로 전송되고, 다음 단계의 분류기에 의해 어육으로 분류된다. 이 방법은 정확성 및 속도 측면에서 시스템의 성능을 향상시킬 수 있다. 일반 카테고리는 상이한 분기 체인을 갖고, 각 체인은 다른 체인에 대해 상대적으로 독립적인 분류기이다. 일반 분류기의 주요 목적은 다음 단계 인식을 위한 일반 정보를 획득하는 것이다.

세부 분류 단계의 경우, 음식에 포함된 구체적인 재료를 인식한다 세부 분류기는 또한 다중 분류기 구조이다. 각 분류기는 모두 독립적인 유닛이고, 하나의 타입의 재료만 인식할 수 있다. 다시 말해, 세부 분류기는 음식에 재료가 포함되는지를 인식할 수 있다. 이미지에 재료가 포함될 경우, 유닛은 높은 확률을 나타내는 높은 점수를 출력한다. 유닛의 개수는 각각의 카테고리 중 재료의 종류에 따라 결정된다.

SVM, 딥 러닝 네트워크 등과 같은 종래의 알고리즘을 포함하는 상이한 방법을 통해 일반 분류기 및 세부 분류기에서의 모든 분류 유닛을 구현할 수 있다.

전체 인식 시스템의 경우, 이미지를 특정된 일반 카테고리로 분류할 일반 분류기가 없을 경우, 특징 텐서는 각 세부 분류기 유닛에 전송되므로, 시간 소모가 크다. 전체 시스템의 속도를 향상시키기 위해, 트리 모델이 도입되고, 일반 분류기는 임의의 입력을 일반 카테고리로 인식한 다음, 특징 텐서를 일반 카테고리에 기반한 일부 선택 유닛에 전송한다. 예를 들어, 제2 컴포넌트의 출력이 요리 이미지에 야채만 포함된 가능성이 높은 것을 디스플레이하므로, 특징 텐서는 육류를 분류하기 위한 유닛을 건너뛰고, 요리에 포함된 정확한 야채를 분류하는 것이 목적인 이러한 세부 분류기 유닛으로만 전송된다.

종래의 “요리 레시피 검색을 위한 딥-기반 재료 인식”방법에 있어서, 요리 라벨 방법은 각 종류의 음식에 하나의 0 벡터를 제공하고, 벡터의 개수와 재료 리스트 개수는 동일하며, 이는 인식할 수 있는 재료의 개수와 벡터 중 파라미터의 개수가 동일하다는 것을 의미한다. 음식이 하나의 재료를 포함하면, 각각의 위치의 벡터 파라미터는 1로 설정되고, 다른 파라미터는 0으로 설정된다. 그러나 이러한 종류의 라벨 방법은 본 명세서에서 제시한 방법과 비교하면 더 많은 저장 공간이 필요하다. 전 세계에는 수천 수만 가지의 재료가 존재하고, 실제 방법에서는 기존의 방법을 다루기가 쉽지 않다. 본 명세서에서 제시한 방법에 있어서, 라벨에 필요되는 저장 공간은 음식에 포함된 상위 n 개의 주요 재료의 카테고리에 의해 결정되고, 훨씬 더 관리하기 쉽다.

통상적으로, 다중 임무 네트워크는 음식 카테고리 및 재료를 인식하기 위한 단독적인 모델을 갖는다. 본 명세서에서 제시한 방법에 있어서, 상기 재료가 음식에 포함되는지를 예측하기 위해, 각 타입의 재료에는 모두 하나의 독립적인 분기선이 존재한다. 그러므로 전체 시스템을 재구축하고 전체 네트워크를 재훈련시킬 필요없이, 현재 개시된 시스템은 더욱 유연하게 시스템에 새로운 카테고리의 재료를 추가한다.

도 5는 일부 실시예에 따른 재료 인식을 이용하는 음식 준비 방법(500)의 흐름도이다. 상기 방법은 음식 준비 시스템(예를 들어 102)에서 실행되고, 상기 음식 준비 시스템은, 음식 지지 플랫폼(예를 들어 오븐 랙, 전자레인지 회전판, 불고기집의 회전 꼬치, 스토브 탑의 표면 등) - 상기 음식 지지 플랫폼은 음식을 지지하도록 구성됨(예를 들어, 피자, 볶음 요리 등) - ; 음식 지지 플랫폼을 향한 시야를 갖는 카메라(예를 들어 카메라(210, 212) 등); 하나 또는 복수의 가열 유닛(예를 들어, 음식 준비 구조(120)) - 음식 지지 플랫폼에 배치된 음식을 가열하도록 구성됨 - ; 및 카메라와 하나 또는 복수의 가열 유닛을 제어하기 위한 음식 준비 제어 유닛(예를 들어, 제어 조정/추천 시스템(112) 및 음식 준비 제어부(118)) - 상기 음식 준비 제어 유닛은 하나 또는 복수의 프로세서 및 메모리를 포함함 - 를 포함한다. 상기 방법은, 음식 지지 플랫폼이 제1 음식을 지지하는 동안 음식 지지 플랫폼의 하나 또는 복수의 이미지를 획득하기 위해 카메라의 이미지 캡처를 트리거하는 단계(502); 음식 지지 플랫폼의 하나 또는 복수의 이미지에 기반하여 제1 음식에 대해 재료 인식을 수행하는 단계(504) - 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식하기 위해 일반 분류기에서 하나 또는 복수의 이미지 중의 각각의 이미지의 특징 텐서를 분류하는 단계와 제1 음식에 대응되고, 상기 각 제1 레벨 음식 재료 카테고리의 하위 카테고리인 제2 레벨 음식 재료 카테고리를 인식하기 위해 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응되는 각 세부 분류기에서 각각의 이미지의 특징 텐서를 분류하는 단계를 포함함 - ; 및 실행된 재료 인식에 따라, 상기 제1 음식을 가열하기 위해 상기 하나 또는 복수의 가열 유닛을 조정하는 단계(506)를 포함한다.

일부 실시예에 있어서, 음식 준비 시스템은 카메라의 시야에서의 내용을 모니터링하고, 모니터링 동안 카메라의 시야에서의 변화를 검출하며, 여기서, 카메라의 이미지 캡처를 트리거하여 음식 지지 플랫폼의 하나 또는 복수의 이미지를 획득하는 단계는, 카메라의 시야의 변화를 검출한 것에 응답하여 일정 기간 내에 일련의 이미지를 캡처하는 단계를 포함한다.

일부 실시예에 있어서, 음식 지지 플랫폼의 하나 또는 복수의 이미지에 기반하여 제1 음식에 대해 재료 인식을 수행하기 전에, 음식 준비 시스템은 제1 음식을 음식 지지 플랫폼에 배치하기 전에 캡처된 기준 이미지를 사용하여 음식 지지 플랫폼의 하나 또는 복수의 이미지에서의 각각의 이미지를 필터링한다.

일부 실시예에 있어서, 음식 준비 시스템은 일반 분류기에서 하나 또는 복수의 이미지의 각각의 이미지 특징 텐서를 분류하여, 제1 음식에 대해 인식된 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 카테고리에 대응되는 각 음식량에 기반하여 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 정렬하고; 소정 개수의 제1 레벨 음식 재료 카테고리에서의 각 카테고리에 대응되는 각 세부 분류기를 사용하여 분류를 수행하기 위해, 하나 또는 복수의 제1 레벨 음식 재료 카테고리로부터 소정 개수의 제1 레벨 음식 재료 카테고리를 선택하는 방식을 통해 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식한다.

일부 실시예에 있어서, 음식 준비 시스템제1 음식 레시피를 인식하고, 상기 제1 음식 레시피는 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리를 포함하며; 음식 준비 시스템은 제1 음식 레시피에 기반하여 제1 음식의 추가 재료를 결정하며, 여기서 추가 재료는 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리에 포함되지 않는다.

일부 실시예에 있어서, 음식 준비 시스템은 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리 및 제1 음식 레시피에 기반하여 인식된 추가 재료에 기반하여 제1 음식의 영양 정보를 결정한다.

일부 실시예에 있어서, 음식 준비 시스템은 제2 음식 레시피를 인식하고, 상기 제2 음식 레시피는 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리를 포함하며; 음식 준비 시스템은 제1 음식 레시피 및 제2 음식 레시피의 영양 정보를 비교하며; 음식 준비 시스템은 제1 음식 레시피 및 제2 음식 레시피의 영양 정보의 비교에 기반하여, 요리 방법을 조정하기 위한 추천을 제공한다.

상기 방법 및 음식 준비 시스템의 다른 세부 사항은 본 발명의 다른 부분에서 설명하고, 간결함을 위해 여기서 더이상 반복하지 않는다. 이해해야 할 것은, 도 5에서의 동작을 설명하는 특정 순서는 다만 예시적인 것일 뿐이고, 설명된 순서가 동작을 실행할 수 있는 유일한 순서임을 나타내기 위한 것은 아니다. 본 분야의 기술자라면 본 명세서에서 설명한 동작을 재정렬하는 다양한 방식을 알 수 있을 것이다. 또한, 유의해야 할 것은, 본 명세서에서 설명한 다른 방법 및 과정 중 적어도 하나에 관련된 본 명세서에서 설명한 다른 과정의 세부 사항은 유사한 방식으로 상기 방법(500)에 적용될 수도 있다.

도 6은 일부 실시예에 따른 음식 준비 시스템(102)의 블록도이다. 음식 준비 시스템(102)은 하나 또는 복수의 처리 유닛(CPU)(602), 하나 또는 복수의 네트워크 인터페이스(604), 메모리(606) 및 이러한 컴포넌트를 서로 연결시키기 위한(또는 칩 세트로 지칭됨) 하나 또는 복수의 통신 버스(608)를 포함한다. 음식 준비 시스템(102)은 사용자 인터페이스(610)를 더 포함한다. 사용자 인터페이스(610)는 미디어 내용을 담을 수 있는 하나 또는 복수의 출력 기기(612)를 포함하고, 상기 하나 또는 복수의 출력 기기(612)는 하나 또는 복수의 스피커 및 하나 또는 복수의 비전 디스플레이 중 적어도 하나를 포함한다. 사용자 인터페이스(610)는 키보드, 마우스, 음성 명령 입력 유닛 또는 마이크, 터치 스크린 디스플레이, 터치 감지 입력 패드, 제스처 캡처 카메라 또는 기타 입력 버튼 또는 제어부와 같은 사용자 입력을 용이하게 하는 사용자 인터페이스 컴포넌트의 하나 또는 복수의 입력 기기(614)를 더 포함한다. 일부 실시예에 있어서, 음식 준비 시스템(102)은 센서를 더 포함하고, 상기 센서는 음식 준비 시스템(102)의 동작 환경 정보를 감지한다. 센서는 하나 또는 복수의 열 센서, 광 센서, 하나 또는 복수의 카메라, 습도 센서, 하나 또는 복수의 모션 센서, 하나 또는 복수의 생물학적 센서(예를 들어, 갈바니 피부 저항 센서, 펄스 산소 농도계 등), 중량 센서, 분광계 및 다른 센서를 포함하지만 이에 한정되지 않는다. 또한, 음식 준비 시스템(102)은 음식 준비 동작 유닛(626)(예를 들어, 전기, 유도, 가스, 방사선 등에 기반한 가열 장치)을 포함한다. 하나 또는 복수의 자기 디스크 저장 기기, 하나 또는 복수의 광디스크 저장 기기, 하나 또는 복수의 플래시 기기, 또는 하나 또는 복수의 다른 비휘발성 솔리드 스테이트 저장 기기와 같은 메모리(606)는 비휘발성 메모리를 포함한다. 선택적으로, 메모리(606)는 하나 또는 복수의 처리 유닛(602)과 먼 하나 또는 복수의 저장 기기를 포함한다. 메모리(606), 또는 대안적인 메모리(606) 내부의 비휘발성 메모리는 비휘발성 컴퓨터 판독 가능한 저장 매체를 포함한다. 일부 구현 방식에 있어서, 메모리(606) 또는 메모리(606)의 비일시적 컴퓨터 판독 가능한 저장 매체는 아래와 같은 프로그램, 모듈 및 데이터 구조, 또는 아래의 하위 세트 또는 수퍼 세트를 저장한다.

운영체제(616)는, 다양한 기본 시스템 서비스를 처리하고 하드웨어에 관련 작업을 실행하기 위한 과정을 포함한다.

네트워크 통신 모듈(618)은, 하나 또는 복수의 네트워크 인터페이스(604)(유선 또는 무선)를 통해 외부 서비스에 연결하기 위한 것이다.

프리젠테이션 모듈(620)은, 정보에 대한 프리젠테이션을 구현하기 위한 것이다.

입력 처리 모듈(622)은, 하나 또는 복수의 입력 기기(614)에서의 입력 기기로부터의 하나 또는 복수의 사용자 입력 또는 인터랙션을 검출하고, 검출된 입력 또는 인터랙션을 해석하기 위한 것이다.

음식 준비 제어 유닛(624)은, 음식 준비 시스템(102)을 제어하고, 하나 또는 복수의 카메라 및 다른 센서를 제어하기 위한 이미징 제어 유닛; 이미지 처리 시스템, 재료 인식 시스템, 재료 데이터 통합 시스템, 제어 조정 및 추천 시스템; 및 본 명세서에서 제시된 다른 기능을 실행하기 위한 다른 모듈을 포함하지만 이에 한정되지 않는다.

상기 인식 요소에서의 각 요소는 전술한 하나 또는 복수의 저장 기기에 저장될 수 있고, 상기 기능을 실행하기 위한 한 세트의 명령어에 대응된다. 상기 인식 모듈 또는 프로그램(즉, 명령어 세트)은 독립적인 소프트웨어 프로그램, 절차, 모듈 또는 데이터 구조로 구현될 필요가 없으며, 이러한 모듈의 다양한 서브 세트는 다양한 구현 방식에서 조합되거나 다른 방식으로 재배열될 수 있다. 일부 구현 형태에 있어서, 선택적으로, 메모리(606)는 상기 인식된 모듈 및 데이터 구조의 서브 세트를 저장한다. 또한, 선택적으로, 메모리(606)는 이상 설명한 추가 모듈 및 데이터 구조를 저장한다.

위에서 특정한 실시예를 설명하였지만, 이러한 특정 실시예로 본 발명을 한정하려는 것이 아님을 이해해야 한다. 반면, 본 출원은 청구범위의 사상 및 범위 내의 대안, 수정 및 등가물을 포함한다. 많은 구체적인 세부 사항이 반복 설명됨으로써, 본 명세서에서 보여준 주제를 철저하게 이해하도록 제공한다. 그러나 본 기술분야의 기술자라면, 이러한 구체적인 세부 사항이 없는 경우에 본 주제를 구현할 수 있음은 자명한 것이다. 다른 경우에, 공지된 방법, 과정, 컴포넌트 및 회로는, 실시예의 각 측면을 불필요하게 흐리지 않게 하기 위해 상세하게 설명하지 않았다.

Claims (20)

1. 음식 준비 방법으로서,
   음식 준비 시스템에서 동작을 실행하는 단계를 포함하되, 상기 음식 준비 시스템은, 음식을 지지하도록 구성된 음식 지지 플랫폼; 상기 음식 지지 플랫폼을 향한 시야를 갖는 카메라; 상기 음식 지지 플랫폼에 배치된 음식을 가열하도록 구성된 하나 또는 복수의 가열 유닛; 및 상기 카메라와 상기 하나 또는 복수의 가열 유닛을 제어하도록 구성된 음식 준비 제어 유닛을 포함하고, 상기 음식 준비 제어 유닛은 메모리 및 하나 또는 복수의 프로세서를 포함하며, 상기 동작은,
   상기 음식 지지 플랫폼이 제1 음식을 지지하는 동안, 상기 음식 지지 플랫폼의 하나 또는 복수의 이미지를 획득하기 위해, 상기 카메라의 이미지 캡처를 트리거하는 동작;
   상기 음식 지지 플랫폼의 상기 하나 또는 복수의 이미지에 기반하여, 상기 제1 음식에 대해 재료 인식을 수행하는 동작으로서,
   상기 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식하기 위해, 일반 분류기에서 상기 하나 또는 복수의 이미지 중의 각각의 이미지의 특징 텐서를 분류하는 것과,
   상기 제1 음식에 대응되고, 각 제1 레벨 음식 재료 카테고리의 하위 카테고리인 제2 레벨 음식 재료 카테고리를 인식하기 위해, 상기 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응되는 각 세부 분류기에서 각각의 이미지의 특징 텐서를 분류하는 것을 포함하는 동작; 및
   실행된 재료 인식에 따라, 상기 제1 음식을 가열하기 위해, 상기 하나 또는 복수의 가열 유닛을 조정하는 동작
   을 포함하고,
   상기 제1 음식에 대응되는 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 인식하기 위해, 상기 일반 분류기에서 상기 하나 또는 복수의 이미지 중의 각각의 이미지의 특징 텐서를 분류하는 것은,
   각 음식량에 기반하여 상기 하나 또는 복수의 제1 레벨 음식 재료 카테고리를 정렬하는 것 - 상기 각 음식량은 상기 제1 음식에 대해 인식된 상기 하나 또는 복수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응됨 - ; 및
   소정 개수의 제1 레벨 음식 재료 카테고리에서의 각 제1 레벨 음식 재료 카테고리에 대응되는 각 세부 분류기를 사용하여 분류를 수행하기 위해, 상기 하나 또는 복수의 제1 레벨 음식 재료 카테고리로부터 상기 소정 개수의 제1 레벨 음식 재료 카테고리를 선택하는 것
   을 포함하고,
   상기 음식 준비 방법은,
   제1 음식 레시피를 인식하는 단계 - 상기 제1 음식 레시피는 상기 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리를 포함함 - ; 및
   상기 제1 음식 레시피에 기반하여 상기 제1 음식의 추가 재료를 결정하는 단계 - 상기 추가 재료는 상기 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리에 속하지 않음 -
   를 포함하는,
   음식 준비 방법.
2. 제1항에 있어서,
   상기 음식 준비 방법은,
   상기 카메라의 시야에서의 내용을 모니터링하는 단계; 및
   상기 모니터링 동안 상기 카메라의 시야에서의 변화를 검출하는 단계를 포함하고,
   상기 음식 지지 플랫폼의 상기 하나 또는 복수의 이미지를 획득하기 위해, 상기 카메라의 이미지 캡처를 트리거하는 동작은, 상기 카메라의 시야에서의 변화를 검출한 것에 응답하여 일정 기간 내에 일련의 이미지를 캡처하는 것을 포함하는,
   음식 준비 방법.
3. 제2항에 있어서,
   상기 음식 준비 방법은,
   상기 음식 지지 플랫폼의 상기 하나 또는 복수의 이미지에 기반하여 상기 제1 음식에 대해 재료 인식을 수행하는 동작 전에, 상기 제1 음식을 상기 음식 지지 플랫폼에 배치하기 전에 캡처된 기준 이미지를 사용하여, 상기 음식 지지 플랫폼의 상기 하나 또는 복수의 이미지에서의 각각의 이미지를 필터링하는 동작을 포함하는,
   음식 준비 방법.
4. 제1항에 있어서,
   상기 음식 준비 방법은,
   상기 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리 및 상기 제1 음식 레시피에 기반하여 인식된 상기 추가 재료에 기반하여, 상기 제1 음식의 영양 정보를 결정하는 단계를 더 포함하는,
   음식 준비 방법.
5. 제1항에 있어서,
   상기 음식 준비 방법은,
   제2 음식 레시피를 인식하는 단계 - 상기 제2 음식 레시피는 상기 소정 개수의 제1 레벨 음식 재료 카테고리에 대해 인식된 각 제2 레벨 음식 재료 카테고리를 포함함 - ;
   상기 제1 음식 레시피 및 상기 제2 음식 레시피의 영양 정보를 비교하는 단계; 및
   상기 제1 음식 레시피 및 상기 제2 음식 레시피의 영양 정보의 비교에 기반하여, 요리 방법을 조정하기 위한 추천을 제공하는 단계
   를 더 포함하는,
   음식 준비 방법.
6. 음식 준비 시스템으로서,
   음식을 지지하도록 구성된 음식 지지 플랫폼;
   상기 음식 지지 플랫폼을 향한 시야를 갖는 카메라;
   상기 음식 지지 플랫폼에 배치된 음식을 가열하도록 구성된 하나 또는 복수의 가열 유닛; 및
   상기 카메라 및 상기 하나 또는 복수의 가열 유닛을 제어하도록 구성된 음식 준비 제어 유닛을 포함하되,
   상기 음식 준비 제어 유닛은 하나 또는 복수의 프로세서, 및 명령어를 저장하는 메모리를 포함하고, 상기 명령어는 상기 하나 또는 복수의 프로세서에 의해 실행될 경우 상기 음식 준비 시스템으로 하여금 제1항 내지 제5항 중 어느 한 항에 따른 음식 준비 방법을 실행하도록 하는,
   음식 준비 시스템.
7. 비 일시적 컴퓨터 판독 가능한 저장 매체로서,
   상기 컴퓨터 판독 가능한 저장 매체는 명령어를 저장하고, 상기 명령어는 음식 준비 시스템의 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 음식 준비 시스템으로 하여금 제1항 내지 제5항 중 어느 한 항에 따른 음식 준비 방법을 실행하도록 하는,
   비 일시적 컴퓨터 판독 가능한 저장 매체.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images