KR20180110754A - 음식 적합도에 기초한 요리 정보 제공 방법 및 장치 - Google Patents

Abstract

사용자 상황에 따른 요리 정보 제공 방법이 개시된다. 요리 정보 제공 방법은 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계, 검출된 상기 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계, 적합 여부 분석 결과 적합한 것으로 판단된 원재료로 조리 가능한 요리를 적어도 하나 선정하는 단계 및 선정된 요리에 대한 정보를 사용자에게 제공하는 단계를 포함한다. 따라서, 사용자의 상황에 적합한 요리 정보를 제공할 수 있다.

Description

음식 적합도에 기초한 요리 정보 제공 방법 및 장치{METHOD FOR PROVIDING FOOD INFORMATION BASED ON FOOD SUITABILITY AND APPARATUS USING THE METHOD}

본 발명은 음식 적합도에 기초한 요리 정보 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상에서 요리나 원재료를 인식하고, 인식된 요리나 원재료에 대한 적합도 분석을 통해 사용자에게 적합한 요리 정보를 제공하는 방법 및 장치에 관한 것이다.

최근 스마트폰을 비롯한 정보 통신 기기가 널리 보급되어 애플리케이션을 통해 정보를 획득하는 경우가 늘어나고 있는데, 특히 식문화의 발달 및 일인 가정의 확산으로 음식 정보를 제공하는 애플리케이션에 대한 수요가 가파르게 증가하고 있다.

이러한 수요에 부응하여 다양한 음식 정보 애플리케이션이 서비스되고 있는데, 기존의 음식 정보 애플리케이션은 위치나 텍스트 기반으로 맛집 정보를 제공하거나 배달 기능을 지원하고, 조리법과 칼로리 정보를 제공하는 것이 일반적이다.

또한, 최근 영상의 객체 인식 기술이 보급됨에 따라 영상 내 음식을 인식하여 음식 관련 정보를 제공하는 서비스들도 등장하고 있다. 예를 들면, 구글의 Im2Carlories, SRI International의 Meal Snap등이 대표적인데 주로 스마트 디바이스용 영상 인식 기반의 칼로리 정보를 제공하고 있다.

또한, 별도의 장치를 추가로 이용하여 칼로리 예측의 정확성을 높이기 위한 시도가 이루어지고 있는데, 근적외선을 사용한 TellSpec의 Food Sensor, 무게 정보를 이용하는 Smart Plate, 3D 레이저 기술을 이용하는 NutriRay3D 등이 출시되었다.

그러나, 이러한 서비스들은 칼로리 예측의 부정확성과 별도의 디바이스를 사용하기 때문에 사용자 편의성이 저하되는 문제점이 있다.

또한, 임산부나 특정 질병을 앓고 있는 경우 및 한약을 복용하는 경우 등 사용자의 상황에 따라 음식 정보를 제공하지 못할 뿐만 아니라 사용자에게 권장되는 원재료나 권장하지 않는 원재료를 사용한 요리를 구분하여 사용자에게 적합한 요리 정보를 제공하지 못하는 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자의 상황에 따른 요리 정보 제공 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 사용자의 상황에 따른 요리 정보 제공 장치를 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 사용자의 상황에 따른 요리 추천 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명은, 사용자 상황에 따른 요리 정보 제공 방법을 제공한다.

여기서, 사용자 상황에 따른 요리 정보 제공 방법은, 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계, 검출된 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계, 적합 여부 분석 결과 적합한 것으로 판단된 원재료로 조리 가능한 요리를 적어도 하나 선정하는 단계 및 선정된 요리에 대한 정보를 사용자에게 제공하는 단계를 포함할 수 있다.

여기서, 요리 또는 원재료를 식별하는 단계는, 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는 단계를 포함할 수 있다.

여기서, 분류된 클래스에 따른 학습 모델을 기초로 음식 후보 영역에 대하여 위치 추정을 수행하여, 식별된 요리나 원재료에 따른 음식 영역을 결정하는 단계를 더 포함할 수 있다.

여기서, 결정된 음식 영역과 매칭하여 식별된 요리나 원재료의 식별 기호를 표시하는 단계를 더 포함할 수 있다.

여기서, 식별된 요리나 원재료의 식별 기호가 표시된 결과에 따른 사용자의 피드백 입력을 받아 식별 기호를 변경하는 단계를 더 포함할 수 있다.

여기서, 식별된 요리나 원재료의 식별 기호를 표시하는 단계는, 조리법 데이터베이스를 참조하여 식별된 요리에 대한 조리법 정보를 표시할 수 있다.

여기서, 적합 여부 분석 결과 적합한 것으로 확인된 요리 또는 상황별 권장음식 데이터베이스에서 획득된 권장 음식을 표시하는 단계를 더 포함할 수 있다.

여기서, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계는, 요리-원재료 데이터베이스를 참조하여 식별된 요리에 포함된 원재료를 판별하는 단계, 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하는 단계 및 판별된 원재료의 적합 여부에 따라 식별된 요리의 적합 여부를 결정하는 단계를 포함할 수 있다.

여기서, 조리 가능한 요리를 적어도 하나 선정하는 단계는, 적합한 것으로 판단된 원재료 중에서 사용자의 입력을 받아 사용자의 선호 또는 기피하는 원재료를 추가 또는 제외하는 단계를 포함할 수 있다.

여기서, 선정된 요리에 대한 정보는, 선정된 요리의 조리방법, 칼로리량 및 식별된 원재료 이외에 추가로 필요한 원재료를 포함할 수 있다.

여기서, 추가로 필요한 원재료의 구매를 지원하는 사용자 인터페이스를 제공하는 단계를 포함할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 일 측면은 사용자 상황에 따른 요리 추천 방법을 제공한다.

여기서, 사용자 상황에 따른 요리 추천 방법은, 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계, 검출된 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계 및 적합 여부 분석 결과 적합한 것으로 확인된 요리 또는 상황별 권장음식 데이터베이스에서 획득된 권장 음식을 표시하는 단계를 포함할 수 있다.

여기서, 요리 또는 원재료를 식별하는 단계는, 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는 단계를 포함할 수 있다.

여기서, 분류된 클래스에 따른 학습 모델을 기초로 음식 후보 영역에 대하여 위치 추정을 수행하여, 식별된 요리나 원재료에 따른 음식 영역을 결정하는 단계를 더 포함할 수 있다.

여기서, 적합 여부를 분석하는 단계는, 요리-원재료 데이터베이스를 참조하여 식별된 요리에 포함된 원재료를 판별하는 단계, 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하는 단계 및 판별된 원재료의 적합 여부에 따라 식별된 요리의 적합 여부를 결정하는 단계를 포함할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 일 측면은 요리 정보 제공 장치를 제공한다.

여기서, 요리 정보 제공 장치는, 적어도 하나의 명령을 실행하는 프로세서(processor), 적어도 하나의 명령을 저장하는 메모리(memory)를 포함한다.

여기서, 프로세서는, 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하고, 검출된 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하고, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부 분석을 수행하고, 적합 여부 분석 결과 적합한 것으로 판단된 원재료로 조리 가능한 요리를 적어도 하나 선정하고, 선정된 요리에 대한 정보를 사용자에게 제공할 수 있다.

여기서, 프로세서는, 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류할 수 있다.

여기서, 프로세서는, 분류된 클래스에 따른 학습 모델을 기초로 음식 후보 영역에 대하여 위치 추정을 수행하여, 식별된 요리나 원재료에 따른 음식 영역을 결정할 수 있다.

여기서, 프로세서는, 요리-원재료 데이터베이스를 참조하여 식별된 요리에 포함된 원재료를 판별하고, 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하고, 판별된 원재료의 적합 여부에 따라 식별된 요리의 적합 여부를 결정할 수 있다.

여기서, 프로세서는, 적합한 것으로 판단된 원재료 중에서 사용자의 입력을 받아 사용자의 선호 또는 기피하는 원재료를 추가 또는 제외한 원재료를 이용하여 조리 가능한 요리를 적어도 하나 선정할 수 있다.

상기와 같은 본 발명에 따른 요리 정보 제공 장치 또는 요리 정보 제공 방법을 이용할 경우에는 사용자의 상황에 따른 요리 정보를 제공할 수 있다.

또한, 요리뿐만 아니라 원재료를 기반으로 사용자의 상황에 따른 요리 정보를 제공할 수 있는 장점이 있다.

또한, 사용자의 선호도를 반영하여 원재료를 선택하고, 선택된 원재료를 기반으로 요리 정보를 제공할 수 있다.

또한, 영상 인식을 기반으로 하므로 사진 촬영만으로 원재료와 요리를 구분하여 인식하고 인식된 원재료로 조리 가능한 요리 정보를 제공받을 수 있어 사용자 편의성이 크게 향상될 수 있다.

또한, 사용자는 복잡한 권장 또는 비권장 음식을 숙지하지 않아도 사진 촬영만으로 권장 음식이나 비권장 음식을 비롯한 정보를 제공받을 수 있고, 조리가능한 음식 리스트를 자동으로 추천받아 사용자 편의성이 높다.

도 1은 본 발명의 일 실시예에 따른 요리 정보 제공 방법에 대한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 음식 후보 영역을 검출하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 요리나 원재료를 식별하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 요리나 원재료의 식별 기호를 사용자의 피드백을 반영하여 설정하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 식별된 요리에 대한 조리 방법을 제공하는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 요리-원재료 데이터베이스에 대한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 상황별 권장음식 데이터베이스에 대한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 식별된 요리나 원재료와 함께 사용자의 상황에 맞는 권장 음식을 제공하는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 식별된 원재료에 따른 조리 가능 음식과 해당 음식에 대한 정보를 제공하는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 조리 가능 음식에 필요한 추가 재료에 대해 구매 기능을 제공하는 예시도이다.
도 11은 본 발명의 일 실시예에 따른 요리 정보 제공 장치에 대한 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자 상황에 따른 요리 정보 제공 방법에 대한 흐름도이다.

도 1을 참조하면, 사용자 상황에 따른 요리 정보 제공 방법은, 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계(S100), 검출된 상기 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계(S110), 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계(S120), 적합 여부 분석 결과 적합한 것으로 판단된 원재료를 이용하여 조리 가능한 요리를 적어도 하나 선정하는 단계(S130) 및 선정된 요리에 대한 정보를 사용자에게 제공하는 단계(S140)를 포함할 수 있다.

여기서, 요리 정보 제공 방법은 후술하는 요리 정보 제공 장치에서 수행될 수 있다.

여기서, 입력 영상은 사용자로부터 입력받을 수도 있고, 요리 정보 제공 장치에 내장된 카메라 모듈을 통해 촬영된 영상이 저장된 저장소로부터 획득할 수도 있고, 별도의 서버나 저장소에 저장된 영상을 다운로드받아 획득할 수도 있다.

여기서, 적합 여부 분석을 수행하는 단계(S120)는, 요리-원재료 데이터베이스를 참조하여 식별된 요리에 포함된 원재료를 판별하는 단계, 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하는 단계 및 판별된 원재료의 적합 여부에 따라 식별된 요리의 적합 여부를 결정하는 단계를 포함할 수 있다.

여기서, 상황별 권장음식 데이터베이스와 요리-원재료 데이터베이스는 하나의 데이터베이스로 구축될 수도 있고, 각각 별개의 데이터베이스로 구축될 수도 있다.

또한, 적합 여부를 분석하는 단계는 사용자로부터 사용자 상황을 입력받는 단계를 포함할 수 있고, 입력받은 사용자 상황에 맞게 상황별 권장음식 데이터베이스를 참조할 수 있다.

또한, 구축된 상황별 권장음식 데이터베이스의 경우에도 사용자로부터 미리 또는 동적으로 저장된 권장 또는 비권장 음식을 변경하거나 입력할 수 있다.

본 발명에 따른 요리의 적합 여부 분석은 요리에 포함된 원재료가 사용자에게 적합한지 판단함으로써 적합한 원재료로 조리되는 요리에 대해서만 적합한 것으로 결정할 수 있기 때문에, 종래의 경우보다 훨씬 적합성이 높은 요리를 판별할 수 있다.

이하에서, 입력 영상에서 음식 후보 영역을 검출하는 방법을 설명한다.

도 2는 본 발명의 일 실시예에 따른 음식 후보 영역을 검출하는 예시도이다.

도 2를 참조하면, 입력 영상에는 하나 또는 수개의 음식이나 원재료가 촬영되어 있을 수 있다. 입력 영상에서 요리나 원재료가 포함될 수 있는 음식 후보 영역을 검출할 수 있는데, 예를 들면 도 2와 같이 사각형의 좌표 형태로 음식 후보 영역을 검출할 수 있다.

이때, 음식 후보 영역은 Selective search(J. R. R. Uijlings et al., "Selective Search for Object Recognition", International Journal of Computer Vision, 2013)나 edge box(C. Lawrence Zitnick and Pitor Dollar, "Edge boxes: Locating object proposals from edges",ECCV,2014), region proposal network(Shaoqing Ren et al.,"Faster R-CNN: Towards real-time object detection with region proposal networks", Advances in neural information processing systems, 2015) 를 비롯하여 다양한 방식으로 후보 영역을 검출할 수 있다.

여기서, 도 2에서와 같이 하나의 음식에 대하여 제1 후보 영역(20)과 제2 후보 영역(21)과 같이 중첩되어 후보 영역이 검출될 수도 있고, 제3 후보 영역(22)과 같이 하나의 음식에 대하여 하나의 후보 영역이 검출될 수도 있다.

여기서 검출되는 음식 후보 영역은 적용하는 알고리즘에 따라 다양한 개수와 영역으로 검출될 수 있으며, 반드시 사각형 영역으로 한정되는 것은 아니다.

다시 도 1을 참조하면, 요리 또는 원재료를 식별하는 단계(S110)는, 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는 단계를 포함할 수 있다.

구체적으로, 음식 후보 영역에 대하여, 미리 구축된 학습 모델을 적용하여 요리와 원재료 및 기타 클래스로 먼저 분류할 수 있다. 여기서, 요리 클래스나 원재료 클래스 및 기타 클래스로 분류한다는 의미는 요리와 원재료, 나머지 배경 의 세 가지로 분류한다는 의미일 수 있다. 즉, 기타 클래스는 요리나 원재료와 같은 음식을 제외한 나머지 영역을 가리키는 클래스로 음식 이외의 배경 등이 그에 속할 수 있다. 또한, 여기서 학습 모델은 요리, 원재료, 그밖의 배경이 포함된 훈련 이미지와, 요리나 원재료의 라벨(label), 바운딩 박스(bounding box)등의 위치 정보 annotation 등을 이용하여 학습을 통해 구축될 수 있다. 또한, 여기서 분류 방법에는 SVM(Cortes, Corinna, and Vladimir Vapnik. "Support-vector networks" Machine learning, 1995), CNN(Convolutional Neural Network) 기반의 분류기(Classifier) 등의 분류 기능을 지원하는 다양한 방법이 사용될 수 있다.

또한, 학습 모델은 각각 클래스 단위로 별도로 구축될 수도 있고, 여러 클래스를 종합하여 하나의 학습 모델로 구축될 수도 있다. 즉, 요리와 원재료 클래스를 통합하여 학습 모델로 구축할 수 있으며, 요리 클래스와 원재료 클래스를 각각의 학습 모델로 구축할 수도 있다.

그 다음으로, 요리와 원재료 및 기타 클래스로 분류된 후 요리 클래스에 대해서는 상세 요리 클래스로 세분화하여 분류할 수 있고, 원재료 클래스에 대해서도 상세 원재료 클래스로 세분화하여 분류할 수 있다. 여기서, 상세 요리 클래스는 김치찌개나 짬뽕, 스테이크 등과 같이 개별 요리 단위로 분류된 클래스를 의미할 수 있고, 상세 원재료 클래스 또한 양파, 닭고기, 감자 등과 같이 개별 원재료 단위로 분류된 클래스를 의미할 수 있다.

다만, 반드시 단계적으로 이와 같이 수행되는 것은 아니며 한번에 상세 요리 클래스나 상세 원재료 클래스로 바로 분류될 수도 있으며, 임의의 클래스로 분류될 수도 있다.

따라서, 본 발명에서의 클래스 분류 과정은 예시적인 것으로 다양한 분류 방법 또는 순서에 따라 분류될 수 있는 것으로 이해되어야 한다.

여기서, 복수의 클래스 중 하나로 분류하여 요리 또는 원재료를 식별한다는 의미는 예를 들면, 분류 결과 김치 찌개 클래스로 분류되었다면, 해당 음식 후보 영역에서 요리인 김치 찌개를 식별하고, 분류 결과 감자 클래스로 분류되었다면, 해당 음식 후보 영역에서 원재료인 감자를 식별한다는 의미할 수 있다.

여기서, 도 1의 사용자 상황에 따른 요리 정보 제공 방법은, 분류된 클래스에 따른 학습 모델을 기초로 상기 음식 후보 영역에 대하여 위치 추정을 수행하여, 상기 식별된 요리나 원재료에 따른 음식 영역을 결정하는 단계를 더 포함할 수 있다.

예를 들면, 분류된 클래스가 김치찌개 클래스라면, 김치찌개 클래스에 대한 학습 모델을 참조하여 음식 후보 영역 주위를 탐색함으로써, 가장 신뢰도가 높은 영역을 김치찌개에 대한 음식 영역으로 결정할 수 있다.

여기서, 상세 요리 클래스 등으로 세분화하여 분류하고, 위치 추정에 따른 음식 영역을 결정하는 방법은 Faster R-CNN(Shaoqing Ren et al.,"Faster R-CNN: Towards real-time object detection with region proposal networks", Advances in neural information processing systems, 2015), SSD(Wei Liu et al., "SSD: Single Shot MultiBox Detector", arXiv:1512.02325, 2015) 등이 사용될 수 있다.

도 3은 본 발명의 일 실시예에 따른 요리나 원재료를 식별하는 예시도이다.

도 3을 참조하면, 앞선 도 2에 따른 음식 후보 영역에 대하여, 클래스 분류를 통하여 요리나 원재료를 식별한 결과를 확인할 수 있다.

구체적으로 입력 영상에 대하여 새우구이(31), 감자튀김, 모닝번, 스테이크와 같은 요리나 원재료를 식별할 수 있고, 그에 따라 요리나 원재료의 음식 영역(30, 32, 33, 34)을 결정할 수 있다.

따라서, 앞선 도 1에서의 사용자 상황에 따른 요리 정보 제공 방법은, 결정된 음식 영역과 매칭하여 상기 식별된 요리나 원재료의 식별 기호를 표시하는 단계를 더 포함할 수 있다.

즉, 새우구이(31)가 식별된 경우에 새우구이(31)를 요리의 식별 기호로서 새우구이의 음식 영역(30)과 함께 매칭하여 표시할 수 있다.

또한, 감자튀김에 대해서도 감자튀김의 음식 영역(32)과 함께, 모닝번에 대해서도 모닝번의 음식 영역(33)과, 스테이크도 스테이크의 음식 영역(34)과 식별 기호로서의 명칭을 함께 표시할 수 있다.

여기서, 식별 기호는 요리나 원재료의 명칭을 예로 들었으나, 이에 한정되는 것은 아니고, 데이터베이스에서 관리되는 데이터 번호나 요리나 원재료의 약칭, 속칭 등을 포함할 수 있다.

또한, 앞에서와 마찬가지로 여기서 음식 영역도 사각형 영역으로 한정되는 것은 아니며 다양한 형태를 가질 수 있다.

도 4는 본 발명의 일 실시예에 따른 요리나 원재료의 식별 기호를 사용자의 피드백을 반영하여 설정하는 예시도이다.

도 4를 참조하면, 앞서 도 3에서 새우구이로 식별된 음식 영역(30)이 사용자가 판단하기에는 새우구이가 아니거나 새우구이라는 식별기호가 다소 포괄적으로 판단될 수 있다. 즉, 식별된 요리나 원재료가 잘못 식별되었다고 판단될 수 있고 또는 더 상세한 분류가 필요하다고 판단할 수 있다. 따라서, 사용자의 의도에 따라 식별된 요리나 원재료를 수정 또는 상세 선택할 수 있다.

구체적으로, 음식 영역과 그에 대한 요리나 원재료의 식별 기호가 표시되면, 표시된 음식 영역이나 식별 기호에 대하여 터치나 클릭과 같은 사용자 입력을 피드백으로 받을 수 있고, 그에 따라 분류 결과를 재설정할 수 있는 리스트(40)로서 새우 볶음, 새우 튀김, 토마토, 소금 새우구이 등을 사용자에게 제공할 수 있다. 사용자는 제공된 리스트(40) 중에서 더 적합하다고 판단되는 식별 기호를 선택할 수 있다. 예를 들면 소금 새우구이를 선택함으로써, 식별된 요리나 원재료의 식별 기호를 변경할 수 있다.

즉, 식별된 요리나 원재료의 식별 기호를 표시하는 단계 이후에, 표시된 결과에 따른 사용자의 피드백 입력을 받아 상기 식별 기호를 변경하는 단계를 더 포함할 수 있다.

도 5는 본 발명의 일 실시예에 따른 식별된 요리에 대한 조리 방법을 제공하는 예시도이다.

도 5를 참조하면, 앞서 식별된 요리인 스테이크에 대한 음식 영역(34)이 제공되었다면, 사용자는 조리 방법을 알고 싶은 음식 영역이나 식별 기호를 클릭하거나 터치함으로써 조리 방법을 제공을 요청할 수 있다.

여기서, 조리 방법은 이미지나 동영상을 포함하는 전자 문서를 열람하여 제공하거나, 미리 저장된 이미지나 동영상을 별도로 획득하여 함께 제공할 수도 있다. 또한, 이미 구축된 타사의 조리 방법 제공 서버와 연동하여 조리 방법을 획득할 수도 있으며, 이때 저장된 데이터 형식에 따라 포맷 변환을 수행할 수도 있다.

예를 들어, 도 5의 스테이크의 음식 영역(34)을 터치 또는 클릭하는 방식으로 사용자가 입력하면, 사용자에게 선택된 음식 영역(34)에 해당하는 요리의 조리 방법(50)을 제공할 수 있다.

도 6은 본 발명의 일 실시예에 따른 요리-원재료 데이터베이스에 대한 예시도이다.

도 6을 참조하면, 요리-원재료 데이터베이스(60)는 수 개의 요리로 이루어진 요리 목록(61)을 저장할 수 있고, 이때 요리 목록(61)에 포함된 개별 요리에 사용되는 각종 원재료(62)를 매칭하여 저장할 수 있다.

또한, 요리 목록(61)과 원재료(62)를 각각 별도의 테이블로 관리하여 저장할 수도 있고, 요리 목록(61)에 포함된 개별 요리의 속성으로서 각각의 원재료(62)를 저장할 수도 있다.

예를 들면, 콩나물, 쌀, 고추가루, 계란을 콩나물 국밥에 대한 속성으로 관리하거나 콩나물 국밥에 콩나물, 쌀 고추가루 등을 매칭하여 저장할 수 있고, 반대로, 쌀이나 계란과 같은 원재료를 기준으로 해당 원재료를 사용하는 적어도 하나 이상의 요리를 매칭하여 저장할 수도 있다.

여기서, 요리-원재료 데이터베이스(60)는 미리 구축되어 요리와 원재료가 저장될 수 있으며, 요리 정보 제공 방법의 운용 과정에서도 수시로 또는 관리자의 의도에 따라 갱신이나 삭제, 변경이 이루어질 수 있다.

도 7은 본 발명의 일 실시예에 따른 상황별 권장음식 데이터베이스에 대한 예시도이다.

도 7을 참조하면, 상황별 권장음식 데이터베이스(70)는 사용자의 각종 상황(71)에 따른 권장 음식(72)과 비권장 음식(73)을 저장할 수 있다.

여기서, 사용자의 각종 상황(71)이란 사용자의 질병뿐만 아니라 체질, 특정한 한약을 복용하는 경우, 임산부인 경우와 같이 음식의 섭취에 유의미한 영향을 줄 수 있는 각종 상황이 모두 포함될 수 있다.

예를 들면, 한약을 복용할 경우 해당 한약의 약효를 저해하거나 부작용을 일으키는 음식을 비권장 음식으로, 약효에 더 효과가 좋거나 유익한 효과를 주는 음식을 권장 음식으로 설정할 수 있고, 체질상 손발이 찬 경우에는 찬 음식을 비권장음식으로 설정할 수도 있다.

또한, 도 7을 참조하면, 간성뇌증 등의 특정된 각각의 질병에 따라 식빵 등을 권장음식으로, 치즈나 닭고기 등을 비권장 음식으로 설정할 수 있다.

또한, 권장 음식이나 비권장 음식이 요리인지 또는 원재료인지 여부를 식별할 수 있도록, 음식에 원재료나 요리의 속성을 갖도록 저장하거나, 요리와 원재료에 따라 각각 별도의 권장 음식과 비권장 음식을 갖도록 상황별 권장음식 데이터베이스(70)를 구축할 수도 있다.

도 8은 본 발명의 일 실시예에 따른 식별된 요리나 원재료와 함께 사용자의 상황에 맞는 권장 음식을 제공하는 예시도이다.

앞서 도 1에 따른 요리나 원재료의 적합 여부를 분석하는 단계(S120)가 수행됨에 따라 식별된 요리나 원재료의 적합 여부를 결정할 수 있고, 따라서 적합 여부를 사용자에게 표시할 수 있다.

도 8을 참조하면, 모닝번(82)에 대해서 적합한 것으로 결정되고 새우구이(80), 감자튀김(81), 스테이크(83)에 대해서는 부적합한 것으로 결정되었다면, 적합 여부를 식별할 수 있도록 음식 영역의 색을 달리하는 등으로 사용자에게 표시할 수 있다.

예를 들면, 도 8에서와 같이 모닝번(82)이 적합한 요리이면 노란색 영역으로 표시하고 새우구이(80), 감자튀김(81), 스테이크(83)가 부적합한 요리이면 적색으로 표시할 수 있다.

또한, 이때, 적합 여부 판단의 기초가 된 사용자의 상황과 더불어 사용자의 상황에서 권장되는 권장 음식 또는 비권장 음식을 함께 또는 별도로 표시하여 사용자에게 제공할 수 있다.

예를 들면, 도 8에서와 같이 사용자의 상황으로 고혈압이 입력되었다면, 사용자의 상황으로서 고혈압에 상응하는 권장 음식(84)으로 빵을, 비권장 음식(85)으로 김치, 새우 등을 표시하여 사용자에게 제공할 수 있다.

즉, 다시 도 1을 참조하면, 적합 여부 분석을 수행하는 단계(S120) 이후에, 상기 적합 여부 분석 결과 적합한 것으로 확인된 요리 또는 상기 상황별 권장음식 데이터베이스에서 획득된 권장 음식을 표시하는 단계를 더 포함할 수 있다.

또한, 비권장음식도 상황별 권장음식 데이터베이스에서 획득하여 표시할 수 있다.

도 9는 본 발명의 일 실시예에 따른 식별된 원재료에 따른 조리 가능 음식과 해당 음식에 대한 정보를 제공하는 예시도이다.

앞서 도 1에 따라 요리 또는 원재료를 식별하는 단계(S110)가 수행되었다면, 식별된 원재료가 존재할 수 있고, 따라서, 사용자가 식별된 원재료 중에서 사용하거나 제외할 원재료를 선택하도록 제1 사용자 인터페이스(90)를 제공할 수 있다.

예를 들어, 도 9의 사진에서와 같이 식별된 원재료가 양파, 애호박, 당근, 계란, 햄이었다면, 식별된 원재료의 리스트(91)를 사용자에게 표시할 수 있다.

또한, 이때 식별된 원재료의 적합 여부 분석 결과 부적합한 원재료가 있다면, 별도로 식별 가능하도록 표시하여 사용자에게 제공할 수 있는데 햄이 부적합하다면, 햄에 하이라이트 표시(92) 등을 하여 사용자에게 부적합 여부를 알 수 있도록 제공할 수 있다.

또한, 적합한 원재료에 대해서도 사용자가 식별할 수 있도록 별도로 표시하여 제공할 수 있음은 물론이다.

따라서 도 1의 상기 조리 가능한 요리를 적어도 하나 선정하는 단계(S130)는, 상기 적합한 것으로 판단된 원재료 중에서 사용자의 입력을 받아 사용자의 선호 또는 기피하는 원재료를 추가 또는 제외하는 단계를 포함할 수 있다.

이와 같이 식별된 원재료 중에서 사용자에 따른 선택을 추가로 입력받음으로써 사용자의 선호도를 반영한 요리를 선정하여 제공할 수 있게 된다.

한편, 사용자가 선호하거나 기피하는 원재료를 결정하였다면, 결정된 원재료를 바탕으로 조리 가능한 요리를 적어도 하나 이상 선정할 수 있다.

예를 들어, 도 9를 참조하면 야채볶음밥, 계란말이, 잔치국수, 만두국을 조리 가능한 요리로 선정하여 사용자에게 선택 여부를 결정할 수 있는 제2 사용자 인터페이스(93)를 제공할 수 있다.

또한, 제공된 제2 사용자 인터페이스(93)에 대하여 사용자로부터 추가 입력을 받아, 기피하는 요리를 제외할 수 있다.

또한, 여기서 조리 가능한 요리는 원재료를 기반으로 선정되었기 때문에, 사용자에게 비권장음식이 포함될 수 있다. 따라서, 조리 가능한 요리 중에서 상황별 권장음식 데이터베이스를 참조하여 비권장음식에 해당하는 요리는 제외하거나 사용자가 인식할 수 있도록 표시될 수 있다. 이에 관한 예시로서, 도 9의 제2 사용자 인터페이스(93)에서는 잔치 국수가 비권장음식으로서 표시(94)될 수 있다.

또한, 선정된 조리 가능한 요리 중에서 상황별 권장음식 데이터베이스를 참조하여 권장음식인 경우에는, 이 또한 사용자가 인식할 수 있도록 표시될 수 있다. 예를 들어, 도 9의 제2 사용자 인터페이스(93)에서는 만두국이 권장음식으로 표시(95)될 수 있다.

한편, 제공된 조리 가능 요리의 인터페이스(93)에 따라 사용자가 조리 가능한 요리 중에서 특정 요리를 선택하였다면, 선택된 요리에 대한 조리 방법, 칼로리량 및 식별된 원재료 이외에 추가로 필요한 원재료를 확인할 수 있는 제3 사용자 인터페이스(96)를 사용자에게 제공할 수 있다.

사용자는 표시된 인터페이스(96)에 따라 필요한 정보를 선택하여 조리 방법이나 칼로리 정보, 추가로 필요한 재료 등을 제공받을 수 있다.

다만, 상기의 인터페이스 제공 과정은 구현하기에 따라서 일부 생략하거나 순서가 변경될 수 있다.

도 10은 본 발명의 일 실시예에 따른 조리 가능 음식에 필요한 추가 재료에 대해 구매 기능을 제공하는 예시도이다.

도 10을 참조하면, 조리 가능한 요리에 추가로 필요한 재료의 목록(100)을 사용자에게 제공할 수 있다.

예를 들면, 만두피, 쇠고기, 대파, 마늘, 후추, 만두가 앞서 도 9에 따른 만두국을 조리하는데 추가로 필요한 원재료라는 점을 표시할 수 있다.

사용자는 추가로 필요한 원재료 중에서 구매를 원하는 원재료를 선택하면, 구매 여부를 확인하는 인터페이스(102)가 제공될 수 있고 사용자가 동의를 선택하면, 해당 원재료를 판매하는 사이트로 연결할 수 있다.

도 10을 참조하면, 사용자가 구매를 원하는 원재료로 쇠고기를 입력하면, 쇠고기의 구매를 지원할 수 있도록 쇠고기 판매 사이트로 연결하거나 링크(link)를 제공할 수 있다.

즉 추가로 필요한 원재료에 대한 구매를 지원하는 사용자 인터페이스를 제공할 수 있다.

도 11은 본 발명의 일 실시예에 따른 요리 정보 제공 장치에 대한 블록도이다.

도 11을 참조하면, 요리 정보 제공 장치(110)는 적어도 하나의 명령(instruction)을 실행하는 프로세서(processor, 111) 및 적어도 하나의 명령을 저장하는 메모리(memory, 112)를 포함할 수 있다.

여기서, 요리 정보 제공 장치(110)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.

여기서, 요리 정보 제공 장치(110)는 사용자로부터 입력을 수신하는 입력부(113)를 더 포함할 수 있는데, 입력부(113)의 예를 들면 키보드, 마우스, 터치 스크린 등이 있을 수 있다.

여기서, 요리 정보 제공 장치(110)는 본 발명에 따른 각종 요리 정보와 기능을 사용자가 시각적으로 인식하고 활용할 수 있도록 사용자에게 표시하는 표시부(114)를 더 포함할 수 있다.

여기서, 표시부(114)의 예를 들면 디스플레이, 터치 스크린, 모니터 등이 있을 수 있다.

여기서, 요리 정보 제공 장치(110)는 본 발명의 일 실시예에 따른 각종 데이터를 저장하고 변경, 삭제, 생성 등이 가능한 데이터베이스(database)를 포함할 수 있는데, 데이터베이스는 요리 정보 제공 장치(110)의 내부에 포함되거나 외부에 통신망으로 연결될 수도 있고, 클라우드 저장소(cloud storage)일 수도 있다.

여기서 프로세서(111)는, 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하고, 검출된 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하고, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부 분석을 수행하고, 적합 여부 분석 결과 적합한 것으로 판단된 원재료로 조리 가능한 요리를 적어도 하나 선정하고, 선정된 요리에 대한 정보를 사용자에게 제공할 수 있다.

여기서 프로세서(111)는, 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류할 수 있다.

여기서 프로세서(111)는, 분류된 클래스에 따른 학습 모델을 기초로 음식 후보 영역에 대하여 위치 추정을 수행하여, 식별된 요리나 원재료에 따른 음식 영역을 결정할 수 있다.

여기서 프로세서(111)는, 요리-원재료 데이터베이스를 참조하여 식별된 요리에 포함된 원재료를 판별하고, 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하고, 판별된 원재료의 적합 여부에 따라 식별된 요리의 적합 여부를 결정할 수 있다.

여기서 프로세서(111)는, 적합한 것으로 판단된 원재료 중에서 사용자의 입력을 받아 사용자의 선호 또는 기피하는 원재료를 추가 또는 제외한 원재료를 이용하여 조리 가능한 요리를 적어도 하나 선정할 수 있다.

본 발명의 일 실시예로, 사용자 상황에 따른 요리 추천 방법은, 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계, 검출된 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계 및 적합 여부 분석 결과 적합한 것으로 확인된 요리 또는 상황별 권장음식 데이터베이스에서 획득된 권장 음식을 표시하는 단계를 포함할 수 있다.

여기서, 요리 또는 원재료를 식별하는 단계는, 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는 단계를 포함할 수 있다.

여기서, 분류된 클래스에 따른 학습 모델을 기초로 음식 후보 영역에 대하여 위치 추정을 수행하여, 식별된 요리나 원재료에 따른 음식 영역을 결정하는 단계를 더 포함할 수 있다.

여기서, 적합 여부를 분석하는 단계는, 요리-원재료 데이터베이스를 참조하여 식별된 요리에 포함된 원재료를 판별하는 단계, 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하는 단계 및 판별된 원재료의 적합 여부에 따라 식별된 요리의 적합 여부를 결정하는 단계를 포함할 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

1. 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계;
   검출된 상기 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계;
   상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계;
   적합 여부 분석 결과 적합한 것으로 판단된 원재료로 조리 가능한 요리를 적어도 하나 선정하는 단계; 및
   선정된 요리에 대한 정보를 사용자에게 제공하는 단계를 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
2. 청구항 1에서,
   상기 요리 또는 원재료를 식별하는 단계는,
   상기 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는 단계를 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
3. 청구항 1에서,
   분류된 클래스에 따른 학습 모델을 기초로 상기 음식 후보 영역에 대하여 위치 추정을 수행하여, 상기 식별된 요리나 원재료에 따른 음식 영역을 결정하는 단계를 더 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
4. 청구항 3에서,
   상기 결정된 음식 영역과 매칭하여 상기 식별된 요리나 원재료의 식별 기호를 표시하는 단계를 더 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
5. 청구항 4에서,
   상기 식별된 요리나 원재료의 식별 기호가 표시된 결과에 따른 사용자의 피드백 입력을 받아 상기 식별 기호를 변경하는 단계를 더 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
6. 청구항 5에서,
   상기 식별된 요리나 원재료의 식별 기호를 표시하는 단계는,
   조리법 데이터베이스를 참조하여 상기 식별된 요리에 대한 조리법 정보를 표시하는, 사용자 상황에 따른 요리 정보 제공 방법.
7. 청구항 1에서,
   상기 적합 여부 분석 결과 적합한 것으로 확인된 요리 또는 상기 상황별 권장음식 데이터베이스에서 획득된 권장 음식을 표시하는 단계를 더 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
8. 청구항 1에서,
   상기 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계는,
   요리-원재료 데이터베이스를 참조하여 상기 식별된 요리에 포함된 원재료를 판별하는 단계;
   상기 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하는 단계; 및
   상기 판별된 원재료의 적합 여부에 따라 상기 식별된 요리의 적합 여부를 결정하는 단계를 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
9. 청구항 1에서,
   상기 조리 가능한 요리를 적어도 하나 선정하는 단계는,
   상기 적합한 것으로 판단된 원재료 중에서 사용자의 입력을 받아 사용자의 선호 또는 기피하는 원재료를 추가 또는 제외하는 단계를 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
10. 청구항 1에서,
    상기 선정된 요리에 대한 정보는,
    상기 선정된 요리의 조리방법, 칼로리량 및 상기 식별된 원재료 이외에 추가로 필요한 원재료를 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
11. 청구항 10에서,
    상기 추가로 필요한 원재료의 구매를 지원하는 사용자 인터페이스를 제공하는 단계를 포함하는, 사용자 상황에 따른 요리 정보 제공 방법.
12. 입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하는 단계;
    검출된 상기 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하는 단계;
    상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부를 분석하는 단계; 및
    적합 여부 분석 결과 적합한 것으로 확인된 요리 또는 상기 상황별 권장음식 데이터베이스에서 획득된 권장 음식을 표시하는 단계를 포함하는, 사용자 상황에 따른 요리 추천 방법.
13. 청구항 12에서,
    상기 요리 또는 원재료를 식별하는 단계는,
    상기 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는 단계를 포함하는, 사용자 상황에 따른 요리 추천 방법.
14. 청구항 12에서,
    분류된 클래스에 따른 학습 모델을 기초로 상기 음식 후보 영역에 대하여 위치 추정을 수행하여, 상기 식별된 요리나 원재료에 따른 음식 영역을 결정하는 단계를 더 포함하는, 사용자 상황에 따른 요리 추천 방법.
15. 청구항 12에서,
    상기 적합 여부를 분석하는 단계는,
    요리-원재료 데이터베이스를 참조하여 상기 식별된 요리에 포함된 원재료를 판별하는 단계;
    상기 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하는 단계; 및
    상기 판별된 원재료의 적합 여부에 따라 상기 식별된 요리의 적합 여부를 결정하는 단계를 포함하는, 사용자 상황에 따른 요리 추천 방법.
16. 적어도 하나의 명령을 실행하는 프로세서(processor);
    상기 적어도 하나의 명령을 저장하는 메모리(memory)를 포함하는 요리 정보 제공 장치에서,
    상기 프로세서는,
    입력 영상에서 요리나 원재료를 포함하는 음식 후보 영역을 검출하고,
    검출된 상기 음식 후보 영역을 복수의 클래스 중 하나로 분류하고 분류된 클래스에 따라 요리 또는 원재료를 식별하고, 상황별 권장음식 데이터베이스를 참조하여, 식별된 요리 또는 원재료의 적합 여부 분석을 수행하고,
    적합 여부 분석 결과 적합한 것으로 판단된 원재료로 조리 가능한 요리를 적어도 하나 선정하고,
    선정된 요리에 대한 정보를 사용자에게 제공하는, 요리 정보 제공 장치.
17. 청구항 16에서,
    상기 프로세서는,
    상기 음식 후보 영역에 미리 구축된 학습 모델을 적용하여 상세 요리 클래스(class)와 상세 원재료 클래스를 포함하는 복수의 클래스 중 하나의 클래스로 분류하는, 요리 정보 제공 장치.
18. 청구항 17에서,
    상기 프로세서는,
    분류된 클래스에 따른 학습 모델을 기초로 상기 음식 후보 영역에 대하여 위치 추정을 수행하여, 상기 식별된 요리나 원재료에 따른 음식 영역을 결정하는, 요리 정보 제공 장치.
19. 청구항 16에서,
    상기 프로세서는,
    요리-원재료 데이터베이스를 참조하여 상기 식별된 요리에 포함된 원재료를 판별하고,
    상기 상황별 권장음식 데이터베이스를 참조하여 판별된 원재료의 적합 여부를 분석하고,
    상기 판별된 원재료의 적합 여부에 따라 상기 식별된 요리의 적합 여부를 결정하는, 요리 정보 제공 장치.
20. 청구항 16에서,
    상기 프로세서는,
    상기 적합한 것으로 판단된 원재료 중에서 사용자의 입력을 받아 사용자의 선호 또는 기피하는 원재료를 추가 또는 제외한 원재료를 이용하여 조리 가능한 요리를 적어도 하나 선정하는, 요리 정보 제공 장치.

Images