KR102313279B1 - 식재료 기반 최적 레시피 제공 장치 - Google Patents
식재료 기반 최적 레시피 제공 장치 Download PDFInfo
- Publication number
- KR102313279B1 KR102313279B1 KR1020210006672A KR20210006672A KR102313279B1 KR 102313279 B1 KR102313279 B1 KR 102313279B1 KR 1020210006672 A KR1020210006672 A KR 1020210006672A KR 20210006672 A KR20210006672 A KR 20210006672A KR 102313279 B1 KR102313279 B1 KR 102313279B1
- Authority
- KR
- South Korea
- Prior art keywords
- recipe
- information
- ingredient
- value
- food
- Prior art date
Links
- 235000012041 food component Nutrition 0.000 title claims abstract description 56
- 239000005417 food ingredient Substances 0.000 title claims abstract description 56
- 239000004615 ingredient Substances 0.000 claims abstract description 156
- 235000013305 food Nutrition 0.000 claims abstract description 99
- 235000011194 food seasoning agent Nutrition 0.000 claims abstract description 64
- 238000010411 cooking Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 239000000463 material Substances 0.000 claims description 155
- 238000001514 detection method Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 235000015278 beef Nutrition 0.000 description 38
- 241000234282 Allium Species 0.000 description 25
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 25
- 235000002566 Capsicum Nutrition 0.000 description 13
- 239000006002 Pepper Substances 0.000 description 13
- 241000722363 Piper Species 0.000 description 13
- 235000016761 Piper aduncum Nutrition 0.000 description 13
- 235000017804 Piper guineense Nutrition 0.000 description 13
- 235000008184 Piper nigrum Nutrition 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 235000015067 sauces Nutrition 0.000 description 9
- 241000237502 Ostreidae Species 0.000 description 8
- 235000020636 oyster Nutrition 0.000 description 8
- 150000003839 salts Chemical class 0.000 description 8
- 230000009193 crawling Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000012913 prioritisation Methods 0.000 description 5
- 235000014347 soups Nutrition 0.000 description 5
- 240000004160 Capsicum annuum Species 0.000 description 4
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 4
- 244000061458 Solanum melongena Species 0.000 description 4
- 235000002597 Solanum melongena Nutrition 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000008159 sesame oil Substances 0.000 description 4
- 235000011803 sesame oil Nutrition 0.000 description 4
- 235000013311 vegetables Nutrition 0.000 description 4
- 240000002234 Allium sativum Species 0.000 description 3
- 240000007124 Brassica oleracea Species 0.000 description 3
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 3
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 3
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 3
- 235000007862 Capsicum baccatum Nutrition 0.000 description 3
- 244000000626 Daucus carota Species 0.000 description 3
- 235000002767 Daucus carota Nutrition 0.000 description 3
- 244000294411 Mirabilis expansa Species 0.000 description 3
- 235000015429 Mirabilis expansa Nutrition 0.000 description 3
- 239000001728 capsicum frutescens Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000004611 garlic Nutrition 0.000 description 3
- 235000013536 miso Nutrition 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000010794 food waste Substances 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 235000014102 seafood Nutrition 0.000 description 2
- 235000002639 sodium chloride Nutrition 0.000 description 2
- 235000013555 soy sauce Nutrition 0.000 description 2
- 240000006108 Allium ampeloprasum Species 0.000 description 1
- 235000005254 Allium ampeloprasum Nutrition 0.000 description 1
- 241000656147 Benthodesmus simonyi Species 0.000 description 1
- 241001474374 Blennius Species 0.000 description 1
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 1
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- 241001454694 Clupeiformes Species 0.000 description 1
- 239000004278 EU approved seasoning Substances 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 244000000231 Sesamum indicum Species 0.000 description 1
- 235000003434 Sesamum indicum Nutrition 0.000 description 1
- 235000019513 anchovy Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000001511 capsicum annuum Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000008162 cooking oil Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 235000013312 flour Nutrition 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000021374 legumes Nutrition 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000014571 nuts Nutrition 0.000 description 1
- 239000004006 olive oil Substances 0.000 description 1
- 235000008390 olive oil Nutrition 0.000 description 1
- 235000021110 pickles Nutrition 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 229920001592 potato starch Polymers 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000012045 salad Nutrition 0.000 description 1
- 235000013547 stew Nutrition 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 식재료 기반 최적 레시피 제공 장치에 관한 것으로서, 각각의 식재료 항목별로 대응되는 적어도 하나의 식재료 단어 및 이에 기초한 계량 단위값과, 소정의 조리 방식에 기초한 복수 개의 요리 단어와, 상기 복수 개의 요리 단어 각각에 대응되는 요리에 사용되는 적어도 하나 이상의 양념 재료 단어를 각각 구분하여 저장하는 레시피 단어 DB와, 냉장고의 저장실에 보관되는 소정의 식재료에 대한 식재료 이미지를 기설정된 학습 분류 모델에 기초하여 기저장된 복수 개의 상기 식재료 단어 중 적어도 하나로 분류한 결과에 따른 식재료 정보를 획득하는 식재료 정보 획득 모듈과, 상기 획득된 식재료 정보에 대응되는 상기 식재료 단어 및 상기 계량 단위값에 기초하여 상기 복수 개의 요리 단어 중 적어도 하나에 대한 레시피 정보를 검색하는 레시피 검색 모듈을 포함하는 것을 특징으로 한다.
이에 따라, 현재 냉장고에 보관 중인 재료 내에서 조리 가능한 최적의 요리 레시피를 제공함으로써 추가 재료 구매를 최소화하면서 사용자가 원하는 다양한 종류의 음식을 조리할 수 있는 효과가 있다.
이에 따라, 현재 냉장고에 보관 중인 재료 내에서 조리 가능한 최적의 요리 레시피를 제공함으로써 추가 재료 구매를 최소화하면서 사용자가 원하는 다양한 종류의 음식을 조리할 수 있는 효과가 있다.
Description
본 발명은 사용자가 냉장고에 보관 중인 식재료 목록에 기초하여 조리 가능한 적어도 하나의 음식물에 대한 레시피를 제공하는 식재료 기반 최적 레시피 제공 장치에 관한 것이다.
현대 사회는 1인 독신 생활 및 젊은 세대의 맞벌이 생활로 인해 요리에 대한 부담이 커지고 있어 시간이 부족한 현실에서 간편하고 쉽게 조리할 수 있는 각종 요리 레시피를 필요로 한다.
물론 인터넷 블로그, 카페, 모바일 애플리케이션 등을 통해 요리 레시피에 대해 쉽게 정보를 얻을 수 있으나 레시피에 소개된 재료에 비해 각 가정에서 보유하고 있는 요리 재료는 한정되어 있는 경우가 대부분이다.
또한 생활 수준 향상으로 냉장고 및 창고에 여러 가지 음식물이나 식재료를 보관하게 되었으나, 냉장고 및 수납공간이 늘어나면서 다양한 음식물을 보관하고 있으면서도 사용자가 보관 중인 식재료를 모두 기억하기 쉽지 않다.
이에 각 가정에서 한두 끼 정도 조리하고자 구매한 각종 재료들은 개인들이 인지하지 못하여 장기간 방치되는 경우, 동일한 재료를 재구매하거나 음식물 쓰레기로 버려지는 경우가 많아 처리에 따른 개인적, 사회적 비용 손실이 커지는 문제가 있다.
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 사용자가 냉장고에 보관 중인 식재료 목록에 기초하여 조리 가능한 적어도 하나의 음식물에 대한 레시피를 제공하는 식재료 기반 최적 레시피 제공 장치를 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 식재료 기반 최적 레시피 제공 장치는, 각각의 식재료 항목별로 대응되는 적어도 하나의 식재료 단어 및 이에 기초한 계량 단위값과, 소정의 조리 방식에 기초한 복수 개의 요리 단어와, 상기 복수 개의 요리 단어 각각에 대응되는 요리에 사용되는 적어도 하나 이상의 양념 재료 단어를 각각 구분하여 저장하는 레시피 단어 DB와, 냉장고의 저장실에 보관되는 소정의 식재료에 대한 식재료 이미지를 기설정된 학습 분류 모델에 기초하여 기저장된 복수 개의 상기 식재료 단어 중 적어도 하나로 분류한 결과에 따른 식재료 정보를 획득하는 식재료 정보 획득 모듈과, 상기 획득된 식재료 정보에 대응되는 상기 식재료 단어 및 상기 계량 단위값에 기초하여 상기 복수 개의 요리 단어 중 적어도 하나에 대한 레시피 정보를 검색하는 레시피 검색 모듈을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 레시피 검색 모듈은, 상기 획득된 식재료 정보에 대응되는 상기 식재료 단어와 이에 대응하여 기저장된 상기 계량 단위값의 조합으로 구성되는 적어도 하나의 검색 문자열을 생성하는 검색 문자열 생성부와, 상기 생성된 검색 문자열을 웹 공간상에서 검색한 결과에 기초하여 상기 검색 문자열이 포함된 적어도 하나의 웹 페이지 각각의 본문 영역에 포함되는 복수 개의 텍스트 문장에 대응하는 소정의 레시피 문장을 검출하는 문장 검출부와, 상기 웹 페이지의 소정 영역 내 텍스트 또는 이미지에 기초한 분석 결과에 따라 상기 레시피 문장에 대응하는 레시피 정보의 정확도에 대한 확률값을 산출하는 확률 산출부와, 상기 확률값이 기설정된 임계값 이상인 경우 상기 레시피 문장에 대응하는 상기 웹 페이지에 대한 링크 정보를 획득한 후 상기 레시피 문장과 매칭하여 저장하는 레시피 정보 획득부를 포함하는 것을 특징으로 한다.
또한, 상기 확률 산출부는, 상기 검출된 레시피 문장에 기초하여 서로 중복되지 않는 상기 검색 문자열의 개수를 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 확률값을 산출하는 것을 특징으로 한다.
바람직하게는, 상기 식재료 정보 획득 모듈은, 소정의 식재료를 보관하는 냉장고의 저장실을 촬영한 저장실 영상을 획득하는 카메라부와, 상기 저장실 영상에 포함된 적어도 하나의 식재료에 대응하는 식재료 이미지를 기저장된 복수 개의 상기 식재료 단어에 대응하는 이미지에 대한 이미지 학습을 수행 가능하도록 기설정된 딥러닝 기반의 학습 분류 모델에 적용함에 따라 복수 개의 상기 식재료 단어 중 적어도 하나로 분류하는 식재료 분류부와, 소정 시점일 때의 상기 식재료 이미지에 대한 분류값을 획득하여 해당 시점의 식재료 정보로 하여 저장하되, 기설정된 주기마다 상기 식재료 정보를 갱신하는 식재료 정보 저장부를 포함하는 것을 특징으로 한다.
또한, 상기 식재료 이미지가 복수 개의 상기 식재료 단어 중 어느 것으로도 분류되지 않는 경우, 상기 식재료 이미지에 포함된 객체의 양념 재료 여부를 판단한 결과에 기초하여 사용자로부터 상기 식재료 이미지에 대한 소정의 입력값을 입력받도록 하는 재료 입력 모듈을 더 포함하며, 상기 식재료 정보 저장부는, 상기 입력값을 상기 식재료 이미지에 대한 상기 입력값이 입력된 시점의 식재료 정보로 하여 저장하되, 상기 식재료 정보를 상기 입력값에 기초하여 식재료와 양념 재료 중 어느 하나로 구분하여 저장하는 것을 특징으로 한다.
또한, 상기 재료 입력 모듈은, 상기 식재료 이미지가 복수 개의 상기 식재료 단어 중 어느 것으로도 분류되지 않는 경우, 상기 식재료 이미지에 기초한 객체에 대한 크기, 형상 및 색상 중 적어도 하나의 객체 정보에 따라 상기 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단하는 판단부와, 상기 객체가 양념 재료로 판단되는 경우엔 사용자로부터 기저장된 복수 개의 상기 양념 재료 단어 중 어느 하나에 대한 선택값인 제1 입력값을 입력받기 위한 제1 입력 UI를 생성하고, 상기 객체가 양념 재료로 판단되지 않는 경우엔 사용자로부터 상기 식재료 이미지에 대응하는 소정의 재료 단어값과 상기 재료 단어값이 식재료 단어와 양념 재료 단어 중 어느 구분에 속하는지에 대한 구분 정보를 포함하는 제2 입력값을 입력받기 위한 제2 입력 UI를 생성하는 UI 생성부를 포함하는 것을 특징으로 한다.
또한, 상기 확률 산출부는, 상기 검출된 레시피 문장에 기초하여 상기 제1 입력값 또는 상기 제2 입력값에 대응하는 적어도 하나 이상의 상기 양념 재료 단어의 개수를 중복 없이 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 확률값을 산출하는 것을 특징으로 한다.
바람직하게는, 상기 재료 입력 모듈은, 사용자에 의해 상기 냉장고의 도어가 개폐됨에 따른 소정의 트리거 신호를 발생하는 트리거 신호 발생부와, 상기 트리거 신호가 발생되는 경우, 상기 객체의 양념 재료 여부에 대한 판단 결과에 기초하여 상기 트리거 신호의 발생 시점으로부터 기설정된 기준시간 이내에 상기 제1 입력 UI와 상기 제2 입력 UI 중 어느 하나를 화면상의 소정 영역에 표시하는 표시부와, 상기 표시부의 화면에 표시되는 상기 제1 입력 UI와 상기 제2 입력 UI 중 어느 하나에 대응하여 사용자로부터 상기 제1 입력값 또는 상기 제2 입력값을 입력받는 재료 입력부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 레시피 검색 모듈은, 상기 레시피 문장으로부터 상기 식재료 정보에 대응되는 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어를 구분하여 추출하는 단어 추출부와, 각각의 상기 레시피 문장으로부터 추출된 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어를 기설정된 순서에 따라 나열한 재료 문자열을 레시피 정보별로 생성하는 재료 문자열 생성부를 더 포함하는 것을 특징으로 한다.
또한, 상기 확률 산출부는, 각각의 상기 레시피 문장에 대응하여 추출된 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어의 개수를 중복 없이 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 확률값을 산출하는 것이며, 상기 레시피 검색 모듈은, 각각의 상기 레시피 문장에 대응하는 웹 페이지의 조회수 정보를 추출하여 상기 조회수 정보에 대한 값과 상기 산출된 확률값에 기초한 데이터 벡터를 생성한 후 상기 데이터 벡터에 기저장된 가중치 벡터를 적용하여 가중합한 결과에 따른 우선순위를 레시피 정보별로 부여하는 우선순위 부여부를 더 포함하는 것을 특징으로 한다.
또한, 소정 시점에서의 상기 식재료 정보에 기초한 레시피 정보를 요청하는 사용자 입력을 수신하는 사용자 입력부와, 상기 사용자 입력이 수신된 시점에 대응하여 획득된 상기 식재료 정보에 기초한 레시피 정보의 검색 결과로서, 검색된 각각의 상기 레시피 정보에 기초한 상기 레시피 문장에 대응하는 상기 재료 문자열을 레시피 정보별로 상기 부여된 우선순위에 따라 화면상의 소정 영역에 표시하되, 상기 식재료 단어와 상기 양념 재료 단어를 구분 가능하도록 서로 상이한 색으로 표시하는 레시피 정보 표시부를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 현재 냉장고에 보관 중인 재료 내에서 조리 가능한 최적의 요리 레시피를 제공함으로써 추가 재료 구매를 최소화하면서 사용자가 원하는 다양한 종류의 음식을 조리할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 사용자가 레시피를 통해 냉장고에 있는 식자재를 이용한 음식을 만들어 먹음으로써 냉장고에 방치된 식자재를 버리는 경우를 방지하여 음식물 쓰레기의 양을 줄일 수 있는 효과가 있다.
또한, 본 발명에 따르면, 현재 가정에서 보유하고 있는 재료를 데이터화하고 구매 및 소비에 따른 변동을 지속적으로 업데이트하여 관리함으로써 불필요한 추가 재료 구매를 방지하여 구매 효율성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 식재료 기반 최적 레시피 제공 장치의 구성을 개략적으로 나타낸 도면이고,
도 2는 본 발명의 일 실시예에 따른 식재료 기반 최적 레시피 제공 장치의 구성을 상세하게 나타낸 블록도이고,
도 3은 도 2의 문장 검출부에 의해 식재료 정보에 기초한 웹 검색에 따른 레시피 문장을 검출하는 과정을 설명하기 위한 도면이고,
도 4 및 도 5는 도 2의 레시피 정보 표시부에 의해 레시피 정보의 검색 결과가 화면에 표시되는 다양한 실시예를 도시한 도면이고,
도 6은 도 2의 판단부에 의해 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단하는 과정을 설명하기 위한 도면이고,
도 7 및 도 8은 도 2의 UI 생성부에 의해 생성되는 제1 입력 UI와 제2 입력 UI를 각각 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 식재료 기반 최적 레시피 제공 장치의 구성을 상세하게 나타낸 블록도이고,
도 3은 도 2의 문장 검출부에 의해 식재료 정보에 기초한 웹 검색에 따른 레시피 문장을 검출하는 과정을 설명하기 위한 도면이고,
도 4 및 도 5는 도 2의 레시피 정보 표시부에 의해 레시피 정보의 검색 결과가 화면에 표시되는 다양한 실시예를 도시한 도면이고,
도 6은 도 2의 판단부에 의해 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단하는 과정을 설명하기 위한 도면이고,
도 7 및 도 8은 도 2의 UI 생성부에 의해 생성되는 제1 입력 UI와 제2 입력 UI를 각각 설명하기 위한 도면이다.
이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 식재료 기반 최적 레시피 제공 장치의 구성을 개략적으로 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 식재료 기반 최적 레시피 제공 장치의 구성을 상세하게 나타낸 블록도이고, 도 3은 도 2의 문장 검출부에 의해 식재료 정보에 기초한 웹 검색에 따른 레시피 문장을 검출하는 과정을 설명하기 위한 도면이고, 도 4 및 도 5는 도 2의 레시피 정보 표시부에 의해 레시피 정보의 검색 결과가 화면에 표시되는 다양한 실시예를 도시한 도면이고, 도 6은 도 2의 판단부에 의해 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단하는 과정을 설명하기 위한 도면이고, 도 7 및 도 8은 도 2의 UI 생성부에 의해 생성되는 제1 입력 UI와 제2 입력 UI를 각각 설명하기 위한 도면이다.
이하, 전술한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 식재료 기반 최적 레시피 제공 장치에 대해 설명하도록 한다.
도 1 및 도 2를 참조하면, 본 발명에 따른 식재료 기반 최적 레시피 제공 장치(10)는 크게 레시피 단어 DB(100), 식재료 정보 획득 모듈(200), 레시피 검색 모듈(400), 사용자 입력부(500) 및 레시피 정보 표시부(600)를 포함하여 구성된다.
레시피 단어 DB(100)는 소정의 데이터베이스 형태로 마련되며, 각각의 식재료 항목별로 대응되는 적어도 하나의 식재료 단어 및 이에 기초한 계량 단위값과, 소정의 조리 방식에 기초한 복수 개의 요리 단어와, 상기 복수 개의 요리 단어 각각에 대응되는 요리에 사용되는 적어도 하나 이상의 양념 재료 단어를 각각 구분하여 저장한다.
여기서, 상기 식재료 항목은 육류(소고기, 돼지고기, 닭고기 등), 어패류, 해조류, 알류, 채소류, 견과류, 콩류, 과일류 등을 포함하고, 상기 식재료 단어는 해당 항목을 세분화한 부위 명칭 또는 종류 명칭을 포함하고, 상기 계량 단위값은 각각의 상기 식재료 단어에 대응하는 식재료의 양 또는 갯수를 계량하는 단위값을 포함할 수 있다.
또한, 상기 복수 개의 요리 단어는 식재료에 수분 및 가열 등을 통한 조리 방식에 따라 구분되는 국, 찌개, 전골, 탕, 찜, 조림, 구이, 튀김, 부침, 볶음, 생채, 숙채, 샐러드, 절임 등을 포함할 수 있다.
또한, 예컨대, 상기 요리 단어가 '전골'인 경우에 대응되는 제1 양념 재료 단어는 전골 요리에 사용되는 다진마늘, 소금, 국간장, 멸치육수 등을 포함하고, 상기 요리 단어가 '볶음'인 경우에 대응되는 제2 양념 재료 단어는 볶음 요리에 사용되는 진간장, 맛술, 설탕, 굴소스, 다진마늘, 통깨, 소금, 후추, 식용유, 올리브 오일 등을 포함하고, 상기 요리 단어가 '부침'인 경우에 대응되는 제3 양념 재료 단어는 부침 요리에 사용되는 밀가루, 맛술, 설탕, 소금, 다진마늘, 감자전분 등을 포함할 수 있다.
아래의 표 1은 레시피 단어 DB(100)에 기저장된 식재료 항목별 식재료 단어 및 계량 단위값의 일례를 나타낸 것이다.
| 식재료 항목 | 식재료 단어 | 계량 단위값 |
| 육류(소고기) | 소고기 갈비 | g, 근 |
| 소고기 등심 | g, 근 | |
| 소고기 안심 | g, 근 | |
| 소고기 양지 | g, 근 | |
| … | … | |
| 어패류 | 갈치 | g, 마리 |
| 오징어 | g, 마리 | |
| 전복 | g, 개 | |
| … | … | |
| 채소류 | 양파 | g, 개 |
| 대파 | g, 개 | |
| 배추 | g, 개 | |
| 청양고추 | g, 개 | |
| 당근 | g, 개 | |
| 가지 | g, 개 | |
| 파프리카 | g, 개 | |
| … | … |
식재료 정보 획득 모듈(200)은 냉장고에서 보관 중인 식재료에 대한 식재료 정보를 획득하기 위한 것이다.
구체적으로, 식재료 정보 획득 모듈(200)은, 냉장고(1)의 저장실(3)에 보관되는 소정의 식재료에 대한 식재료 이미지를 기설정된 학습 분류 모델에 기초하여 기저장된 복수 개의 상기 식재료 단어 중 적어도 하나로 분류한 결과에 따른 식재료 정보를 획득할 수 있다.
여기서, 식재료 정보 획득 모듈(200)은 도 2에 도시된 바와 같이 카메라부(210), 식재료 분류부(220) 및 식재료 정보 저장부(230)를 포함할 수 있다.
카메라부(210)는 소정의 식재료를 보관하는 냉장고(1)의 저장실(3)을 촬영한 저장실 영상(Vr)을 획득한다.
여기서, 카메라부(210)는 적어도 하나 이상의 카메라를 포함하도록 마련되어 냉장고(1)의 저장실(3)을 향하여 배치될 수 있으며, 예컨대, 냉장고(1)의 저장실(3)과 마주 보는 도어 쪽에 설치될 수 있다.
이때, 카메라부(210)는 카메라 하나로 마련되는 경우엔 식재료를 수용 가능한 냉장고(1) 내부의 전체 저장 공간을 한 화면에 촬영한 제1 저장실 영상(Vr1)을 획득하고, 만일 냉장고(1) 내부에 설치된 복수 개의 선반에 의해 구획된 복수 개의 구역에 대응하도록 복수 개의 카메라로 마련된 경우엔 각 구역별 저장 공간을 촬영한 제2 저장실 영상(Vr2)을 획득하는 것일 수 있다.
식재료 분류부(220)는 카메라부(210)에 의해 획득된 저장실 영상(Vr)에 포함된 적어도 하나의 식재료에 대응하는 식재료 이미지(If)를 기저장된 복수 개의 상기 식재료 단어에 대응하는 이미지에 대한 이미지 학습을 수행 가능하도록 기설정된 딥러닝 기반의 학습 분류 모델에 적용함에 따라 복수 개의 상기 식재료 단어 중 적어도 하나로 분류한다.
여기서, 상기 식재료 이미지(If)는 카메라부(210)에 의해 제1 저장실 영상(Vr1)이 획득된 경우엔 냉장고(1) 내부의 상기 복수 개의 구역 각각에 대응하도록 기설정된 관심영역(ROI; Region of Interest)에 기초하여 각 구역별 저장 공간에 대응하는 소정 시점일 때의 제1 저장실 영상(Vr1)에 대한 이미지를 포함하고, 카메라부(210)에 의해 제2 저장실 영상(Vr2)이 획득된 경우엔 소정 시점일 때의 제2 저장실 영상(Vr1)에 대한 이미지를 포함하는 것일 수 있다.
이때, 상기 학습 분류 모델은 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리 언어인 OpenCV(Open Source Computer Vision)를 기반으로 이미지에 포함된 객체의 특징을 검출하여 상기 객체를 복수 개의 클래스 중 하나로 분류 가능한 딥러닝 기반의 DNN(Deep Neural Network) 모듈, 예컨대, 인텔의 OpenVINO 툴킷을 포함할 수 있다.
식재료 정보 저장부(230)는 소정 시점일 때의 식재료 이미지(If)에 대한 분류값을 획득하여 해당 시점의 식재료 정보로 하여 저장하되, 기설정된 주기마다 상기 식재료 정보를 갱신한다.
여기서, 상기 분류값은 식재료 이미지(If)를 식재료 분류부(220)에 의해 분류한 결과에 대응하는 식재료 단어값일 수 있으며, 식재료 정보 저장부(230)는 전술한 바와 같이 냉장고(1) 내부의 구역별 저장 공간에 대응하는 식재료 이미지(If)에 기초한 상기 식재료 정보를 상기 주기마다 갱신함에 따라 저장 구역별로 보관 중인 식재료의 증감상태 변화를 반영할 수 있다.
비록, 전술한 도 2에 도시되진 않았으나, 본 발명에 따른 식재료 정보 획득 모듈(200)의 경우, 냉장고(1) 내부의 선반에 어레이 형태로 배치되어 선반 위에 높여지는 물체의 무게를 식별 가능한 압력 센서(미도시)의 구성을 추가로 더 포함할 수도 있으며, 이 경우, 식재료 정보 저장부(230)는 상기 압력 센서가 배치된 구역에 대응하여 획득된 식재료 이미지(If)와 상기 압력 센서에 의해 측정된 압력값을 함께 매칭하여 저장하는 것일 수 있다.
아래의 표 2는 식재료 정보 저장부(230)에 기저장된 식재료 이미지별 분류값 및 압력값의 일례를 나타낸 것이며, 상기 분류값은 식재료 분류부(220)에 의해 분류한 결과에 대응하는 식재료 단어값이고, 상기 압력값은 상기 압력 센서에 의해 측정된 압력값이고, 상기 무게값은 상기 압력값을 무게로 변환한 값일 수 있다.
| 식재료 이미지(If) | 분류값(식재료 단어) | 압력값 | 무게값 |
| I1 | 소고기 등심 | p1 | 160g |
| I2 | 대파 | p2 | 30g |
| I3 | 청양고추 | p3 | 100g |
레시피 검색 모듈(400)은 식재료 정보 획득 모듈(200)에 의해 획득된 식재료 정보에 대응되는 상기 식재료 단어 및 상기 계량 단위값에 기초하여 상기 복수 개의 요리 단어 중 적어도 하나에 대한 레시피 정보를 검색하기 위한 것이다.
여기서, 레시피 검색 모듈(400)은 도 2에 도시된 바와 같이 검색 문자열 생성부(410), 문장 검출부(420), 확률 산출부(430) 및 레시피 정보 획득부(450)를 포함할 수 있다.
검색 문자열 생성부(410)는 식재료 정보 획득 모듈(200)에 의해 획득된 식재료 정보에 대응되는 상기 식재료 단어와 이에 대응하여 기저장된 상기 계량 단위값의 조합으로 구성되는 적어도 하나의 검색 문자열을 생성하는 역할을 한다.
여기서, 상기 검색 문자열은 기저장된 적어도 하나의 상기 식재료 단어, 소정의 숫자, 상기 계량 단위값 순으로 구성되는 것으로서, 예컨대, 상기 식재료 단어가 '소고기 등심'이고 상기 계량 단위값이 'g'일 때, 상기 검색 문자열은 '소고기 등심 200g'일 수 있다.
예컨대, 도 3 및 상기 표 2를 참조하면, 상기 식재료 정보에 기초한 제1 내지 제3 식재료 단어가 '소고기 등심','대파','청양고추'인 경우, 검색 문자열 생성부(410)는 상기 제1 내지 제3 식재료 단어와, 소정의 숫자와, 상기 제1 내지 제3 식재료 단어 각각에 대응하는 식재료 단어별 계량 단위값('g','대','개')의 순으로 구성되는 제1 내지 제3 검색 문자열(C1,C2,C3)을 생성하게 된다.
이때, 상기 검색 문자열에 포함되는 숫자는 전술한 상기 압력 센서의 구성을 포함하는 경우, 식재료 정보 저장부(230)에 상기 식재료 이미지와 함께 매칭 저장된 압력값(p1,p2,p3)에 기초하여 결정되되, 소정의 단위로 증가하는 기설정된 복수 개의 기준값 중에서 상기 압력값을 무게로 변환한 무게값과의 차이가 가장 작은 기준값을 상기 문자열의 포함되는 숫자로 결정할 수 있다.
예컨대, 상기 표 2를 참조하면, 상기 압력 센서에 의해 측정된 압력값(p1)에 기초하여 변환된 무게값이 '160(g)'인 식재료 이미지(I1)의 경우, 만약 기설정된 복수 개의 기준값이 '50,100,150,200,…'이라면, 무게값 '160'과 가장 차이가 작은 기준값인 '150'을 상기 문자열에 포함되는 숫자로 결정하게 된다.
한편, 상기 압력값에 기초한 무게값('g')을 제외한 나머지 계량 단위값('대','개')에 대해선 단위별 기준값(1개 또는 1대의 무게값)이 기저장된 상태로 상기 압력 센서에 의해 측정된 압력값에 기초한 무게값을 상기 기준값을 이용해 단위 변환한 결과에 따라 상기 문자열에 포함되는 숫자를 결정하는 것이 바람직하다.
문장 검출부(420)는 검색 문자열 생성부(410)에 의해 생성된 검색 문자열을 웹 공간상에서 검색한 결과에 기초하여 상기 검색 문자열이 포함된 적어도 하나의 웹 페이지 각각의 본문 영역에 포함되는 복수 개의 텍스트 문장에 대응하는 소정의 레시피 문장(Sr)을 검출한다.
여기서, 문장 검출부(420)는 소정의 프로그래밍 언어, 예컨대, 파이썬(Python)을 이용한 쿼리 기반 접근 방식에 따른 크롤링(Crawling) 및 파싱(Parsing)을 통한 빅데이터 수집 기술에 기초한 것으로서, 기설정된 웹 크롤링(Web Crawling) 기법을 통해 상기 문자열에 기초한 웹 검색을 수행한 후 검색된 결과로써 획득되는 웹 페이지로부터 기설정된 파싱(Parsing) 기법에 따라 상기 레시피 문장(Sr)을 검출하는 것일 수 있다.
이 경우, 상기 레시피 문장(Sr)은 상기 크롤링을 통해 검색된 웹 페이지에 대한 html 소스코드 중에서 웹 페이지의 본문 영역에 대응하는 <article> 태그에 기초하여 "<article>"과 "</article>" 사이에 포함된 텍스트를 검출한 것일 수 있다.
확률 산출부(430)는 문장 검출부(420)에 의해 검출된 레시피 문장(Sr)에 대응하는 상기 웹 페이지의 소정 영역 내 텍스트 또는 이미지에 기초한 분석 결과에 따라 레시피 문장(Sr)에 대응하는 레시피 정보의 정확도에 대한 확률값을 산출한다.
여기서, 확률 산출부(430)는, 문장 검출부(420)에 의해 검출된 레시피 문장(Sr)에 기초하여 서로 중복되지 않는 상기 검색 문자열의 개수를 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 식재료 정보와 상기 레시피 정보의 매칭 정확도에 대한 제1 확률값(Pv1)을 산출할 수 있다.
예컨대, 후술할 표 3에 기재된 바와 같이 문장 검출부(420)에서 제1 내지 제4 문자열에 기초한 웹 검색을 수행한 결과로써 첫번째 내지 세번째 웹 페이지가 검색되는 경우, 만약 상기 기준값이 '4(개)'라면, 첫번째 웹 페이지(인덱스 넘버: 1)의 본문 영역에 대응하는 레시피 문장(Sr1)에는 상기 제1 내지 제4 검색 문자열이 모두 포함됨에 따라 제1 확률값(Pv1)은 상기 기준값(4개)에 대한 상기 산출된 개수(4개)의 비율인 '100%'로 산출되고, 두번째 웹 페이지(인덱스 넘버: 2)의 본문 영역에 대응하는 레시피 문장(Sr2)에는 상기 제1 문자열과 상기 제3 내지 제4 문자열이 포함됨에 따라 제1 확률값(Pv1)은 상기 기준값(4개)에 대한 상기 산출된 개수(3개)의 비율인 '75%'로 산출되고, 세번째 웹 페이지(인덱스 넘버: 3)의 본문 영역에 대응하는 레시피 문장(Sr3)에는 상기 제1 내지 제2 문자열이 포함됨에 따라 제1 확률값(Pv1)은 상기 기준값(4개)에 대한 상기 산출된 개수(2개)의 비율인 '50%'로 산출될 수 있다.
여기서, 확률 산출부(430)는, 기설정된 객체 인식 알고리즘에 기초하여 상기 검출된 레시피 문장(Sr)에 대응하는 웹 페이지의 본문 영역에 포함되는 적어도 하나의 이미지에 기초한 소정의 객체를 기저장된 형상 정보 및 명도값과 비교한 결과에 따라 상기 레시피 정보에 기초한 요리 결과로써 완성된 요리 사진의 포함 여부에 따른 정확도에 대한 제2 확률값(Pv2)을 산출할 수 있다.
또한, 확률 산출부(430)는 문장 검출부(420)에 의해 검출된 레시피 문장(Sr)에 기저장된 복수 개의 요리 단어 중 적어도 하나가 포함되는 경우에 한해서 상기 제2 확률값(Pv2)을 산출하는 것일 수 있다.
이때, 상기 기저장된 형상 정보 및 명도값은 최종적으로 완성된 음식이 그릇 또는 플레이트에 담긴 상태의 이미지를 구분하기 위한 것으로서, 다양한 형상의 상기 그릇 또는 플레이트에 대한 이미지로부터 검출되는 객체의 윤곽 정보에 기초한 형상 정보(예컨대, 원형, 사각형 등)와, 상기 검출된 윤곽 정보에 대응하는 객체인 상기 그릇 또는 플레이트 내부에 음식이 담기는 부분과 그렇지 않은 부분 간의 명도 차이에 따른 명도값이 각각 기저장된 것일 수 있다.
여기서, 확률 산출부(430)는 전술한 제1 확률값(Pv1) 및 제2 확률값(Pv2)을 모두 산출한 후 기설정된 가중치를 고려하여 합산한 결과값을 산출할 수도 있다.
이 경우, 제1 확률값(Pv1)에 대응하는 상기 식재료 정보와 상기 레시피 정보의 매칭 정확도와 제2 확률값(Pv2)에 대응하는 상기 레시피 정보에 기초한 요리 결과로써 완성된 요리 사진의 포함 여부에 따른 정확도를 모두 고려할 뿐 아니라, 사용자의 중요도에 따라 가중치를 달리하여 반영할 수 있게 된다.
레시피 정보 획득부(450)는 확률 산출부(430)에 의해 산출된 상기 확률값이 기설정된 임계값 이상인 경우 레시피 문장(Sr)에 대응하는 상기 웹 페이지에 대한 링크 정보(Lw)를 획득한 후 레시피 문장(Sr)과 매칭하여 저장한다.
여기서, 레시피 정보 획득부(450)는 문장 검출부(420)에 의해 검색된 웹 페이지에 대한 링크 정보(Lw)를 빅데이터 수집 기술 기반의 웹 크롤링(Web Crawling) 기법에 따라 획득하고, 상기 획득된 링크 정보(Lw)를 웹 페이지별로 구분할 수 있도록 인덱스 넘버(index number)를 부여하여 리스트화한 후 각각의 상기 웹 페이지에 대응되는 레시피 문장(Sr)과 매칭하여 저장할 수 있다.
아래의 표 3는 검색 문자열 생성부(410)에 의해 생성된 복수 개의 검색 문자열과 이를 이용한 웹 검색 결과 검출되는 레시피 문장(Sr) 및 이에 대응하는 웹 페이지에 대한 링크 정보(Lw)에 기초하여 레시피 정보 획득부(450)에 저장되는 리스트 정보의 일례를 표로 정리하여 나타낸 것이다.
| 레시피 문장 | 링크 정보 | 제1 문자열 | 제2 문자열 | 제3 문자열 | 제4 문자열 | |
| 1 | Sr1 | https://blog.naver.com/def/2216576672xx | 소고기 등심 200g |
양파 1/2개 |
청양고추 1개 |
대파 20g |
| 2 | Sr2 | https://blog.naver.com/ghi/2217129880yy | 소고기 등심 250g |
청양고추 1개 |
대파 1/2개 |
|
| 3 | Sr3 | https://blog.naver.com/abc/2221713339zz | 소고기 등심 250g |
양파 1/2개 |
예컨대, 먼저, 상기 표 3에 기재된 제1 내지 제4 문자열에 대해 설명하면, 상기 제1 문자열은 제1 식재료 단어가 '소고기 등심'인 경우에 상기 제1 식재료 단어('소고기 등심') 및 이에 대응하는 계량 단위값('g')과 소정 숫자('200','250')을 조합한 것이고, 상기 제2 문자열은 제2 식재료 단어가 '양파'인 경우에 상기 제2 식재료 단어('양파') 및 이에 대응하는 계량 단위값('개')과 소정 숫자('1/2')를 조합한 것이고, 상기 제3 문자열은 제3 식재료 단어가 '청양고추'인 경우에 상기 제3 식재료 단어('청양고추') 및 이에 대응하는 계량 단위값('개')과 소정 숫자('1')를 조합한 것이고, 상기 제4 문자열은 제4 식재료 단어가 '대파'인 경우에 상기 제4 식재료 단어('대파') 및 이에 대응하는 계량 단위값('g','개')과 소정 숫자('20','1/2')를 조합한 것일 수 있다.
다음으로, 상기 표 3를 참조하여 상기 제1 내지 제4 문자열에 기초한 검색 결과로써 검색된 복수 개의 웹 페이지 각각에 대응하는 상기 링크 정보 및 상기 레시피 문장에 대해 설명하면, 인덱스 넘버 '1'인 첫번째 웹 페이지의 경우, 첫번째 웹 페이지의 링크 정보인 'https://blog.naver.com/def/2216576672xx'와 해당 웹 페이지의 본문 영역에 대응하는 레시피 문장(Sr1)이 함께 매칭 저장되되, 상기 레시피 문장(Sr1)에는 상기 제1 내지 제4 문자열이 모두 포함되고, 인덱스 넘버 '2'인 두번째 웹 페이지의 경우, 두번째 웹 페이지의 링크 정보인 'https://blog.naver.com/ghi/2217129880yy'와 해당 웹 페이지의 본문 영역에 대응하는 레시피 문장(Sr2)이 함께 매칭 저장되되, 상기 레시피 문장(Sr2)에는 상기 제1 문자열과 상기 제3 내지 제4 문자열이 포함되고, 인덱스 넘버 '3'인 세번째 웹 페이지의 경우, 세번째 웹 페이지의 링크 정보인 'https://blog.naver.com/abc/ 2221713339zz'와 해당 웹 페이지의 본문 영역에 대응하는 레시피 문장(Sr3)이 함께 매칭 저장되되, 상기 레시피 문장(Sr3)에는 상기 제1 내지 제2 문자열이 포함되는 것일 수 있다.
레시피 검색 모듈(400)은 전술한 구성들과 더불어 도 2에 도시된 바와 같이 단어 추출부(440), 재료 문자열 생성부(460) 및 우선순위 부여부(470)를 더 포함할 수 있다.
단어 추출부(440)는 문장 검출부(420)에 의해 검출된 레시피 문장(Sr)으로부터 상기 식재료 정보에 대응되는 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어를 구분하여 추출한다.
이때, 레시피 정보 획득부(450)는 전술한 상기 표 3에 기재된 내용과 더불어 문장 검출부(420)에 의해 검출된 복수 개의 레시피 문장(Sr1,Sr2,Sr3) 각각에 기초하여 단어 추출부(440)에 의해 추출된 복수 개의 식재료 단어(A1,A2,A3) 및 양념 재료 단어(B1,B2)를 구분하여 아래의 표 4와 같이 저장할 수 있다.
| 레시피 문장 | 식재료 단어 | 양념 재료 단어 | |||||
| A1 | A2 | A3 | A4 | B1 | B2 | ||
| 1 | Sr1 | 소고기등심 | 양파 | 청양고추 | 대파 | 소금 | - |
| 2 | Sr2 | 소고기등심 | - | 청양고추 | 대파 | - | - |
| 3 | Sr3 | 소고기등심 | 양파 | - | - | - | 굴소스 |
재료 문자열 생성부(460)는 각각의 레시피 문장(Sr1,Sr2,Sr3)으로부터 추출된 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어를 기설정된 순서에 따라 나열한 재료 문자열을 레시피 정보별로 생성한다.
이때, 상기 순서는 상기 식재료 단어를 먼저 나열한 다음에 상기 양념 재료를 나열하는 것이 바람직하며, 복수 개의 상기 식재료 단어 또는 상기 양념 재료 단어가 추출된 경우엔 자음 순에 기초한 오름차순(ㄱ-ㅎ) 또는 내림차순(ㅎ-ㄱ)의 순서로 나열할 수 있다.
예컨대, 각각의 레시피 문장에 기초한 재료 단어가 상기 표 4에 기재된 내용과 같이 레시피 정보 획득부(450)에 기저장된 상태일 때, 재료 문자열 생성부(460)는 제1 레시피 문장(Sr1)으로부터 추출된 식재료 단어인 '소고기 등심(A1)','양파(A2)','청양고추(A3)','대파(A4)'를 먼저 나열한 다음에 양념 재료 단어인 '소금(B1)'을 나열한 결과에 대응하는 "소고기등심＿양파＿청양고추＿대파＿소금"을 제1 레시피 문장(Sr1)에 대응하는 제1 재료 문자열로 하여 생성하고, 제2 레시피 문장(Sr2)으로부터 추출된 식재료 단어인 '소고기 등심(A1)','청양고추(A3)','대파(A4)'를 나열한 결과에 대응하는 "소고기등심＿청양고추＿대파"를 제2 레시피 문장(Sr2)에 대응하는 제2 재료 문자열로 하여 생성하고, 제3 레시피 문장(Sr3)으로부터 추출된 식재료 단어인 '소고기등심(A1)','양파(A2)','굴소스(B2)'를 나열한 결과에 대응하는 "소고기등심＿양파＿굴소스"를 제3 레시피 문장(Sr3)에 대응하는 제3 재료 문자열로 하여 생성하게 된다.
우선순위 부여부(470)는 문장 검출부(420)에 의해 검출된 복수 개의 레시피 문장(Sr1,Sr2,Sr3)에 대하여 소정의 우선순위를 부여하는 역할을 한다.
여기서, 우선순위 부여부(470)는 각각의 레시피 문장(Sr1,Sr2,Sr3)에 대응하는 웹 페이지의 조회수 정보를 전술한 상기 크롤링 기법을 통해 추출하여 상기 조회수 정보에 대한 값과 상기 산출된 확률값에 기초한 데이터 벡터를 생성한 후 상기 데이터 벡터에 기저장된 가중치 벡터를 적용하여 가중합한 결과에 따른 우선순위를 레시피 정보별로 부여할 수 있다.
이 경우, 우선순위 부여부(470)는 각각의 상기 레시피 문장에 대응하는 우선순위 및 조회수 정보를 레시피 정보별로 구분한 우선순위 데이터를 생성하여 레시피 정보 표시부(600)로 전송할 수도 있다.
사용자 입력부(500)는 소정 시점에서의 상기 식재료 정보에 기초한 레시피 정보를 요청하는 사용자 입력을 수신하기 위한 것이다.
여기서, 사용자 입력부(500)는 냉장고(1) 근처에 있는 사용자로부터 직접 입력받도록 냉장고(1)의 외부에 버튼 또는 터치스크린 형태로 마련되거나, 또는 본 발명에 따른 식재료 기반 최적 레시피 제공 장치(10)와 소정 서버를 경유하여 통신 연결 가능한 사용자의 단말기를 통해 상기 서버와 연결된 소정의 애플리케이션 또는 웹사이트를 통해 입력받도록 마련될 수도 있다.
레시피 정보 표시부(600)는 사용자 입력부(500)에 의해 상기 사용자 입력이 수신된 시점에 대응하여 획득된 상기 식재료 정보에 기초한 레시피 정보의 검색 결과를 화면상의 소정 영역에 표시한다.
여기서, 레시피 정보 표시부(600)는 레시피 정보 획득부(450)에 의해 기저장된 레시피 문장에 대응하는 레시피 정보가 복수 개인 경우에 우선순위 부여부(470)에 의해 부여된 우선순위에 따라 위에서 아래로 정렬하여 표시할 수 있다.
이때, 상기 레시피 정보는 상기 레시피 문장에 대응하는 웹 페이지에 대한 html 소스 중에서 도 3에 도시된 바와 같은 웹 페이지의 제목 정보(T)를 나타내는 <title> 태그에 기초하여 "<title>"과 "</title>" 사이에 포함된 텍스트의 전부 또는 일부를 검출한 것일 수 있다.
예컨대, 도 4를 참조하면, 레시피 검색 모듈(400)에 의해 검색된 레시피 정보가 상기 표 3에 기재된 내용과 같고 우선순위가 제1 레시피 문장(Sr1), 제2 레시피 문장(Sr2), 제3 레시피 문장(Sr3) 순이라고 할 때, 레시피 정보 표시부(600)는 화면의 일 영역에는 식재료 정보 획득 모듈(200)에 의해 획득된 상기 식재료 정보에 대응하는 상기 식재료 단어가 '소고기 등심','양파','청양고추','대파'를 표시하고, 화면의 타 영역에는 우선순위가 가장 높은 제1 레시피 문장(Sr1)에 대응하는 레시피 정보인 '소고기 가지 볶음'을 상단에 배치하고, 우선순위가 가장 낮은 제3 레시피 문장(Sr3)에 대응하는 레시피 정보인 '소고기 굴소스 볶음'을 하단에 배치하며, 중앙에 제2 레시피 문장(Sr2)에 대응하는 레시피 정보인 '소고기 배추 된장국'을 배치하여 표시할 수 있다.
여기서, 레시피 정보 표시부(600)는 레시피 정보 획득부(450)에 의해 기저장된 레시피 문장에 대응하여 재료 문자열 생성부(460)에 의해 생성된 상기 재료 문자열을 레시피 정보별로 구별 가능하도록 화면상의 소정 영역에 표시하되, 상기 식재료 단어와 상기 양념 재료 단어를 구분 가능하도록 서로 상이한 색으로 표시할 수 있다.
예컨대, 도 5를 참조하면, 레시피 검색 모듈(400)에 의해 검색된 레시피 정보가 상기 표 3에 기재된 내용과 같을 때, 레시피 정보 표시부(600)는 "요리명"을 표시하기 위한 화면의 일 영역에는 제1 레시피 문장(Sr1), 제2 레시피 문장(Sr2) 및 제3 레시피 문장(Sr3) 각각에 대응하는 레시피 정보인 '소고기 가지 볶음','소고기 배추 된장국','소고기 굴소스 볶음'을 배치하고, "보유 재료"를 표시하기 위한 화면의 타 영역에는 각각의 레시피 정보에 대응하여 단어 추출부(440)에 의해 추출된 식재료 단어 및 양념 재료 단어로서, 제1 레시피 정보인 '소고기 가지 볶음'에 대한 재료 문자열인 '소고기등심＿양파＿청양고추＿대파＿소금'과, 제2 레시피 정보인 '소고기 배추 된장국'에 대한 재료 문자열인 '소고기등심＿청양고추＿대파'와, 제3 레시피 정보인 '소고기 굴소스 볶음'에 대한 재료 문자열인 '소고기등심＿양파＿굴소스'를 각 레시피 정보에 대응하는 위치에 배치하되, 상기 식재료 단어에 해당하는 '소고기 등심','양파','청양고추','대파'에 각각 대응하는 텍스트(D1)의 색상은 소정의 제1 색으로 표시하고 상기 양념 재료 단어에 해당하는 '소금','굴소스'에 각각 대응하는 텍스트(D2)의 색상은 상기 제1 색과 상이한 제2 색으로 표시할 수 있다.
또한, 레시피 정보 표시부(600)는 레시피 검색 모듈(400)에 의한 검색 결과에 대응하는 복수 개의 레시피 정보 중에서 우선순위 부여부(470)로부터 수신한 상기 우선순위 데이터에 기초하여 상기 우선순위가 가장 높은 레시피 정보와 상기 조회수 정보에 대한 값이 가장 높은 레시피 정보 각각에 대응하는 위치에 기저장된 제1 태그 단어 및 제2 태그 단어를 각각 표시할 수도 있다.
이때, 상기 제1 태그 단어 및 상기 제2 태그 단어는 도 5에 도시된 바와 같이 각각 "<추천>" 및 "<인기>"를 포함하는 것이 바람직하다.
이 경우, 사용자는 레시피 검색 모듈(400)에 의해 검색된 복수 개의 레시피 정보 각각마다 현재 냉장고(1)에 보유 중인 식재료와 양념 재료의 종류 및 개수가 어느 정도 포함되는지를 직관적으로 확인할 수 있어 레시피의 선택 시 신속하고 합리적인 판단을 수행할 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 식재료 기반 최적 레시피 제공 장치는 도 2에 도시된 바와 같이 딥러닝 기반의 이미지 분류가 불가능한 식재료 이미지에 대한 식재료 정보를 획득하기 위한 재료 입력 모듈(300)을 더 포함할 수 있다.
재료 입력 모듈(300)은 식재료 이미지(If)가 식재료 분류부(220)에 의해 상기 복수 개의 식재료 단어 중 어느 것으로도 분류되지 않는 경우, 식재료 이미지(If)에 포함된 객체의 양념 재료 여부를 판단한 결과에 기초하여 사용자로부터 상기 식재료 이미지에 대한 소정의 입력값을 입력받기 위한 것이다.
이 경우, 식재료 정보 저장부(230)는 재료 입력 모듈(300)에 의해 사용자로부터 입력받은 상기 식재료 이미지에 대한 상기 입력값을 상기 입력값이 입력된 시점의 식재료 정보로 하여 저장하되, 상기 식재료 정보를 상기 입력값에 기초하여 식재료와 양념 재료 중 어느 하나로 구분하여 저장할 수 있다.
여기서, 재료 입력 모듈(300)은 도 2에 도시된 바와 같이 판단부(310) 및 UI 생성부(320), 트리거 신호 발생부(330), 표시부(340) 및 재료 입력부(350)를 포함하여 구성될 수 있다.
판단부(310)는 딥러닝 기반의 이미지 분류가 불가능한 식재료 이미지(If)에 기초한 객체 분석을 통해 상기 객체에 대응하는 식재료의 양념 재료 여부를 판단하는 역할을 한다.
구체적으로, 판단부(310)는 상기 식재료 이미지가 복수 개의 상기 식재료 단어 중 어느 것으로도 분류되지 않는 경우, 상기 식재료 이미지에 기초한 객체에 대한 크기, 형상 및 색상 중 적어도 하나의 객체 정보에 따라 상기 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단할 수 있다.
이는 일반적으로 참기름병이나 양념통 등과 같이 별도의 보관용기에 보관하는 양념 재료의 특성을 고려한 것으로, 다양한 형상의 보관용기에 대한 이미지로부터 검출되는 객체의 윤곽 정보에 기초한 크기, 형상 및 색상 정보가 기저장됨에 따라 이를 통해 판단부(310)는 상기 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단하게 된다.
예컨대, 도 6을 참조하면, 냉장고(1)의 저장실(3)이 제1 내지 제4 구역으로 구획되어 각 구역에 제1 식재료(참기름병), 제2 식재료(밀폐된 봉지), 제3 식재료(사과) 및 제4 식재료(당근)이 보관되는 경우, 만일 식재료 단어 '사과' 및 '당근'이 기저장된 상태라면, 제3 식재료 및 제4 식재료에 대한 식재료 이미지(f3,f4)는 식재료 분류부(220)에 의해 해당 식재료 단어에 대응하는 것으로 분류되는 반면, 어느 것으로도 분류되지 못한 제1 식재료 및 제3 식재료에 대한 식재료 이미지(f1,f2)는 판단부(310)에 의한 양념 재료 여부의 판단 결과, 제1 식재료(참기름병)에 대한 식재료 이미지(f1)은 기저장된 용기 형상에 기초하여 양념 재료로 판단되고, 제2 식재료(밀폐된 봉지)에 대한 식재료 이미지(f2)는 양념 재료가 아닌 것으로 판단되게 된다.
UI 생성부(320)는 상기 객체의 양념 재료 여부에 대한 판단 결과에 기초하여 사용자로부터 상기 식재료 이미지에 대한 소정의 입력값을 입력받기 위한 UI를 생성한다.
구체적으로, UI 생성부(320)는, 상기 객체가 양념 재료로 판단되는 경우엔 사용자로부터 기저장된 복수 개의 상기 양념 재료 단어 중 어느 하나에 대한 선택값인 제1 입력값을 입력받기 위한 제1 입력 UI를 생성하고, 상기 객체가 양념 재료로 판단되지 않는 경우엔 사용자로부터 상기 식재료 이미지에 대응하는 소정의 재료 단어값과 상기 재료 단어값이 식재료 단어와 양념 재료 단어 중 어느 구분에 속하는지에 대한 구분 정보를 포함하는 제2 입력값을 입력받기 위한 제2 입력 UI를 생성하는 것일 수 있다.
예컨대, 도 6 내지 도 8을 참조하면, 상기 제1 입력 UI는 화면 일 영역에 판단부(310)에 의해 양념 재료로 판단된 제1 식재료(참기름병)에 대한 식재료 이미지(f1)를 표시하고 화면의 타 영역에 기저장된 복수 개의 양념 재료 단어를 선택 입력 가능하도록 체크 박스 형태로 표시하는 것이고, 상기 제2 입력 UI는 화면 일 영역에 판단부(310)에 의해 양념 재료가 아닌 것으로 판단된 제2 식재료(밀폐된 봉지)에 대한 식재료 이미지(f2)를 표시하고 화면의 타 영역에 식재료 이미지(f2)의 구분 정보를 선택 입력 가능한 체크 박스 형태로 표시하며 일반적인 키보드를 구성하는 복수 개의 키 각각의 입력이 가능한 키보드 형식의 터치 패드 입력창과 상기 터치 패드 입력창에 입력된 키값을 조합한 문자열을 표시하는 표시창을 함께 표시하는 것일 수 있다.
트리거 신호 발생부(330)는 사용자에 의해 냉장고(1)의 도어가 개폐됨에 따른 소정의 트리거 신호를 발생하는 역할을 한다.
표시부(340)는 트리거 신호 발생부(330)에 의해 상기 트리거 신호가 발생되는 경우, 판단부(310)에 의한 상기 객체의 양념 재료 여부에 대한 판단 결과에 기초하여 상기 트리거 신호의 발생 시점으로부터 기설정된 기준시간 이내에 UI 생성부(320)에 의해 생성된 상기 제1 입력 UI와 상기 제2 입력 UI 중 어느 하나를 화면상의 소정 영역에 표시할 수 있다.
재료 입력부(350)는 표시부(340)의 화면에 표시되는 상기 제1 입력 UI와 상기 제2 입력 UI 중 어느 하나에 대응하여 사용자로부터 상기 제1 입력값 또는 상기 제2 입력값을 입력받는 역할을 한다.
이 경우, 레시피 검색 모듈(400)의 확률 산출부(430)는 문장 검출부(420)에 의해 검출된 레시피 문장(Sr)에 기초하여 상기 제1 입력값 또는 상기 제2 입력값에 대응하는 적어도 하나 이상의 상기 양념 재료 단어의 개수를 중복 없이 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 식재료 정보 중에서 양념 재료와 상기 레시피 정보의 매칭 정확도에 대한 제3 확률값(Pv3)을 산출하는 것도 가능하다.
여기서, 확률 산출부(430)는 마찬가지로 제1 확률값(Pv1), 제2 확률값(Pv2) 및 제3 확률값(Pv3)을 모두 산출한 후 기설정된 가중치를 고려하여 합산한 결과값을 산출할 수도 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.
또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 냉장고 3: 저장실
10: 최적 레시피 제공 장치 100: 레시피 단어 DB
200: 식재료 정보 획득 모듈 210: 카메라부
220: 식재료 분류부 230: 식재료 정보 저장부
300: 재료 입력 모듈 310: 판단부
320: UI 생성부 330: 트리거 신호 발생부
340: 표시부 350: 재료 입력부
400: 레시피 검색 모듈 410: 검색 문자열 생성부
420: 문장 검출부 430: 확률 산출부
440: 단어 추출부 450: 레시피 정보 획득부
460: 재료 문자열 생성부 470: 우선순위 부여부
500: 사용자 입력부 600: 레시피 정보 표시부
10: 최적 레시피 제공 장치 100: 레시피 단어 DB
200: 식재료 정보 획득 모듈 210: 카메라부
220: 식재료 분류부 230: 식재료 정보 저장부
300: 재료 입력 모듈 310: 판단부
320: UI 생성부 330: 트리거 신호 발생부
340: 표시부 350: 재료 입력부
400: 레시피 검색 모듈 410: 검색 문자열 생성부
420: 문장 검출부 430: 확률 산출부
440: 단어 추출부 450: 레시피 정보 획득부
460: 재료 문자열 생성부 470: 우선순위 부여부
500: 사용자 입력부 600: 레시피 정보 표시부
Claims (11)
- 각각의 식재료 항목별로 대응되는 적어도 하나의 식재료 단어 및 이에 기초한 계량 단위값과, 소정의 조리 방식에 기초한 복수 개의 요리 단어와, 상기 복수 개의 요리 단어 각각에 대응되는 요리에 사용되는 적어도 하나 이상의 양념 재료 단어를 각각 구분하여 저장하는 레시피 단어 DB;
냉장고의 저장실에 보관되는 소정의 식재료에 대한 식재료 이미지를 기설정된 학습 분류 모델에 기초하여 기저장된 복수 개의 상기 식재료 단어 중 적어도 하나로 분류한 결과에 따른 식재료 정보를 획득하는 식재료 정보 획득 모듈;
상기 획득된 식재료 정보에 대응되는 상기 식재료 단어와 이에 대응하여 기저장된 상기 계량 단위값의 조합으로 구성되는 적어도 하나의 검색 문자열을 생성하는 검색 문자열 생성부;
상기 생성된 검색 문자열을 웹 공간상에서 검색한 결과에 기초하여 상기 검색 문자열이 포함된 적어도 하나의 웹 페이지 각각의 본문 영역에 포함되는 복수 개의 텍스트 문장에 대응하는 소정의 레시피 문장을 검출하는 문장 검출부;
상기 웹 페이지의 소정 영역 내 텍스트 또는 이미지에 기초한 분석 결과에 따라 상기 레시피 문장에 대응하는 레시피 정보의 정확도에 대한 확률값을 산출하는 확률 산출부; 및
상기 확률값이 기설정된 임계값 이상인 경우 상기 레시피 문장에 대응하는 상기 웹 페이지에 대한 링크 정보를 획득한 후 상기 레시피 문장과 매칭하여 저장하는 레시피 정보 획득부;를 포함하며,
상기 확률 산출부는,
상기 검출된 레시피 문장에 기초하여 서로 중복되지 않는 상기 검색 문자열의 개수를 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 식재료 정보와 상기 레시피 정보의 매칭 정확도에 대한 제1 확률값을 산출하고,
상기 검출된 레시피 문장에 기저장된 복수 개의 요리 단어 중 적어도 하나가 포함되는 경우, 기설정된 객체 인식 알고리즘에 기초하여 상기 검출된 레시피 문장에 대응하는 웹 페이지의 본문 영역에 포함되는 적어도 하나의 이미지에 기초한 소정의 객체를 기저장된 형상 정보 및 명도값과 비교한 결과에 따라 상기 레시피 정보에 기초하여 완성된 요리 사진의 포함 여부에 따른 정확도에 대한 제2 확률값을 산출한 후, 사용자의 중요도에 따라 기설정된 가중치를 고려하여 상기 제1 확률값과 상기 제2 확률값을 합산한 결과에 대응하는 최종 확률값을 산출하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 식재료 정보 획득 모듈은,
소정의 식재료를 보관하는 냉장고의 저장실을 촬영한 저장실 영상을 획득하는 카메라부;
상기 저장실 영상에 포함된 적어도 하나의 식재료에 대응하는 식재료 이미지를 기저장된 복수 개의 상기 식재료 단어에 대응하는 이미지에 대한 이미지 학습을 수행 가능하도록 기설정된 딥러닝 기반의 학습 분류 모델에 적용함에 따라 복수 개의 상기 식재료 단어 중 적어도 하나로 분류하는 식재료 분류부; 및
소정 시점일 때의 상기 식재료 이미지에 대한 분류값을 획득하여 해당 시점의 식재료 정보로 하여 저장하되, 기설정된 주기마다 상기 식재료 정보를 갱신하는 식재료 정보 저장부;를 포함하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제4항에 있어서,
상기 식재료 이미지가 복수 개의 상기 식재료 단어 중 어느 것으로도 분류되지 않는 경우, 상기 식재료 이미지에 포함된 객체의 양념 재료 여부를 판단한 결과에 기초하여 사용자로부터 상기 식재료 이미지에 대한 소정의 입력값을 입력받도록 하는 재료 입력 모듈;을 더 포함하며,
상기 식재료 정보 저장부는,
상기 입력값을 상기 식재료 이미지에 대한 상기 입력값이 입력된 시점의 식재료 정보로 하여 저장하되, 상기 식재료 정보를 상기 입력값에 기초하여 식재료와 양념 재료 중 어느 하나로 구분하여 저장하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제5항에 있어서,
상기 재료 입력 모듈은,
상기 식재료 이미지가 복수 개의 상기 식재료 단어 중 어느 것으로도 분류되지 않는 경우, 상기 식재료 이미지에 기초한 객체에 대한 크기, 형상 및 색상 중 적어도 하나의 객체 정보에 따라 상기 식재료 이미지에 기초한 객체의 양념 재료 여부를 판단하는 판단부; 및
상기 객체가 양념 재료로 판단되는 경우엔 사용자로부터 기저장된 복수 개의 상기 양념 재료 단어 중 어느 하나에 대한 선택값인 제1 입력값을 입력받기 위한 제1 입력 UI를 생성하고,
상기 객체가 양념 재료로 판단되지 않는 경우엔 사용자로부터 상기 식재료 이미지에 대응하는 소정의 재료 단어값과 상기 재료 단어값이 식재료 단어와 양념 재료 단어 중 어느 구분에 속하는지에 대한 구분 정보를 포함하는 제2 입력값을 입력받기 위한 제2 입력 UI를 생성하는 UI 생성부;를 포함하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제6항에 있어서,
상기 확률 산출부는,
상기 검출된 레시피 문장에 기초하여 상기 제1 입력값 또는 상기 제2 입력값에 대응하는 적어도 하나 이상의 상기 양념 재료 단어의 개수를 중복 없이 산출한 후 이를 기설정된 기준값과 비교한 결과에 따라 상기 제1 확률값을 산출하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제6항에 있어서,
상기 재료 입력 모듈은,
사용자에 의해 상기 냉장고의 도어가 개폐됨에 따른 소정의 트리거 신호를 발생하는 트리거 신호 발생부;
상기 트리거 신호가 발생되는 경우, 상기 객체의 양념 재료 여부에 대한 판단 결과에 기초하여 상기 트리거 신호의 발생 시점으로부터 기설정된 기준시간 이내에 상기 제1 입력 UI와 상기 제2 입력 UI 중 어느 하나를 화면상의 소정 영역에 표시하는 표시부; 및
상기 표시부의 화면에 표시되는 상기 제1 입력 UI와 상기 제2 입력 UI 중 어느 하나에 대응하여 사용자로부터 상기 제1 입력값 또는 상기 제2 입력값을 입력받는 재료 입력부;를 더 포함하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제5항에 있어서,
상기 레시피 검색 모듈은,
상기 레시피 문장으로부터 상기 식재료 정보에 대응되는 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어를 구분하여 추출하는 단어 추출부; 및
각각의 상기 레시피 문장으로부터 추출된 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어를 기설정된 순서에 따라 나열한 재료 문자열을 레시피 정보별로 생성하는 재료 문자열 생성부;를 더 포함하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제9항에 있어서,
상기 확률 산출부는,
각각의 상기 레시피 문장에 대응하여 추출된 적어도 하나 이상의 상기 식재료 단어 및 상기 양념 재료 단어의 개수를 중복 없이 산출한 후 이를 기설정된 기준값과 비교한 결과에 기초하여 상기 제1 확률값 및 이에 따른 상기 최종 확률값을 산출하는 것이며,
상기 레시피 검색 모듈은,
각각의 상기 레시피 문장에 대응하는 웹 페이지의 조회수 정보를 추출하여 상기 조회수 정보에 대한 값과 상기 최종 확률값에 기초한 데이터 벡터를 생성한 후 상기 데이터 벡터에 기저장된 가중치 벡터를 적용하여 가중합한 결과에 따른 우선순위를 레시피 정보별로 부여하는 우선순위 부여부;를 더 포함하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치. - 제10항에 있어서,
소정 시점에서의 상기 식재료 정보에 기초한 레시피 정보를 요청하는 사용자 입력을 수신하는 사용자 입력부; 및
상기 사용자 입력이 수신된 시점에 대응하여 획득된 상기 식재료 정보에 기초한 레시피 정보의 검색 결과로서, 검색된 각각의 상기 레시피 정보에 기초한 상기 레시피 문장에 대응하는 상기 재료 문자열을 레시피 정보별로 상기 부여된 우선순위에 따라 화면상의 소정 영역에 표시하되, 상기 식재료 단어와 상기 양념 재료 단어를 구분 가능하도록 서로 상이한 색으로 표시하는 레시피 정보 표시부;를 더 포함하는 것을 특징으로 하는 식재료 기반 최적 레시피 제공 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210006672A KR102313279B1 (ko) | 2021-01-18 | 2021-01-18 | 식재료 기반 최적 레시피 제공 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210006672A KR102313279B1 (ko) | 2021-01-18 | 2021-01-18 | 식재료 기반 최적 레시피 제공 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102313279B1 true KR102313279B1 (ko) | 2021-10-14 |
Family
ID=78151161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210006672A KR102313279B1 (ko) | 2021-01-18 | 2021-01-18 | 식재료 기반 최적 레시피 제공 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102313279B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114990263A (zh) * | 2022-05-17 | 2022-09-02 | 珠海格力电器股份有限公司 | 烹饪设备的发酵控制方法、装置、烹饪设备和存储介质 |
| WO2024043503A1 (ko) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | 조리 기기 및 조리 기기의 제어 방법 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110035380A (ko) * | 2009-09-30 | 2011-04-06 | 주식회사 케이티 | 네트워크 기반의 조리법 정보 제공 시스템 및 방법 |
| KR20120080084A (ko) * | 2011-01-06 | 2012-07-16 | 엘지전자 주식회사 | 컴포넌트 제어를 위한 원격 제어기 |
| KR101754372B1 (ko) | 2016-05-26 | 2017-07-19 | 주식회사 원더풀플랫폼 | 식재료 관리 시스템 및 식재료 관리 방법 |
| KR20170092364A (ko) * | 2016-02-03 | 2017-08-11 | 주식회사 원더풀플랫폼 | 레시피 제공 방법 및 이를 실행하는 서버 |
| KR20190093814A (ko) * | 2018-01-19 | 2019-08-12 | 엘지전자 주식회사 | 추천 레시피에 따른 조리 지원이 가능한 주방 가전 시스템 및 그 지원 방법 |
| KR102011836B1 (ko) | 2013-01-17 | 2019-08-19 | 엘지전자 주식회사 | 식재료 안내 방법 |
| KR20190121064A (ko) * | 2018-04-17 | 2019-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어 방법 |
| KR20200046751A (ko) * | 2018-10-25 | 2020-05-07 | 삼성전자주식회사 | 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 |
-
2021
- 2021-01-18 KR KR1020210006672A patent/KR102313279B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110035380A (ko) * | 2009-09-30 | 2011-04-06 | 주식회사 케이티 | 네트워크 기반의 조리법 정보 제공 시스템 및 방법 |
| KR20120080084A (ko) * | 2011-01-06 | 2012-07-16 | 엘지전자 주식회사 | 컴포넌트 제어를 위한 원격 제어기 |
| KR102011836B1 (ko) | 2013-01-17 | 2019-08-19 | 엘지전자 주식회사 | 식재료 안내 방법 |
| KR20170092364A (ko) * | 2016-02-03 | 2017-08-11 | 주식회사 원더풀플랫폼 | 레시피 제공 방법 및 이를 실행하는 서버 |
| KR101754372B1 (ko) | 2016-05-26 | 2017-07-19 | 주식회사 원더풀플랫폼 | 식재료 관리 시스템 및 식재료 관리 방법 |
| KR20190093814A (ko) * | 2018-01-19 | 2019-08-12 | 엘지전자 주식회사 | 추천 레시피에 따른 조리 지원이 가능한 주방 가전 시스템 및 그 지원 방법 |
| KR20190121064A (ko) * | 2018-04-17 | 2019-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어 방법 |
| KR20200046751A (ko) * | 2018-10-25 | 2020-05-07 | 삼성전자주식회사 | 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114990263A (zh) * | 2022-05-17 | 2022-09-02 | 珠海格力电器股份有限公司 | 烹饪设备的发酵控制方法、装置、烹饪设备和存储介质 |
| WO2024043503A1 (ko) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | 조리 기기 및 조리 기기의 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102313279B1 (ko) | 식재료 기반 최적 레시피 제공 장치 | |
| US9977980B2 (en) | Food logging from images | |
| JP7077506B2 (ja) | 食材識別に基づく食品の調理方法及びシステム | |
| Chen et al. | Cross-modal recipe retrieval with rich food attributes | |
| Chen et al. | Deep-based ingredient recognition for cooking recipe retrieval | |
| US11366437B2 (en) | System and method for optimal food cooking or heating operations | |
| CN110083630A (zh) | 一种根据菜谱信息检索对应食材的产品信息的方法 | |
| WO2017045516A1 (zh) | 方便菜与数字菜谱的匹配方法、服务器及终端 | |
| CN110782971A (zh) | 一种膳食推荐方法及系统 | |
| KR101614642B1 (ko) | 반구조화 데이터의 분석 및 분류 방법 | |
| US20120179665A1 (en) | Health monitoring system | |
| CN107391531A (zh) | 一种菜品推荐方法和装置 | |
| US20220273139A1 (en) | System and Method for Optimal Food Cooking or Heating Operations | |
| TW201901598A (zh) | 飲食資訊建議系統及其飲食資訊建議方法 | |
| CN110851571A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| Xie et al. | Learning joint embedding with modality alignments for cross-modal retrieval of recipes and food images | |
| Hanai et al. | Clustering for closely similar recipes to extract spam recipes in user-generated recipe sites | |
| Iftene et al. | Eye and voice control for an augmented reality cooking experience | |
| Kumar et al. | Analysis of different techniques used to reduce the food waste inside the refrigerator | |
| KR20220153044A (ko) | 메뉴 생성 시스템 | |
| Zhao et al. | A novel hyperspectral feature-extraction algorithm based on waveform resolution for raisin classification | |
| Blevis et al. | Design inspirations from the wisdom of years | |
| Li et al. | Picture-to-amount (pita): Predicting relative ingredient amounts from food images | |
| CN116340383A (zh) | 基于查询与结果相关性的搜索方法、装置、介质及设备 | |
| KR102110766B1 (ko) | 음식 적합도에 기초한 요리 정보 제공 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |