KR20150045683A - 맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 - Google Patents
맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 Download PDFInfo
- Publication number
- KR20150045683A KR20150045683A KR20130125256A KR20130125256A KR20150045683A KR 20150045683 A KR20150045683 A KR 20150045683A KR 20130125256 A KR20130125256 A KR 20130125256A KR 20130125256 A KR20130125256 A KR 20130125256A KR 20150045683 A KR20150045683 A KR 20150045683A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- user
- information
- voice
- data
- Prior art date
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 383
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 239000004615 ingredient Substances 0.000 claims description 90
- 235000012041 food component Nutrition 0.000 claims description 21
- 239000005417 food ingredient Substances 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 11
- 235000005911 diet Nutrition 0.000 abstract description 27
- 230000008569 process Effects 0.000 abstract description 14
- 230000037213 diet Effects 0.000 abstract description 4
- 235000012054 meals Nutrition 0.000 description 31
- 239000003795 chemical substances by application Substances 0.000 description 28
- 230000000378 dietary effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 22
- 239000000463 material Substances 0.000 description 16
- 235000015927 pasta Nutrition 0.000 description 16
- 235000006694 eating habits Nutrition 0.000 description 13
- 238000003058 natural language processing Methods 0.000 description 12
- 235000015278 beef Nutrition 0.000 description 11
- 238000010411 cooking Methods 0.000 description 10
- 235000013372 meat Nutrition 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 241000287828 Gallus gallus Species 0.000 description 8
- 230000009471 action Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 235000008242 dietary patterns Nutrition 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 235000013311 vegetables Nutrition 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 240000007124 Brassica oleracea Species 0.000 description 3
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 3
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 3
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 3
- 235000019604 hot taste sensations Nutrition 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 235000019688 fish Nutrition 0.000 description 2
- 235000015219 food category Nutrition 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 240000008574 Capsicum frutescens Species 0.000 description 1
- 235000002568 Capsicum frutescens Nutrition 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 244000088415 Raphanus sativus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 235000019658 bitter taste Nutrition 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000005686 eating Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 235000020803 food preference Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002075 main ingredient Substances 0.000 description 1
- 235000015205 orange juice Nutrition 0.000 description 1
- 235000014594 pastries Nutrition 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 235000015067 sauces Nutrition 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 235000019614 sour taste Nutrition 0.000 description 1
- 235000019605 sweet taste sensations Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
- G06K7/10297—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves arrangements for handling protocols designed for non-contact record carriers such as RFIDs NFCs, e.g. ISO/IEC 14443 and 18092
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Toxicology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
맞춤형 식생활 서비스 제공 방법을 개시한다. 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 방법은, 음식에 부착된 무선 주파수 식별 태그를 감지하여 데이터를 수신하는 단계와, 상기 수신된 데이터를 처리하여 저장하는 단계와, 상기 저장된 데이터를 분석하여 모델링 하는 단계와, 상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 제공하는 단계를 포함한다.
Description
본 발명은 식생활 서비스 제공 기술에 대한 것으로, 좀더 상세하게는 RFID 기술을 활용한 식생활 서비스 제공 기술에 대한 것이다.
최근 인터넷 등 IT 기술을 접목한 가전 및 사용자 기기의 스마트화가 가속되고 있으며, 다양하고 지능적인 서비스가 가능해지고 있다. 또한, RFID 및 센서 네트워크 기술의 발달로 사용자 기기들의 다양한 정보 수집이 용이해지면서 이를 활용한 사용자 맞춤형 서비스의 제공이 요구되고 있다. 한편, 사용자 기기의 고기능화, 스마트화에 따라 기기 사용의 용이성이 중요해졌으며, 이를 위해 NUI (Natural User Interaction) 기술이 발전하고 있다.
그런데, 가정에서도 RFID를 식품에 부착하여 관리한다면, 매우 편리하게 관리할 수 있을 뿐 아니라, 이러한 관리 정보를 냉장고 등을 통해 사용자에게 제공할 필요도 있다.
특히, 종래의 식생활 서비스에서는 냉장고 시스템 상에서의 RFID 기술을 활용한 식품/식재료 목록 관리 등에만 초점이 되고 있으므로, 사용자 식생활 패턴을 고려한 맞춤형 서비스 제공을 고려할 필요가 있다.
본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 본 발명의 목적은, 스마트 냉장고와 스마트 폰을 활용하여, 스마트 냉장고 내 식품에 대한 RFID 태깅 방법을 제공하여 식품에 대한 트래킹(Tracking)을 하고 스마트 냉장고나 스마트 폰에서 사용자의 레시피 검색 및 선택에 대해 트래킹(Tracking)하여, 사용자의 식생활 패턴을 파악하고 이를 기반으로 식품의 관리, 구매 및 요리 등 사용자 맞춤형 서비스를 제공할 수 있는 맞춤형 식생활 서비스 제공 방법 및 그 장치를 제공하기 위함이다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 방법은, 음식에 부착된 무선 주파수 식별 태그를 감지하여 데이터를 수신하는 단계와, 상기 수신된 데이터를 처리하여 저장하는 단계와, 상기 저장된 데이터를 분석하여 모델링 하는 단계와, 상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 제공하는 단계를 포함한다.
또한, 상기 맞춤형 식생활 서비스 제공 방법은, 상기 분석 및 모델링 결과에 기초하여 음식 구매 추천 정보를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 분석 및 모델링 결과에 기초하여 레시피 추천 정보를 제공하는 단계를 더 포함할 수 있다.
이때, 상기 무선 주파수 식별 태그는, RFID(Radio-Frequency Identification) 태그일 수 있다.
또한, 상기 맞춤형 식생활 서비스 제공 방법은, 사용자 음성을 수집하는 단계;를 더 포함하고, 상기 수신된 데이터를 처리하여 저장하는 단계는, 상기 수집된 사용자 음성을 인식하여 상기 수신된 데이터에 태깅하여 저장할 수 있다.
또한, 상기 모델링 하는 단계는, 상기 저장된 데이터를 분석하여 식품 및 식재료의 구매 및 소비 패턴을 모델링할 수 있다.
상기 음식 관리 정보를 제공하는 단계는, 식품/식재료의 유무 정보 및 식품/식재료의 유통기한 정보 중 적어도 하나를 제공하는 것일 수 있다.
상기 음식 구매 추천 정보를 제공하는 단계는, 상기 분석 및 모델링 결과에 기초하여 쇼핑 리스트를 제공하는 것일 수 있다.
상기 맞춤형 식생활 서비스 제공 방법은, 사용자의 발화 음성을 수집하는 단계와, 상기 수집된 사용자 발화 음성을 인식하는 단계와, 상기 인식된 사용자 발화 음성에 대응되는 음식 또는 식재료에 대한 정보를 상기저장된 데이터에서 검색하는 단계와, 상기 검색된 음식 또는 식재료에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
또한, 사용자 인터페이스를 통해 사용자 입력을 수신하는 단계와, 상기 수신된 사용자 입력에 대응되는 음식 또는 식재료에 대한 정보를 상기 저장된 데이터에서 검색하는 단계와, 상기 검색된 음식 또는 식재료에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치는 디스플레이부와, 음식에 부착된 무선 주파수 식별 태그를 감지하여 데이터를 수신하는 안테나부와, 상기 수신된 데이터를 처리하여 저장하는 저장부와, 상기 저장된 데이터를 분석하여 모델링 하고, 상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 디스플레이 하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
이때, 상기 제어부는, 상기 분석 및 모델링 결과에 기초하여 음식 구매 추천 정보를 디스플레이 하도록상기 디스플레이부를 제어할 수 있다.
이때, 상기 분석 및 모델링 결과에 기초하여 레시피 추천 정보를 디스플레이 하도록 상기 디스플레이부를 제어할 수 있다.
상기 무선 주파수 식별 태그는, RFID(Radio-Frequency Identification) 태그일 수 있다.
또한, 상기 맞춤형 식생활 서비스 제공 장치는, 사용자 음성을 수집하는 음성 수집부를 더 포함하고, 상기 제어부는, 상기 수집된 사용자 음성을 인식하여 상기 수신된 데이터에 태깅하여 저장할 수 있다.
상기 제어부는, 상기 저장된 데이터를 분석하여 식품 및 식재료의 구매 및 소비 패턴을 모델링할 수 있다.
상기 제어부는, 식품/식재료의 유무 정보 및 식품/식재료의 유통기한 정보 중 적어도 하나를 디스플레이 하도록 상기 디스플레이부를 제어할 수 있다.
상기 제어부는, 상기 분석 및 모델링 결과에 기초하여 쇼핑 리스트를 디스플레이 하도록 상기 디스플레이부를 제어할 수 있다.
상기 맞춤형 식생활 서비스 제공 장치는, 사용자의 발화 음성을 수집하는 음성 수집부를 더 포함하고, 상기 제어부는, 상기 수집된 사용자 발화 음성을 인식하고, 상기 인식된 사용자 발화 음성에 대응되는 음식 또는 식재료에 대한 정보를 상기 저장된 데이터에서 검색하여, 상기 검색된 음식 또는 식재료에 대한 정보를 디스플레이 하도록 상기 디스플레이부를 제어할 수 있다.
또한, 사용자 인터페이스를 통해 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 수신된 사용자 입력에 대응되는 음식 또는 식재료에 대한 정보를 상기 저장된 데이터에서 검색하고, 상기 검색된 음식 또는 식재료에 대한 정보를 디스플레이 하도록 상기 디스플레이부를 제어할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 본 발명의 목적은, 스마트 냉장고와 스마트 폰을 활용하여, 스마트 냉장고 내 식품에 대한 RFID 태깅 방법을 제공하여 식품에 대한 트래킹(Tracking)을 하고 스마트 냉장고나 스마트 폰에서 사용자의 레시피 검색 및 선택에 대해 트래킹(Tracking)하여, 사용자의 식생활 패턴을 파악하고 이를 기반으로 식품의 관리, 구매 및 요리 등 사용자 맞춤형 서비스를 제공할 수 있는 맞춤형 식생활 서비스 제공 방법 및 그 장치를 제공하기 위함이다.
도 1은 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 시스템의 개념도,
도 2는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 다른 실시 예에 따른 맞춤형 식생활 서비스 제공 장치의 구성을 도시한 블록도,
도 4는 사용자가 RFID 태그를 구매한 식품/식재료에 부착하고 냉장고에 투입하는 과정을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 방법의 흐름도,
도 6은 본 발명의 일 실시 예에 따른 제로 스탭 태깅을 도시한 흐름도,
도 7은 본 발명의 다른 실시 예에 따른 원 스탭 태깅을 도시한 흐름도,
도 8은 본 발명의 또 다른 실시 예에 따른 쓰리 스탭 태깅을 도시한 흐름도,
도 9는 발명의 또 다른 실시 예에 따른 쓰리 스탭 태깅을 도시한 흐름도,
도 10은 데이터 전 처리부의 블록도,
도 11은 본 발명의 일 실시 예에 따른 데이터 정보화부의 구성을 도시한 블록도,
도 12는 식품/식재료 관리를 위한 데이터 구성의 예를 나타낸 표,
도 13은 데이터 수집부의 구성을 도시한 블록도,
도 14는 사용자 식생활 패턴 기반 쇼핑 도우미 서비스의 예를 도시한 도면,
도 15는 사용자 식생활 모델 기반 개인화된 레시피 검색 서비스의 예를 도시한 도면,
도 16은 제어부의 구성을 도시한 블록도,
도 17은 사용자가 음성입력으로 구매한 식품/식재료에 대해 정보를 태깅하는 예를 도시한 도면,
도 18은 음성으로 보관된 식품/식재료를 검색하는 예를 도시한 도면,
도 19는 음성으로 레시피 검색을 수행하는 예를 도시한 도면, 그리고,
도 20은 음성기반으로 냉장고 메뉴 기능을 실행하는 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 다른 실시 예에 따른 맞춤형 식생활 서비스 제공 장치의 구성을 도시한 블록도,
도 4는 사용자가 RFID 태그를 구매한 식품/식재료에 부착하고 냉장고에 투입하는 과정을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 방법의 흐름도,
도 6은 본 발명의 일 실시 예에 따른 제로 스탭 태깅을 도시한 흐름도,
도 7은 본 발명의 다른 실시 예에 따른 원 스탭 태깅을 도시한 흐름도,
도 8은 본 발명의 또 다른 실시 예에 따른 쓰리 스탭 태깅을 도시한 흐름도,
도 9는 발명의 또 다른 실시 예에 따른 쓰리 스탭 태깅을 도시한 흐름도,
도 10은 데이터 전 처리부의 블록도,
도 11은 본 발명의 일 실시 예에 따른 데이터 정보화부의 구성을 도시한 블록도,
도 12는 식품/식재료 관리를 위한 데이터 구성의 예를 나타낸 표,
도 13은 데이터 수집부의 구성을 도시한 블록도,
도 14는 사용자 식생활 패턴 기반 쇼핑 도우미 서비스의 예를 도시한 도면,
도 15는 사용자 식생활 모델 기반 개인화된 레시피 검색 서비스의 예를 도시한 도면,
도 16은 제어부의 구성을 도시한 블록도,
도 17은 사용자가 음성입력으로 구매한 식품/식재료에 대해 정보를 태깅하는 예를 도시한 도면,
도 18은 음성으로 보관된 식품/식재료를 검색하는 예를 도시한 도면,
도 19는 음성으로 레시피 검색을 수행하는 예를 도시한 도면, 그리고,
도 20은 음성기반으로 냉장고 메뉴 기능을 실행하는 예를 도시한 도면이다.
이하에서는 첨부된 도면을 참조하여, 본 발명의 다양한 실시 예를 설명한다.
도 1은 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 시스템의 개념도이다.
도 1을 참조하면, 맞춤형 식생활 서비스를 제공받는 방법은 크게 구매 단계(Purchasing)(S10), 정보 태깅 및 관리 단계(Information Tagging ＆ Managing)(S12), 소비 과정(Consuming) 단계(S14)로 나누어 볼 수 있는데, 구매 단계(S10)는 온라인 혹은 오프라인 매장으로부터 사용자가 식품/식재료를 구입하는 단계로 구입을 위해 PC 혹은 스마트폰 등 사용자 단말이 활용될 수 있다. 정보 태깅 및 관리 단계(Information Tagging 및 Managing)(S12)는 스마트폰, 태블릿 등 사용자 단말, 스마트 냉장고, 그리고 클라우드 서버 등이 구입한 식품/식재료에 대한 정보를 태깅하고 이를 관리하는 과정이다. 소비 단계(S14)는 사용자가 구매한 식품/식재료를 소비하거나 시스템이 제공하는 식품/식재료 관련 정보를 활용한 서비스 실행 단계이다.
도 1과 같은 시스템에서, 스마트 냉장고 및 사용자 단말은 RFID 센싱, 음성 입/출력, 터치스크린 입력 및 각종 센서를 포함할 수 있으며, 사용자가 구매한 식품/식재료에 다양한 수준의 태깅을 할 수가 있다. 다음, 태깅된 식품/식재료는 본 발명의 시스템에 의해서 트래킹(Tracking)이 가능하다. 즉, 언제, 어디서, 어떤 것을, 얼마나 샀는지, 시스템 내에서 어떻게, 얼마나 소비되었는지, 현재 얼마나 남아있고 언제까지 소비하면 되는지 등이 관리 가능하며 트래킹(Tracking)된 정보는 로그 (Groceries Log)로 저장된다. 또한, 이러한 식품/식재료의 트래킹 외에 사용자가 식생활과 관련하여 검색을 하거나 정보를 활용할 경우, 이를 트래킹 할 수가 있다.
예를 들어, 레시피 검색/선택에 대한 정보 및 사용자가 직접 요리한 정보 등이 시스템에 의해서 트래킹되어 로그 (Dish Log)로 수집된다.
다음으로, 이렇게 수집된 식품/식재료 정보, 그리고 사용자의 식생활 관련 정보 (레시피 검색/선택 등)는 사용자 식생활 패턴 분석을 위한 정보로 활용되어 모델링 된다. 이렇게 모델링된 사용자 식생활 패턴은 대화형 요리 가이드, 식품/식재료 쇼핑 서비스 등 사용자 맞춤형 서비스 제공을 위해서 활용된다.
또한, 시스템은 사용자의 음성입력을 분석하여 식품/식재료에 대한 정보 태깅 뿐만 아니라 사용자가 필요로 하는 시스템 서비스를 선택하여 응답할 수가 있다.
이하에서는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치(100)의 구성 및 동작을 구체적으로 설명한다.
도 2는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치(100)의 구성을 간략히 도시한 블록도이다.
본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치(100)는 냉장고가 될 수 있으나, 이에 한정되는 것은 아니다. 그리고, 여러 장치가 맞춤형 식생활 서비스 제공 장치(100)의 기능을 공동으로 수행하는 것이 가능하다. 즉, 데이터의 저장, 분석 및 모델링은 외부 서버가 수행하고, 디스플레이만 냉장고가 수행할 수 있다. 그리고, 통신부를 통해 단말 장치와 연결되는 경우 단말 장치는 디스플레이와 같은 사용자 인터페이스를 제공할 수 있다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 장치(100)는 디스플레이부(110), 안테나부(120), 저장부(130), 제어부(140)를 포함한다.
디스플레이부(110)는 정보를 디스플레이 하는 구성으로, 사용자 인터페이스를 제공한다. 맞춤형 식생활 서비스 제공 장치(100)의 외부에 위치하며 각종 정보를 디스플레이하고, LCD 패널과 터치 패널을 구비할 수 있다.
안테나부(120)는 기 설정된 시간 간격으로 기 설정된 주파수에 따라 음식이나 식재료에 부착된 무선 주파수 식별 태그로 주파수를 발산한다. 무선 주파수 식별 태그는 주파수에 반응하여 저장된 데이터를 안테나부(120)로 전송한다. 안테나부(120)는 수신된 데이터를 리더(미도시)로 전달하고 리더는 데이터를 분석하여 처리한다.
이때 무선 주파수 식별 태그는 읽기 전용 태그(Read only), 한번 쓰고 여러 번 읽을 수 있는 태그(WORM), 읽기 쓰기 형 태그(Read/Write) 중 어느 하나일 수 있다. 또한, 태그가 자체적으로 전원을 포함하는 능동형 태그와 전원을 갖고 있지 않은 수동형 태그, 배터리가 존재하지만 동작은 수동형 태그와 같이 후방산란 변조 방식을 이용하는 반수동형 태그 중 어느 하나로 구현될 수 있다.
또한, 무선 주파수 식별 태그는 RFID(Radio-Frequency Identification) 태그일 수 있다.
저장부(130)는 상기 수신된 데이터를 처리하여 저장한다. 저장부(130)는 음식이나 식재료에 부착되어 있는 무선 주파수 식별 태그의 정보를 저장한다. 이들 정보는 음식/식재료 정보를 포함한다. 또한, 저장부(130)는 맞춤형 식생활 서비스 제공 장치(100)가 분석하여 모델링한 사용자 식생활모델링 정보, 사용자 음성입력에 대한 음성인식/자연어처리를 위해 필요한 어휘사전 및 모델링 정보 등을 DB로 저장한다. 또한, 저장부(130)는 사용자 입력에 대해 수행하여야 하는 행동을 선택할 때 참조하는 룰, 패턴 등도 저장한다.
저장부(130)는 다양한 기술수단으로 구현 가능하다. 예를 들어, 롬(ROM) 또는 램(RAM)과 같은 메모리, HDD(Hard Disk Drive), BD(Blur-ray Disk) 등을 포함할 수 있다. 특히 저장부(130)는 대용량 데이터를 저장하기 위해 데이터 베이스로 구축될 수 있으며, 별도의 서버로 관리될 수도 있다.
데이터 베이스의 구현 방식은 제한이 없다. 즉, 계층형 데이터 베이스(HDB : Hierarchical Database), 관계형 데이터 베이스(RDB : Relational Database), 객체지향형 데이터 베이스(OODB : Object-Oriented Database) 중 어느 하나일 수 있다. 데이터 베이스가 별도의 서버에서 구축되어 있는 경우 상기 유형의 데이터 베이스 외에 네트워크형 데이터 베이스(NDB : Network Database)로 구현하는 것도 가능하다.
제어부(140)는 맞춤형 식생활 서비스 제공 장치(100)의 동작 전반을 제어한다. 특히, 상기 저장된 데이터를 분석하여 모델링 하고, 상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 디스플레이 하도록 상기 디스플레이부(110)를 제어한다.
또한, 제어부(140)는, 분석 및 모델링 결과에 기초하여 음식 구매 추천 정보를 디스플레이 하도록 디스플레이부(110)를 제어할 수 있다.
또한, 제어부(140)는 분석 및 모델링 결과에 기초하여 레시피 추천 정보를 디스플레이 하도록 상기 디스플레이부(110)를 제어할 수도 있다.
한편, 맞춤형 식생활 서비스 제공 장치(100)는 사용자 음성을 수집하는 음성 수집부(미도시)를 더 포함할 수 있다. 음성의 수집은 통상적인 마이크로폰에 의해 수행 가능하다. 예를 들어, 다이내믹 마이크와 콘덴서 마이크, 압전 현상을 이용한 압전 마이크, 탄소 입자의 접촉 저항을 이용한 카본 마이크, 음압에 비례하는 출력을 발생하는(무지향성) 압력 마이크 및 음의 입자 속도에 비례하는 출력을 발생하는 양지향성 마이크 중 적어도 하나의 마이크로폰에 의해 음성 수집이 수행될 수 있다.
상기 제어부(140)는, 상기 수집된 사용자 음성을 인식하여 상기 수신된 데이터에 태깅하여 저장하도록 저장부(130)를 제어할 수 있다. 음성 인식은 STT(Speech to Text) 엔진을 이용하여, 사용자의 음성에 대응되는 텍스트 정보를 생성하여 수행될 수 있다. STT 엔진은 음성 신호를 텍스트로 변환하기 위한 모듈로서, 종래 개시되어 있는 다양한 STT 알고리즘을 이용하여 음성 신호를 텍스트로 변환할 수 있다.
예를 들어, 수신된 화자의 음성 내에서 화자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 구체적으로, 수신된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 그리고, 검출된 음성 구간 내에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성하고, 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 화자의 음성을 텍스트로 변환할 수 있다.
STT 엔진은 수집된 음성으로부터 화자의 음성이 갖는 특징을 추출한다. 음성의 특징은 화자가 갖는 말투나 억양, 높낮이 등의 정보로 구성되며 청자가 음성을 통해 화자를 식별할 수 있는 특징을 의미한다. 음성의 특징은 수집된 음성의 주파수로부터 추출된다. 음성의 특징을 표현하는 파라미터는, 에너지, 영교차율(ZCR), 피치(Pitch), 포먼트(Formant) 등 이 있다. 음성 인식을 위한 음성 특징 추출 방법으로, 사람의 성도를 모델링한 선형 예측(LPC) 방법과, 사람의 청각 기관을 모델링한 필터 뱅크(Filter Bank) 방법이 널리 사용되고 있다. LPC 방법은 시간 영역에서의 분석 방법을 사용하므로, 계산량이 적고, 조용한 환경에서는 매우 우수한 인식 성능을 나타내지만, 잡음 환경에서의 인식 성능이 현저히 저하되는 문제가 있다. 잡음 환경에서의 음성 인식을 위한 분석 방법으로 주로 사람의 청각 기관을 필터 뱅크로 모델화하는 방법이 이용되며, 멜-척도 필터 뱅크에 근거한 MFCC(즉, 멜 켑스트럼 계수)가 음성 특징 추출 방법으로 많이 사용된다. 음향 심리학 연구에 따르면, 물리적 주파수와 인간이 인지하는 주관적인 주파수의 피치 사이의 관계는 선형이 아닌 것으로 밝혀진 바, 'Hz'로 표현되는 물리적인 주파수(f)와 구별하여 인간이 주관적으로 느끼는 주파수 스케일을 정의한 '멜(Mel)'이 사용된다.
상기 제어부(140)는, 상기 저장된 데이터를 분석하여 식품 및 식재료의 구매 및 소비 패턴을 모델링할 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 맞춤형 식생활 서비스 제공 장치(100-1)의 구성을 도시한 블록도이고, 도 4는 사용자가 RFID 태그를 구매한 식품/식재료에 부착하고 냉장고에 투입하는 과정을 도시한 도면이다.
사용자 입력부(105)는 스마트 기기, 즉 스마트폰 혹은 태블릿, 스마트 냉장고 등에 구비된 마이크, LCD 터치스크린 디스플레이, RFID 리더 및 센서 등으로부터의 입력 및 이벤트 등을 감지한다. 또한, 사용자 입력은 네트워크로 연결된 타 스마트 기기 혹은 사용자 단말 장치로부터의 마이크, LCD 터치스크린 및 센서 등으로부터의 입력 정보를 포함할 수 있다. 사용자 입력부(105)는 사용자가 구매한 식품/식재료를 냉장고에 투입 시, 다양한 단계의 태깅 방법을 통해서 구매한 식품/식재료에 대한 정보를 시스템에 입력하는 부분이다.
도 4는 사용자가 RFID 태그를 구매한 식품/식재료에 부착하고 냉장고에 투입하는 과정을 나타낸다. 이 때, 사용자는 구매한 식품/식재료에 대한 부가정보를 음성으로 시스템에 입력할 수 있다. 좀 더 구체적으로는 사용자는 RFID 태그를 부착한 식품/식재료를 냉장고 겉면에 설치되어 있는 RFID 인식 안테나에 가져가면, 식품에 부착된 RFID 태그의 ID가 인식되고, 동시에 사용자에게 인식 여부를 알려 주는 비프(beep) 음을 발생시켜 사용자가 음성입력을 할 수 있다.
데이터 전처리(107) 및 정보화부(115)는 사용자 음성에 대한 처리와 RFID 태그의 ID 인식에 대한 처리가 가능하다. 사용자 음성에 대한 전처리는 음성 데이터 추출 및 잡음 제거 등이 필요하며, 정보화를 위해서는 자동음성인식을 통한 음성의 문장변환 및 자연어처리가 수행된다. 또한, RFID 태그의 ID 인식에 대해서는 특정 ID 규칙에 부합하는지 등을 사전 체크하여 ID 인식을 하도록 되어야 한다.
제어부(140)는 정보화된 사용자 입력 문장 정보를 기반으로 룰을 적용/해석하여 사용자가 필요로 하는 기능 및 서비스를 판단하고, 이에 따라 시스템이 수행해야 할 행동을 선택하는 부분이다. 제어부는 도 3에 나타낸 바와 같이 냉장고 서비스 에이전트인 '음식/식재료 관리', '쇼핑 도우미', '요리 도우미' 등을 자동으로 선택하여 수행하도록 한다. 또한, 시스템이 사용자에게 응답을 주기 위해 디스플레이 혹은 음성으로 출력을 하도록 제어한다.
데이터 수집부(120)는 사용자의 행동, 즉 여기서는 식품/식재료를 실제 냉장고 내/외로 투입/인출하는 행동, 사용자가 음성으로 제어 혹은 정보 입력한 이력, 냉장고 시스템 내 레시피 등을 검색/수행한 이력 등을 수집하여, 이를 기반으로 사용자의 식생활을 모델링하는 부분으로 식품/식재료에 대한 사용자 선호도, 소비 패턴 등을 분석한다.
저장부(130)는 사용자가 태깅한 음식/식재료 정보, 시스템이 분석하여 모델링한 사용자 식생활모델링 정보, 사용자 음성입력에 대한 음성인식/자연어처리를 위해 필요한 어휘사전 및 모델링 정보 등을 DB로 저장하는 부분이다. 또한, 저장부는 시스템이 사용자 입력에 대해 수행하여야 하는 행동을 선택할 때 참조하는 룰, 패턴 등도 DB로 저장부에 저장하게 된다. 저장부는 냉장고 단독 시스템 내 DB 뿐만 아니라 클라우드 서버 상의 대규모 DB로도 구성될 수 있다.
통신부(125)는 냉장고 시스템의 기능 구성에 따라 일부 기능 등을 서버 혹은 클라우드로 분산하여 수행 시, 그리고 냉장고 시스템 외 외부 서비스 (예:레시피 서버) 등을 연동 시 외부와 연동하기 위한 통신을 담당한다. 또한, 통신부(125)는 외부의 휴대 단말 장치로부터 냉장고 내의 재고 정보와 요리 정보 등의 검색 요청 시에 상기 정보를 휴대 단말 장치에 송신 하는 수단을 갖는다.
디스플레이 부(110)는 냉장고 시스템 혹은 별도의 사용자 단말 (스마트폰 등)에 시스템 응답을 디스플레이 한다.
음성출력부(135)는 사용자 입력에 대한 시스템 출력을 TTS 등 음성 메시지로 출력한다.
도 3의 기능 구성은 도 2의 맞춤형 식생활 서비스 제공 장치(100-1)을 대상으로 하므로, 각 기능 모듈이 맞춤형 식생활 서비스 제공 장치(100-1) 구성에 따라 스마트 냉장고, 사용자 단말, 그리고 클라우드 서버 상에 분산 혹은 각각 탑재 될 수 있다. 예를 들어, 음성 입력, 터치 등 사용자 입력, LCD, 음성 출력 등 시스템 출력은 스마트 냉장고 및 사용자 단말에도 동시에 구성될 수 있다. 또한, 데이터 정보화부(115) 및 제어부(140)는 스마트 냉장고와 클라우드 서버 간에 기능을 분산하여 탑재 가능하다. 저장부(130)의 경우는 시스템 내 DB를 스마트 냉장고와 클라우드 서버에 복제하여 구성/유지할 수도 있다.
이하에서는 전술한 맞춤형 식생활 서비스 제공 장치를 이용한 맞춤형 식생활 서비스 제공 방법을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 방법의 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 맞춤형 식생활 서비스 제공 방법은, 음식에 부착된 무선 주파수 식별 태그를 감지하여 데이터를 수신하는 단계(S510), 상기 수신된 데이터를 처리하여 저장하는 단계(S520), 상기 저장된 데이터를 분석하여 모델링 하는 단계(S530) 및 상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 제공하는 단계(S540)를 포함한다.
상기 맞춤형 식생활 서비스 제공 방법은 상기 분석 및 모델링 결과에 기초하여 음식 구매 추천 정보를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 분석 및 모델링 결과에 기초하여 레시피 추천 정보를 제공하는 단계를 더 포함할 수 있다.
또한, 사용자 음성을 수집하는 단계를 더 포함하고, 상기 수신된 데이터를 처리하여 저장하는 단계는, 상기 수집된 사용자 음성을 인식하여 상기 수신된 데이터에 태깅하여 저장하는 것일 수 있다.
이하에서 상기 단계 들에 대해서 좀더 상세하게 설명한다.
구매 식품/식재료에 대한 정보 태깅
사용자가 구매한 식품/식재료의 구매-관리-소비 각 단계를 트래킹(Tracking)하기 위해서는 구매한 식품/식재료에 대한 정보를 입력/수집하여야 하고, 이를 관리하여야 한다. 본 발명에서는 이를 위해서 도 3에서 설명한 사용자 입력부(105)의 다양한 정보 입력 인터페이스를 활용하여 다양한 수준의 정보 태깅 방법을 제공하고자 한다. 도 3의 설명에서와 같이 사용자 입력부(105)에서 활용 가능한 정보 입력 인터페이스로는 RFID 태그, 사용자 음성입력, 터치스크린 입력, 각종 센서 (카메라, 적외선 접근 센서 등), 그리고 네트워크로 연결된 타 스마트 기기의 입력 인터페이스 등이 활용 가능하다. 즉, 본 발명의 맞춤형 식생활 서비스 제공 장치는 이와 같은 다양한 사용자 입력 인터페이스 중 적어도 하나를 활용한 다양한 단계의 정보 태깅을 제공하는 것이 가능하다.
RFID 태그
사용자가 구매한 식품/식재료에 대한 정보 태깅을 위해서 시스템은 RFID 태그 인식 기능을 갖추고 있다. 본 발명에서 RFID 태그는 식품/식재료 생산자, 유통업자, 판매자 등 각 유통 단계에서 부착한 '식품/식재료 제공자 정의 RFID 태그' 및 본 발명의 맞춤형 식생활 서비스 제공 장치와 함께 제공되는 식품/식재료 정보 포함된 '사용자 RFID 태그'를 사용할 수 있다.
먼저, '식품/식재료 제공자 정의 RFID 태그'는 제공자가 정의한 RFID 태그 ID로 정의되며, 해당 식품/식재료 정보를 제공자로부터 제공받아 시스템에 이를 등록하여 관리하여야 한다.
본 발명의 맞춤형 식생활 서비스 제공 장치와 함께 제공될 '사용자 RFID 태그'는 '식품/식재료 제공자 정의 RFID 태그'와 달리 시스템에서 미리 정의된 RFID 태그 ID가 할당되어 있으며, 해당 ID에 대한 사전에 정의된 식품/식재료 정보도 시스템 상에서 제공된다.
'사용자 RFID 태그'는 구매한 식품/식재료에 RFID 태그가 부착되어 있지 않거나, 사용자에 의해서 재포장되거나 혹은 사용자가 직접 조리한 식품일 경우에 활용 가능하다. '사용자 RFID 태그'는 그 형태가 식품/식재료의 모양과 같이 제작되거나 혹은 태그 겉면에 식품/식재료의 이미지가 프린트 된 형태 등 사용자가 태그의 모양 혹은 이미지 만으로 식품/식재료 카테고리를 구분하여 해당 식품/식재료에 직접 쉽게 부착할 수가 있다. 또한, 해당 태그의 식품/식재료 모양 혹은 이미지 등으로 구분되는 카테고리에 대한 태그 ID가 사전에 부여되어 있다.
단계적 태깅 방법
본 발명에서는 RFID 태그, 사용자 음성 등 여러 가지 정보 입력 방법을 활용하여 다양한 단계의 식품/식재료에 대한 정보 태깅이 가능한데, Zero step tagging, 1 step tagging, 2 step tagging, 3 step tagging의 4가지 방식으로 예를 들 수 있다.
도 6은 본 발명의 일 실시 예에 따른 제로 스탭 태깅을 도시한 흐름도이고, 도 7은 본 발명의 다른 실시 예에 따른 원 스탭 태깅을 도시한 흐름도이며, 도 8은 본 발명의 또 다른 실시 예에 따른 쓰리 스탭 태깅을 도시한 흐름도이다.
① Zero step tagging
식품/식재료 제공자(생산/유통/판매업자)에 의해서 미리 부착된 RFID 태그를 가지고 있는 경우, 사용자는 별도의 태깅 과정 없이 바로 냉장고 내 구입 식품/식재료를 투입하고 냉장고 시스템은 이들 정보를 읽어 들여 관리할 수가 있다.
도 6을 참조하면, 제로 스탭 태깅(Zero step tagging) 시 냉장고 시스템이 RFID 태그를 인식하여 정보를 등록하는 과정을 보여 준다. 제로 스탭 태깅(Zero step tagging)은 실제로 식품/식재료 제공자(생산/유통/판매업자)가 해당 제품에 RFID 태그를 붙여 제품 정보를 제공하는 것으로써, 사용자는 도 6과 같이 구입한 식품/식재료를 냉장고에 투입하기만 하면 된다(S610). 그러면, 냉장고 내에 설치된 RFID 리더에 의해서 해당 식품/식재료의 RFID 태그를 인식한다(S620). 이때, 맞춤형 식생활 서비스 제공 장치는 인식된 RFID 태그가 맞춤형 식생활 서비스 제공 장치와 함께 제공되는 '사용자 RFID 태그'인지 식품/식재료 제공자(생산/유통/판매업자)가 부착한 태그인지를 판별한다(S630). 제로 스탭 태깅(Zero step tagging) 시 식품/식재료 제공자(생산/유통/판매업자)가 부착한 태그이므로 시스템은 인식된 RFID 태그 ID에 해당하는 식품/식재료 정보로 식품/식재료 제공자(생산/유통/판매업자)가 제공하는 정보를 활용하게 된다(S640). 해당 식품/식재료 제공자(생산/유통/판매업자)의 식품/식재료 정보는 해당 RFID 태그 ID 값과 함께 냉장고 시스템의 식품/식재료 DB에 저장된다(S650). 여기서, 냉장고 시스템의 식품/식재료 DB는 클라우드 서버 등에 복사되어 클라우드 서버 내 식품/식재료 DB에도 저장될 수 있다.
② 1 step tagging
냉장고 시스템과 함께 구비된 '사용자 RFID 태그'를 사용하는 경우로, 예를 들어, '사용자 RFID 태그'는 음식/식재료 이미지가 겉면에 프린트된 형태일 수 있다. 따라서, 사용자가 태그 이미지만 보고도 어떤 음식인지를 알 수 있다. 제공되는 '사용자 RFID 태그'에 프린트되는 음식/식재료 이미지는 기 정의된 음식/식재료 카테고리에 대한 것으로 해당 태그는 해당 식품/식재료 카테고리에 대한 카테고리 ID가 이미 저장되어 있어, 사용자가 구입한 식품/식재료에 부합하는 '사용자 RFID 태그'를 붙이는 것 만으로도 냉장고 시스템에서 이를 인식하여 식품관리가 가능하다.
도 7은 원 스탭 태깅(1 step tagging) 시 냉장고 시스템이 RFID 태그를 인식하여 정보를 등록하는 과정을 보여 준다. 원 스탭 태깅(1 step tagging)은 사용자가 구입한 식품/식재료에 직접 '사용자 RFID 태그'를 부착하여 태깅하는 방법이다. 여기서 '사용자 RFID 태그'는 식품/식재료 카테고리별 (예를 들어, 고기류, 채소류 등) 각각 다른 이미지 형태를 가지는 (이미지가 프린트 되거나 RFID 태그 자체가 식품/식재료 분류군별 형태를 가질 수 있음) RFID 태그로 냉장고 시스템과 함께 제공된다. 도 7에서와 같이 사용자는 '사용자 RFID 태그'를 구입한 식품/식재료에 부착한다(S610). 원 스탭 태깅(1 step tagging)은 '사용자 RFID 태그'를 부착 후 별도의 부가정보 입력없이 바로 냉장고 내로 식품/식재료를 투입하면 된다(S720). 냉장고 내로 식품/식재료를 투입하면, 냉장고 내 설치되어 있는 RFID 리더에 의해 투입한 식품/식재료에 부착된 RFID 태그를 인식한다(S730). 이때, 인식된 RFID 태그가 '사용자 RFID 태그'인지를 확인한다(S740). 그러면, 시스템은 해당 RFID 태그 ID로부터 식품/식재료 종류에 대한 정보를 얻고(S750), 이에 해당하는 식품/식재료 정보를 냉장고 DB로부터 얻어 온다. 다음, 해당 RFID 태그 ID와 식품/식재료 정보를 냉장고 식품/식재료 DB에 등록한다(S760).
③ 2 step tagging
투 스탭 태깅(2 step tagging)은 RFID 태그 인식과 함께 사용자가 음성으로 식품/식재료에 대한 좀 더 상세한 정보를 태깅하는 방법이다. 이를 위해서, 냉장고 고 외에 RFID 리더 안테나가 구비되어야 한다. 사용자 음성으로 해당 식품/식재료에 태깅하기 위해서는 우선, RFID 태그가 부착된 식품/식재료를 냉장고 외의 RFID 리더 안테나에 센싱되도록 가까이 가져가면, 태그가 인식되어 비프(beep)음이 발생되고, 사용자는 이에 맞춰서 음식 정보를 음성으로 발성하면 된다. 맞춤형 식생활 서비스 제공 장치은 사용자 음성입력을 받아 음식정보를 추출하고, 이를 인식된 RFID 태그 ID와 매핑하여 시스템 내 식품/식재료 DB에 저장한다. 여기에서 태그 인식과 사용자 음성 정보 입력 순서가 뒤바뀐 경우에도 시스템이 이를 매핑할 수 있다. 즉, 사용자가 음성 정보를 RFID 인식 시 출력되는 비프(beep)음보다 먼저 발성을 하여도 시스템이 이를 해당 식품/식재료에 대한 사용자 음성정보 입력인 것을 판단하여 매핑한다.
도 8은 투 스탭 태깅(2 step tagging) 시 냉장고 시스템이 RFID 태그를 인식하여 정보를 등록하는 과정을 보여 준다. 원 스탭 태깅(1 step tagging) 시와 같이 투 스탭 태깅(2 step tagging)에서도 구입한 식품/식재료에 '사용자 RFID 태그'를 부착한다(S810). 혹은, 식품/식재료 제공자(생산/유통/판매업자)가 RFID 태그를 부착한 식품/식재료을 그대로 활용할 수도 있다. 다음, 부가적으로 사용자 음성입력으로 해당 식품/식재료에 대한 정보를 더 넣을 수 있다.
앞서 설명한 바와 같이, 냉장고 외의 RFID 리더 안테나에 의해서 RFID 태그가 인식되면(S820-Y), 사용자가 음성입력을 할 수가 있다(S830). 예를 들어, 사용자가 '100g of beef from TESCO today'와 같은 구매 식품/식재료에 대한 부가정보를 음성으로 입력할 수가 있다. 그러면, 맞춤형 식생활 서비스 제공 장치는 사용자 음성입력을 텍스트 문장으로 변환하고, 입력정보에 식품/식재료 정보, 즉, 식품/식재료명, 구입일자, 구입장소, 유통기한, 용량/수량, 식품/식재료 종류 등의 정보를 추출한다(S840).
사용자가 RFID 태그가 부착된 식품/식재료를 냉장고에 투입하면(S850), 냉장고 내의 RFID 리더기에 의해 RFID 태그가 인식된다(S860). 그러면, 맞춤형 식생활 서비스 제공 장치는 인식된 RFID 태그 ID와 사용자 음성으로 입력된 식품/식재료 정보를 냉장고 식품/식재료 DB에 저장하게 된다(S870). 이때, 태그가 '식품/식재료 제공자 정의 RFID 태그'일 경우, 식품/식재료 제공자(생산/유통/판매업자)의 식품정보를, RFID 태그가 사용자에 의해 부착된 '사용자 RFID 태그'일 경우, 태그의 ID에 의해 미리 정의된 식품/식재료 정보를 활용하게 된다. 식품/식재료 제공자(생산/유통/판매업자)의 식품정보 및 '사용자 RFID 태그'에 미리 정의된 식품/식재료 정보는 사용자의 음성입력 정보에 의해서 해당 정보 항목이 업데이트 된다. 즉, 식품/식재료 제공자(생산/유통/판매업자)의 식품정보 및 이미지 태그의 정보 보다 사용자의 음성입력 정보가 우선한다.
마지막으로 맞춤형 식생활 서비스 제공 장치는 사용자가 등록된 내용을 확인할 수 있도록 LCD 상에 등록된 식품/식재료 정보를 일정시간동안 출력하여 준다(S880).
③ 3 step tagging
쓰리 스탭 태깅(3 step tagging)은 투 스탭 태깅(2 step tagging) 방식에 비해, 냉장고에 구입 식품/식재료를 등록하고 투입 시, 사용자에게 투입된 항목에 대한 내용을 터치스크린 디스플레이 상에 출력하여 사용자가 등록 내용을 확인하고, 수정 필요 시 터치스크린 입력을 이용하여 등록 내용을 맞게 수정하는 과정을 더 포함한다.
도 9는 발명의 또 다른 실시 예에 따른 쓰리 스탭 태깅을 도시한 흐름도이다.
도 9에서는 도 8과 유사한 쓰리 스탭 태깅의 과정을 나타내고 있으나, RFID 태그 인식 및 사용자 음성정보 자동 등록 후, 사용자가 터치스크린에 출력된 자동 등록된 식품/식재료 정보를 확인하고 수정하는 과정을 더 포함한다(S980~S985). 터치스크린에 입력이 있는 경우, 시스템은 사용자가 수정/추가한 내용을 식품/식재료 정보로 업데이트하여 식품/식재료 DB에 저장한다.
다) 정보 태깅을 위한 데이터 처리
구매 식품/식재료에 대한 정보 태깅을 위해서는 입력된 데이터를 시스템에서 관리하기 위한 정보로 가공하여야 한다. 즉, 도 3에서 사용자 입력부(105)로부터의 입력 데이터는 데이터 전처리부와 데이터 정보화부를 거쳐 구매한 식품/식재료에 정보로써 태깅된다.
도 10은 데이터 전 처리부(107)의 블록도이다.
도 10은 투 스탭 태깅(2 step tagging)의 한 예로써, 사용자에 의해서 구매한 식품/식재료에 RFID 태그를 부착하고 사용자가 음성입력으로 부가 정보를 입력하는 경우의 데이터 전 처리부(107) 구조를 보여 준다. 사용자가 RFID 태그가 부착된 식품/식재료를 RFID 태그 센싱부(1070)에 가져다 대면, 도 10의 RFID 리더기에 의해 RFID 태그가 센싱된다. 그러면, 센싱된 RFID 태그로부터 RFID 태그 ID를 추출하고, 태그 ID 유효성 검사부(1072)가 이에 대한 유효성 검사를 수행하게 된다. 또한, 태그가 센싱될 시 비프(beep)음이 출력될 수 있다. 이때 사용자가 음성 입력부(1074)인 마이크를 통해서 음성으로 식품/식재료에 대한 부가정보를 입력할 수 있다. 이때, 음성 전처리부(1076)는 마이크로부터의 음향 신호로부터 사용자가 발성한 음성에 해당하는 부분을 인식해 내고 (End Point Detection), 이를 파일로 저장한다. 또한, 음성 전처리부(1076)에서는 사용자 발성 시 함께 녹음되는 배경잡음을 제거하는 기능 (Noise Reduction)도 포함한다. 태그 ID/음성 매칭부(1078)는 센싱된 RFID 태그 ID와 사용자 음성 입력이 동일한 식품/식재료에 대한 데이터인지를 데이터가 입력된 타이밍을 고려하여 판단하고 RFID 태그 ID와 음성파일을 매칭하게 된다. 따라서, 사용자 음성 입력이 RFID 태그 인식 전에 이루어 지는 경우에도 시스템이 이를 매칭하여 정보입력을 올바르게 수행할 수가 있다.
제로 스탭 태깅, 원 스탭 태깅에서는 냉장고 내의 RFID 리더기에 의해서 직접 태그 센싱이 이루어지며, 도 10에서와 같은 방식으로 RFID 태그 센싱부(1070) 및 RFID 태그 ID 유효성 검사부(1072)와 같은 전처리 기능이 수행된다.
도 10의 데이터 전처리부(107)에서 RFID 태그 ID와 사용자 음성 파일이 매칭되면, 데이터 정보화부(115)는 사용자 음성 파일을 분석하여 사용자 의도 및 포함된 데이터를 정보화하게 된다.
도 11은 본 발명의 일 실시 예에 따른 데이터 정보화부의 구성을 도시한 블록도이다.
도 11을 참조하면, 데이터 정보화부(115)는 사용자와 기기 사이에 대화식으로 질의 응답이 가능하도록 사용자 음성 정보를 분석하는 모듈이다. 데이터 정보화부(115)는 세부적으로 음성인식 모듈(1150), 자연어 처리 모듈(1152), 품사 정보 사전(1154), 개체명(식품/식재료, 장소 등) 사전, 문장구조, 특수어휘 패턴 DB 등으로 구성될 수 있다. 음성인식 모듈(1150)은 사용자 음성을 텍스트 문장으로 변환하며, 자연어 처리 모듈(1152)은 변환된 문장을 분석하여 각 어절의 품사정보를 찾아내고, 이로부터 주요 식품/식재료 정보를 추출해 낸다. 즉, 자연어 처리는 텍스트 문장을 분석하는 모든 SW 모듈을 포함할 수 있다. 이 기능은 많은 양의 DB 와 처리가 필요하기 때문에 클라우드 상에 DB를 구축하고 이를 처리, 분석 하는 자연어 처리 모듈을 탑재하여 처리할 수도 있다. 텍스트 문장에서 식품/식재료에 대한 정보를 추출하는 것은 개체명 추출기로 볼 수 있다. 예를 들어, 사용자가 RFID 태그를 식품/식재료에 부착하고 냉장고에 투입 시, 음성으로 'Beef from TESCO today'라고 입력하게 되면, 시스템은 음성인식을 통해서 사용자 음성을 'Beef from TESCO today.'와 같이 텍스트 문장으로 변환한다. 다음, 품사정보 사전을 활용하여 각 어절이 어떤 품사인지를 결정한다. 예를 들어, 'Beef[명사] from[전치사] TESCO[대명사] today[부사]'와 같이 품사를 태깅한 문장을 얻을 수 있다. 그러면, 식품/식재료 명의 경우, 해당 단어의 품사는 명사 혹은 대명사이므로 해당 문장에서 'Beef[명사]', 'TESCO[대명사]'의 개체명 후보군을 찾을 수 있고, 이중 'Beef[명사]'가 식품/식재료 사전에 등록되어 있는 단어일 경우, 이를 주요 개체명으로 인식하여 출력할 수 있다. 또한, 'TESCO[대명사]' 등도 장소 사전에 등록되어 있는 경우, 구입 장소에 대한 개체명으로 인식될 수 있다. 사용자가 구매한 식품/식재료에 관련하여 사용자가 음성으로 입력할 수 있는 정보는 '식품/식재료 명', '용량/수량', '구입장소', '구입일시', '유통기한', '식품/식재료 카테고리' 등을 들 수 있다. 이 중, '식품/식재료 명', '구입장소' 등은 개체명 추출방식으로, '용량/수량', '구입일시', '유통기한' 등은 해당 문구/어휘에 대한 패턴매칭을 통해서 분석될 수 있다.
또한, 자연어 처리 모듈(1152)은 입력 텍스트 문장에 대해서 문장유형을 파악할 수 있다. 즉, 문장구조를 분석하여 문장이 평서문 (Declarative Sentence)인지, 명령문 (Imperative Sentence)인지, 의문문 (Interrogative Sentence)인지, 강조문 (Exclamatory Sentence)인지 등을 인식하여 출력 가능하다.
도 11의 데이터 정보화부(115)에서와 같이 자연어 처리 모듈(1152)을 통해서 얻게 되는 결과는 3가지로, 식품/식재료 정보 추출, 품사 태깅된 문장 출력, 문장 형식 인식 등이다.
예를 들어, 사용자가 음성으로 '200g of beef from TESCO today'라고 발성하면, 도 11의 음성인식 모듈(1150)과 자연어 처리 모듈(1152)을 통해서 먼저, 입력 문장이 분석되어 문장의 각 어절의 품사가 결정된다. 즉, '200g [수사+명사] of[전치사] beef[명사] from[전치사] TESCO[대명사] today[부사]'와 같이 각 어절의 품사가 태깅 된다. 다음, 문장 내에서 식품/식재료 정보가 추출된다. 즉, '식품/식재료 명 = beef', '용량/수량 = 200g', '구입장소 = TESCO', '구입일시 = today', '유통기한 = none', '식품/식재료 카테고리 = meat'으로 식품/식재료 정보가 추출될 수 있다. 또한, 문장의 형태는 주어와 동사가 생략된 것으로 평서문 형태로 볼 수 있다. 따라서, 시스템은 이와 같은 데이터 정보화부의 결과를 가지고, 필요로 하는 기능을 수행하도록 제어할 수가 있다.
사용자 식생활 행위 Tracking 방법
사용자가 구매한 식품/식재료에 대한 정보를 태깅하면, 맞춤형 식생활 서비스 제공 장치는 RFID 태그 ID 별로 시스템 내 식품/식재료를 관리할 수가 있다. 즉, 냉장고에 있는 어떤 식품/식재료가 보관되고 있는지, 어떤 식품/식재료가 투입/인출 되는지, 어떤 식품/식재료가 얼마 동안, 얼마나 자주 소비되었는지 등의 정보 트랙킹(Tracking)이 가능하다. 결국, 사용자가 식품/식재료를 구매-관리-소비 하는 일련의 과정을 트랙킹 할 수 있게 된다.
사용자의 식생활 행위를 Tracking하는 방법으로 먼저, RFID 센싱에 의한 식품/식재료 투입/인출 판단이 가능하다.
식품/식재료 투입/인출
도 12는 식품/식재료 관리를 위한 데이터 구성의 예를 나타낸 표이다.
도 12는 식품/식재료에 대한 정보 태깅 후에 시스템 내에 보관된 식품/식재료 관리를 위한 데이터 구성 예를 보여 준다. 도 12에서와 같이 데이터의 구성은 RFID 태그 ID, 식품/식재료 명, 용량/수량, 구입장소, 구입일시, 유통기한, 식품/식재료 카테고리, 실온 보관시간, 보관 위치 등으로 구성될 수 있다.
본 발명에서 RFID 태그 ID를 통해서 보관되는 식품/식재료 각각을 구별할 수 있다. 해당 RFID 태그 ID에 대해서 각 데이터들은 '사용자 RFID 태그'의 정보, 식품/식재료 제공자의 정보, 그리고 사용자가 음성 입력 등으로 부가한 정보로 구성된다. 이 중에서 사용자가 직접 입력한 데이터들이 데이터 구성에 있어서 우선순위를 더 가진다. 예를 들어, 해당 RFID 태그 ID에 대해서 '사용자 RFID 태그'에 미리 정의된 카테고리 정보로부터 해당 카테고리에 대한 유통기한, 실온 보관시간 등의 정보를 얻을 수 있다. 그러나, 해당 식품/식재료를 보관 시, 사용자가 음성 등으로 'Orange juice should be good for 3 days'와 같이 정보를 입력하여 유통기한에 대한 정보가 포함되어 있을 경우, 사용자가 입력한 정보로 유통기한 데이터를 업데이트한다.
이렇게 맞춤형 식생활 서비스 제공 장치 내의 식품/식재료 관리를 위한 태깅 및 데이터 구성이 되고 나면, 맞춤형 식생활 서비스 제공 장치는 어떤 식품이 언제 투입되고, 인출되는지 등을 트랙킹 할 수 있다. 식품/식재료에 부착된 RFID 태그가 인식되므로 식품/식재료 투입/인출이 발생되는 것을 감지하여 이벤트를 발생될 수 있다. 예를 들어, 사용자가 야채류를 3일 동안 3번 투입/인출하거나, 육류를 일주일동안 1번 투입/인출한 내용을 알 수가 있게 되는 것이다. 즉, 언제 투입되었는지, 얼마나 자주 해당 식품/식재료를 투입/인출했는지, 얼마간 보관되어 있었는지를 알 수가 있어, 어떤 음식을 얼마나 자주 소비하였는지 등을 분석할 수가 있다.
이와 같은 식품/식재료 투입/인출 행위 정보는 시스템에서 사용자 식생활을 모델링하는데 활용이 된다.
나) 레시피 검색 및 선택
사용자 식생활 행위를 파악하기 위한 또 다른 방법으로 레시피 검색 App. 등을 활용할 수가 있다. 즉, 사용자가 어떤 레시피를 검색하였는지, 어떤 검색어를 활용하였는지, 실제 선택한 레시피는 어떤 것인지 등을 로그로 수집하는 것이다. 예를 들어, 시스템에서 제공되는 레시피 검색 서비스 시, 사용자가 'chicken pasta with hot taste' 라고 레시피를 검색하면, 맞춤형 식생활 서비스 제공 장치는 닭고기가 들어간 파스타 중 매운맛 파스타를 검색결과로 보여주고, 사용자가 결과 중 레시피를 선택하여 요리를 할 수가 있을 것이다. 이때, 사용자가 검색을 위해서 입력한 내용, 즉 'chicken pasta with hot taste', 그리고 선택한 레시피 정보, 즉 레시피 명, 주요 재료들 등을 정보로 수집할 수가 있다. 그러면, 맞춤형 식생활 서비스 제공 장치에서는 이러한 정보를 활용하여 사용자 음식 선호도에 반영하거나 혹은 식생활 모델링을 위한 정보로 활용 가능하다.
3) 사용자 식생활 모델링
맞춤형 식생활 서비스 제공 장치에서 사용자 식생활 행위에 대한 트랙킹이 가능하므로, 이 행위 로그 들을 수집하여 사용자 식생활을 모델링하고 활용하는 것이 가능하다. 도 3의 데이터 수집부(120)에서는 이러한 사용자 행위 로그 들을 수집/분석하여 사용자 식생활을 모델링하는 부분이다.
도 13은 데이터 수집부의 구성을 도시한 블록도이다.
도 13을 참조하면, 데이터 수집부(120)에서는 사용자가 냉장고 시스템을 사용하는 모든 행위에 대해서 사용 로그를 수집할 수 있다. 예를 들어, 냉장고 문을 몇 회 열고 닫았는지, 어떤 음식을 투입/인출하였는지, 사용자가 어떤 음성입력을 하였는지, 어떤 어플리케이션을 수행하였는지, 어떤 데이터를 수정하였는지 등을 모두 수집할 수 있다. 즉, 시스템 상에서의 일련의 모든 사용자 행위는 로그로써 수집/활용 가능하다. 식생활 관리 서비스 관련하여서는 특히, '식품/식재료 관리', '요리 도우미', '쇼핑 도우미' 서비스 수행 로그 등이 로그로 수집된다.
도 13에서 로그 수집부(1210)는 식품/식재료 투입/인출 등 냉장고 시스템 사용 및 식생활 서비스 관련 어플리케이션 사용에 대한 로그를 수집한다. 이렇게 수집된 로그는 사용자 행위 분석부(1220)에서 사용자가 사용한 기록들이 어떤 행위로 인식될 수 있는지 분석하게 된다. 예를 들어, 냉장고 문을 열고 특정 식품/식재료를 꺼내고 난 뒤, 이것을 다시 일정 시간 후에 냉장고 내에 투입하는 등 일정 시간 동안 행해지는 일련의 사용자 행동을 분석하거나 혹은 특정 대상물 (식품/식재료)에 대한 특정 행위 등 이벤트를 검출하는 방식으로 의미 있는 데이터를 생성해 내게 된다. 즉, 사용자의 행위에 대한 의미부여를 통해서 사용자의 성향이나 취향, 습관 등을 반영하는 사용자 모델링이 가능해 진다. 이렇게 구축된 유의미한 데이터는 냉장고 내 혹은 클라우드 서버 상의 저장부에 저장되어 사용자에게 특정 서비스, 예를 들어 추천 서비스 수행 시, 사용자 모델 데이터 기반으로 맞춤 서비스를 수행할 수 있다. 한 예로, 사용자가 냉장고 상에 육류를 많이 투입/인출하고, 육류 재료를 쓴 레시피를 웹에서 많이 검색하였을 경우, 육류에 대한 선호도 수준이 높은 것으로 모델링 된다. 따라서, 이후 사용자가 다른 레시피를 검색 시, 예를 들어, '파스타'를 검색하면, 맞춤형 식생활 서비스 제공 장치는 여러 가지 파스타 중 육류를 주재료로 쓴 파스타의 레시피 목록을 최우선적으로 사용자에게 출력하여 줄 수 있다.
수집된 로그는 사용자 행위 분석부(1220)에서 여러 가지 기준에 의해 분류 된다. 음식의 맛, 식재료, 음식의 형태, 음식의 지역 등의 기준에 의해 각각 사용자의 선호도를 결정한다. 음식의 맛은 매운맛, 단맛, 쓴맛, 신맛, 떫은 맛 등으로 나뉘며, 식재료는 야채류, 고기류, 어폐류 등으로 나뉜다. 음식의 형태는 빵, 밥, 스프, 과자, 소스 등의 형태로 나뉘며, 음식의 지역은 미국식, 중식, 한식, 일식 등으로 나뉜다. 사용자 행위 분석부는 각각의 분류기준에 대한 사용자의 선호도를 계산하여 데이터베이스에 저장한다. 로그 수집부(1210)는 사용자의 시간에 따른 음식 선호도를 분석하기 위해 로그를 시간별로 저장한다. 사용자 행위 분석부(1220)는 시간에 따른 사용자 로그를 통해 계절, 아침/점심/저녁, 음식/식재료의 단기 선호도 및 장기 선호도를 분석한다. 예를 들어, 특정 사용자가 아침 시간대에 양배추를 많이 먹었다면 다음 아침 식사 메뉴로 양배추가 들어간 레시피를 추천해 준다. 그리고 여름에 좋아하는 음식과 겨울철에 좋아하는 음식 등의 정보를 분리하여 계절별로 레시피를 추천해 준다. 또한 같은 레시피 라도 오래 전에 좋아했던 레시피 보다 최근에 좋아하는 레시피에 더 가중치를 두어 추천해 준다.
더 확장된 사용자 행위 분석을 위해서는 다수의 사용자 기기, 통합 온라인 스토어, 소셜 네트워크 상의 검색, 대화, 구매 등 다양한 행위 로그들을 분석/정보화하여 개인 식생활 모델링이 가능 하다.
4) 사용자 맞춤형/대화형 서비스 제공 방법
본 발명은 스마트 냉장고와 스마트 폰을 활용하여, 사용자의 식생활 패턴에 맞춤인 서비스를 제공하는 방법에 대한 것으로 사용자가 시스템을 통해 수행하는 일련의 식생활 행위를 트랙킹하고 이를 모델링한다. 본 발명의 맞춤형 식생활 서비스 제공 장치를 통해서 사용자에게 보다 개인화된 맞춤서비스가 가능하며, 또한, 사용자 음성 입력에 따른 대화형 서비스 제공 등이 가능하여 기존 대비 보다 개인화/지능화 서비스 제공이 가능하다.
가) 사용자 식생활 모델 기반 맞춤형 서비스 제공 방법
앞서 설명한 본 발명의 사용자 식생활 행위 트랙킹 및 모델링을 통해서 시스템은 사용자에게 좀 더 맞춤인 서비스를 제공할 수 있다.
맞춤형 식생활 서비스 제공 장치에서는 사용자 식품/식재료 투입/인출 트랙킹을 통해서 특정 식품/식재료가 주기적으로 새로이 투입되고, 일정기간 동안 소비되는 패턴을 파악할 수 있다. 예를 들어, 식품/식재료 리스트가 한번에 많이 바뀌는 등의 이벤트를 감지하여 사용자의 주기적 쇼핑 성향 등을 파악할 수 있으며, 특정 식품/식재료, 예를 들어, 우유, 육류, 생선, 과일 등을 얼마나 어떤 종류를 사는지도 파악이 될 수 있다. 계속된 구매 패턴을 더 분석하면, 구매목록 중 매번 반드시 포함되어 식품/식재료 쇼핑 시 꼭 포함되어야 하는 항목 등을 파악할 수도 있다. 따라서, 이러한 식품/식재료 구매의 패턴이 감지되면, 시스템은 일정 주기로 사용자에게 쇼핑 리스트를 생성하여 제공할 수 있다. 또한, 특정 식품/식재료 별 소비 주기를 고려하여 쇼핑 리스트를 생성할 수 있다.
도 14는 사용자 식생활 패턴 기반 쇼핑 도우미 서비스의 예를 도시한 도면이다.
도 14에서 맞춤형 식생활 서비스 제공 장치는 RFID 리더(1410)를 통해서 식품/식재료 투입/인출을 감지할 수 있다. 이들 투입/인출 이벤트는 맞춤형 식생활 서비스 제공 장치 내 보관된 식품/식재료 DB(1420)를 업데이트 시키고, 일련의 투입/인출 행위를 분석하여 사용자 식생활 모델(1430)을 구축한다. 사용자 식생활 모델(1430)은 식품/식재료의 주기적 구매/소비 패턴을 제공할 수가 있는데, 식품/식재료마다 구매/소비 패턴이 다를 수 있다. 예를 들어, 우유 등 유제품은 1주일마다, 껍질 과일 등은 2주일마다 등으로 다르게 쇼핑 주기를 파악 가능할 것이다. 따라서, 이러한 식품/식재료의 주기적 구매/소비 패턴을 활용하여 쇼핑 도우미(1440)는 특정 시점에 사용자에게 필요한 쇼핑 리스트를 제공할 수 있다. 이때, 맞춤형 식생활 서비스 제공 장치 내 식품/식재료 DB(1420)로부터 해당 식품/식재료가 유무, 유통기한 등을 더 참조하여 쇼핑 리스트를 제공할 수 있다.
사용자 식생활 모델링은 수집된 식생활 로그를 분석하여 사용자의 식품/식재료에 대한 선호도 등을 추출하여 서비스에 활용이 된다.
도 15는 사용자 식생활 모델 기반 개인화된 레시피 검색 서비스의 예를 도시한 도면이다.
예를 들어, 맞춤형 식생활 서비스 제공 장치는 투입/인출되는 식품/식재료 정보를 파악하여 만일 육류보다 과일/채소의 구매/소비가 빈번할 경우, 사용자 선호도를 과일/채소에 더 부여할 수 있다. 이 경우, 사용자가 레시피 검색 서비스(1540)를 통해서 검색 시, 예를 들어, 'Pasta'를 검색하면, 맞춤형 식생활 서비스 제공 장치는 다양한 종류의 'Pasta' 레시피를 검색결과로 얻어 올 수 있다. 이 때, 사용자 식생활 모델로부터 사용자의 선호도 정보를 받으면, 맞춤형 식생활 서비스 제공 장치는 검색결과 중 육류가 들어간 레시피 보다는 채소나 과일 위주의 재료가 들어간 파스타를 결과로 추천하며, 결과 리스트 중 상위에 출력할 수가 있다. 따라서, 사용자는 쉽게 본인의 선호에 맞는 레시피 선택할 수 있게 된다.
앞서 언급하였듯이, 사용자가 레시피 검색 서비스를 통해서 특정 레시피를 검색/선택하는 행위도 로그로 수집되어 사용자 식생활 모델을 구축하는데 활용되게 된다.
나) 사용자 음성기반 대화형 서비스 제공 방법
도 16은 제어부의 구성을 도시한 블록도이다.
도 16을 참조하면, 제어부(140)는 사용자 음성입력에 대한 맞춤형 식생활 서비스 제공 서비스 수행을 위해 냉장고 서비스 에이전트(150)를 선택하고, 사용자로의 시스템 응답을 생성하여 사용자와 인터렉션할 수 있도록 맞춤형 식생활 서비스 제공 장치를 제어하는 모듈이다. 이 모듈의 동작은 냉장고 외부의 서버에서도 동작 가능하며, 대규모 분산 처리 시스템인 클라우드를 이용 할 수도 있다.
도 16에서와 같이 제어부(140)는 사용자 음성 입력 의도 인지부(1310), 목적어-동사 관계 분석부(1320), 서비스 에이전트 선택부(1330), 그리고 시스템 응답 생성부(1340)을 포함한다. 도 11의 데이터 정보화부(115)로부터의 결과물인 식품/식재료 정보, 품사 태깅된 문장, 그리고 문장 형태 등을 입력으로 받게 되며, 이들 정보화된 데이터를 기반으로 사용자의 음성입력 의도 파악 및 시스템 응답을 제어하게 된다.
먼저, 사용자 음성 입력 의도 인지부(1310)는 데이터 정보화부(115)의 자연어처리 모듈(1152)로부터 입력된 문장의 형태를 기반으로 사용자 음성 입력 의도가 정보입력인지, 정보요청인지, 혹은 특정 명령인지를 구분한다. 예를 들어, 입력 문형이 평서형이고, 명사구, 부사구 조합일 경우, 자연어처리 모듈(1152)로부터의 식품/식재료 정보가 존재할 경우, 해당 문장은 정보입력을 위한 문장으로 판단된다. 만약, 입력 문형이 의문형이고, 특정 의문부사 (What, How 등)가 사용된 경우, 해당 문장을 정보요청을 위한 문장으로 판단할 수 있다. 입력 문형이 명령형 혹은 강조형일 경우에는 특정 명령 수행을 위한 문장으로 판단한다. 이러한 예들은 사용자의 다양한 음성입력에 대해서 사용자의 음성입력 의도 파악을 위해 패턴 혹은 룰을 정의하여 판단에 활용하게 된다. 사용자 음성 입력 의도 인지부(1310)에서는 사용자 음성 입력 의도를 파악하기 위해 문장 형태와 함께 입력 문장에서 동사 혹은 조동사로 태깅된 어절을 참조할 수 있다.
목적어-동사 관계 분석부(1320)는 입력 문장에서 목적어가 특정 분류에 포함되는지를 확인하여 목적어 분류와 동사의 관계를 설정한다. 즉, 입력 문장에서 목적어가 특정 분류에 포함되는지를 확인하고, 주동사와 목적어 분류와의 설정된 관계가 존재하는지 파악하여야 한다. 목적어-주동사 관계 DB에 내용이 있을 경우, 이를 통해서 사용자의 음성입력에 의해 시스템이 수행하여야 할 기능 혹은 서비스를 선택할 수가 있다. 목적어-동사 관계는, 예를 들어, '음식종류'-'find', '음식종류'-'search', '식재료 명'-'show', '냉장고 고유 기능'-'run' 등으로 관계 설정이 가능하다. 이를 위해서 음식 종류, 식재료 명, 냉장고 고유 기능 명 사전 등이 필요할 수 있다. 즉, 목적어 분류에 따라 각각에 대한 사전을 구축하여야 한다. 이러한 사전의 예는, 음식종류 (파스타, 불고기, 갈비찜 등), 식재료 명 (무, 배추, 고추장 등), 냉장고 고유 기능 ('Groceries Manager', 'Cooking Agent', 'Shopping Agent' 등) 등의 목적어 사전들을 사용할 수 있다.
서비스 에이전트 선택부(1330)는 사용자 음성입력 의도 파악 결과와 목적어-동사 관계를 미리 정의된 룰 DB와 매칭하여 수행이 필요한 서비스 에이전트를 선택한다. 예를 들어, 아래와 같이 기 정의된 룰에 의해 조건이 만족하면, 특정 서비스 에이전트를 선택할 수 있다. 이를 위해 기 정의된 서비스 에이전트 선택 룰 DB가 필요하다.
예 1)
if (사용자 입력 문형 == 평서형) and (목적어-동사 관계 == '음식종류'-'buy') and if ('식품/식재료 정보 존재) then Invoke '식품/식재료 관리' 서비스 에이전트 선택
예 2)
if (사용자 입력 문형 == 의문형) and (의문 부사== 'how') and (목적어-동사 관계 == '음식종류'-'make') then Invoke '요리 도우미' 서비스 에이전트 선택 with 'Recipe 검색' operation request
서비스 에이전트 호출 시, 위 예 2)에서와 같이 해당 서비스 에이전트가 수행할 특정 서비스 정보와 부가정보를 더하여 전달할 수 있다. 예를 들어, 예 2)에서와 같은 경우로 사용자 입력 문장이 'How to make the hot chicken pasta?'와 같은 문장이 입력되면, 사용자 입력 문형이 '의문형'이고, 의문 부사로 'How'가 사용되었다. 그리고, 주동사는 'make'이며, 목적어는 'the hot chicken pasta'로 음식 종류이다. 따라서, 제어부는 기 정의된 룰에 의해 수행되어야 할 서비스 에이전트로 '요리 도우미' 서비스 에이전트를 호출 할 수 있다. 또, 'Recipe 검색' 기능이 수행되어야 하고, 부가적으로 검색 대상 정보, 여기서는 'the hot chicken pasta'가 해당 요리 도우미 서비스 에이전트로 전달되어야 한다.
냉장고 상에 여러 가지 서비스 에이전트가 구성될 수 있을 것이다. 예를 들어, '음식/식재료 관리', '쇼핑 도우미', '요리 도우미' 서비스 에이전트 등이 구성될 수 있다.
'음식/식재료 관리' 서비스 에이전트(1510)는 식품 관리 어플리케이션으로 냉장고 내 출납되는 식품/식재료 관리를 담당한다. RFID 센싱을 기반으로 식품 출납 체크, 고내 식품/식재료 리스트 및 유통기한 관리 등을 수행한다.
'쇼핑 도우미' 서비스 에이전트(1520)는 식품/식재료 쇼핑 어플리케이션으로 사용자의 요청에 의해 혹은 주기적으로 식품/식재료 구매를 위한 쇼핑리스트 생성을 수행할 수 있다.
'요리 도우미' 서비스 에이전트(1530)는 사용자와 인터렉션하며, 요리 시 레시피 내용을 알려주거나 혹은 요리 시작 전 사용자 요청에 의해서 레시피 검색 등을 수행한다. 또한, 레시피 검색 시, 사용자의 식생활 정보를 기반으로 사용자 맞춤형 레시피 추천을 수행할 수 있다.
시스템 응답 생성부(1340)는 서비스 에이전트를 통한 특정 서비스/기능 수행 이외에 사용자에게 TTS, 텍스트 출력 등으로 응답을 할 수가 있다. 예를 들어, 사용자 음성입력에 대한 분석결과, 서비스 에이전트 선택 실패 시 등에는 사용자에게 해당 안내 문구 등을 TTS 혹은 텍스트를 출력할 수 있다. 도 16은 시스템 응답 생성부(1340)에서 시스템 응답이 통신부(125), 디스플레이부(110), 음성출력부(135), 저장부(130) 등에 연동되는 것을 보여 준다. 예를 들어, 통신부(125)의 경우는 외부의 클라우드 서버 혹은 시스템에 특정 연산을 수행하거나 혹은 특정 DB의 내용을 요청할 수가 있다. 만일, 사용자가 검색하기를 원하는 레시피가 맞춤형 식생활 서비스 제공 장치 상에 없을 경우에는 맞춤형 식생활 서비스 제공 장치는 해당 레시피를 찾기 위해 외부의 레시피 서버에서 검색결과를 얻어 올 수도 있다. 또한, 맞춤형 식생활 서비스 제공 장치는 사용자의 음성입력 의도가 새로운 음식/식재료 정보 입력인 경우, 새로운 정보를 맞춤형 식생활 서비스 제공 장치 상의 저장부(130)에 저장하도록 할 수 있다. 또한, 맞춤형 식생활 서비스 제공 장치 구성에 따라서 고내의 식품/식재료 정보는 통신부(125)를 통해서 외부의 클라우드 서버 상의 저장부에도 같은 식품/식재료 정보를 복사하여 저장할 수도 있다.
도 16의 제어부(140) 동작을 활용한 다양한 서비스가 가능한데, 예를 들어, 음성기반 식품/식재료 정보 태깅, 식품/식재료 검색, 레시피 검색, 시스템 고유 기능 제어 등이 가능하다.
도 17은 사용자가 음성입력으로 구매한 식품/식재료에 대해 정보를 태깅하는 예를 도시한 도면이다.
예를 들어, 사용자가 '500g of beef from E-mart today'라고 음성으로 입력하면, 시스템은 도 16의 제어부(140) 동작에 따라, 입력 문장을 분석한다. 즉, 문장형태는 '평서문', 사용자 의도는 '정보입력', 목적어-동사 관계는 'beef-없음', 식품/식재료 정보 유무는 '있음' 등으로 해석된다. 이에 따라 필요한 서비스 에이전트가 선택이 되고 결과로 '식품/식재료 관리' 서비스 에이전트가 선택될 수 있다. 따라서, 사용자 입력 문장 내 식품/식재료 정보는 도 12의 식품/식재료 데이터 구성 예와 같이 DB로 입력될 수 있다. 즉, 사용자 입력 문장에서 식품/식재료 명은 'beef', 용량/수량은 '500g', 구입장소는 'E-mart', 구입일시는 오늘 날짜 (ex. 2013.05.07)로 입력될 수 있다. 이때, RFID 태그 ID도 함께 입력된다.
맞춤형 식생활 서비스 제공 장치 내 보관된 식품/식재료를 검색할 수도 있다.
도 18은 음성으로 보관된 식품/식재료를 검색하는 예를 도시한 도면이다.
예를 들어, 사용자가 'Show me the groceries list purchased yesterday~!'라고 입력하면, 맞춤형 식생활 서비스 제공 장치는 문장형태가 '명령형'이고, 사용자 의도는 '정보요청'으로 분석될 수 있다. 그리고, 목적어-동사 관계에서 groceries list-show 관계이므로, 필요 서비스 에이전트로 '식품/식재료 관리' 서비스 에이전트가 선택될 수 있다. 그러면, 시스템은 냉장고 내 보관된 식품/식재료 리스트 중 조건에 맞는 아이템을 검색하여 출력할 수가 있다.
또 다른 예로, 레시피 검색을 음성으로 수행할 수도 있다.
도 19는 음성으로 레시피 검색을 수행하는 예를 도시한 도면이다.
예를 들어, 사용자가 'Find the chicken pasta with hot taste~!'라고 입력하면, 시스템은 문장형태가 '명령형'이고, 사용자 의도가 '정보요청'인 것으로 파악할 수 있다. 또한, 목적어-동사 관계가 'the chicken pasta-find' 이므로 음식을 찾는 검색인 것을 알 수 있다. 따라서, 해당 사용자 입력에 대해서 '요리 도우미' 서비스 에이전트가 선택/실행되고, 사용자 요청에 따라 매운맛 치킨 파스타를 검색하여 결과를 출력하여 준다.
사용자는 음성으로 냉장고 시스템의 특정 기능을 실행할 수도 있다. 기존 LCD 터치스크린을 구비한 냉장고 시스템은 LCD 상에 사용자가 터치 입력 가능한 GUI 등을 구성하여 냉장고 기능을 실행할 수 있도록 제공한다. 그러나, 특정 기능을 사용할 때, 몇 단계에 걸친 사용자 터치 입력을 필요로 하는 경우가 있다. 이러할 경우, 음성입력을 통한 기능 실행이 유용할 수 있을 것이다.
도 20은 음성기반으로 냉장고 메뉴 기능을 실행하는 예를 도시한 도면이다.
예를 들어, 사용자가 'Expiration date setting~!'이라고 입력하면, 맞춤형 식생활 서비스 제공 장치는 이를 분석하여 문장형태는 '명령형', 사용자 의도는 '특정명령 실행', 목적어-동사 관계는 'Expiration date-set'으로 파악할 수 있을 것이다. 여기에서 맞춤형 식생활 서비스 제공 장치가 'Expiration date setting'에 대한 사전 명령어 셋을 가지고 있으면, 바로 해당 명령을 실행할 수 있을 것이다. 이를 통해서 기존에 LCD 터치스크린 입력 방식으로 시스템 내 식품/식재료 유통기한 설정을 하기 위한 입력보다 직관적이고 빠른 실행이 가능할 것이다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 다양한 수준의 사용자 태깅을 제공하여 신규 기능/서비스 사용 유도가 가능하다. 또한, 식품/식재료 태깅을 통한 냉장고 시스템 내 식품/식재료 관리를 통해 비효율적인 식품 구매 및 소비를 줄일 수 있게 된다. 또한, 사용자 식생활 모델 구축을 통해 개인 맞춤형 서비스를 제공하는 것이 가능해 지며, 사용자 음성 기반으로, 서비스 수행이 가능하다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100, 100-1 : 맞춤형 식생활 서비스 제공 장치
105 : 사용자 입력부 110 : 디스플레이부
115 : 데이터 정보화부 120 : 안테나부
125 : 통신부 130 : 저장부
135 : 음성 출력부 140 : 제어부
150 : 냉장고 서비스 에이전트
105 : 사용자 입력부 110 : 디스플레이부
115 : 데이터 정보화부 120 : 안테나부
125 : 통신부 130 : 저장부
135 : 음성 출력부 140 : 제어부
150 : 냉장고 서비스 에이전트
Claims (20)
- 음식에 부착된 무선 주파수 식별 태그를 감지하여 데이터를 수신하는 단계;
상기 수신된 데이터를 처리하여 저장하는 단계;
상기 저장된 데이터를 분석하여 모델링 하는 단계; 및
상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 제공하는 단계;를 포함하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
상기 분석 및 모델링 결과에 기초하여 음식 구매 추천 정보를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
상기 분석 및 모델링 결과에 기초하여 레시피 추천 정보를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
상기 무선 주파수 식별 태그는,
RFID(Radio-Frequency Identification) 태그인 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
사용자 음성을 수집하는 단계;를 더 포함하고,
상기 수신된 데이터를 처리하여 저장하는 단계는,
상기 수집된 사용자 음성을 인식하여 상기 수신된 데이터에 태깅하여 저장하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
상기 모델링 하는 단계는,
상기 저장된 데이터를 분석하여 식품 및 식재료의 구매 및 소비 패턴을 모델링하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
상기 음식 관리 정보를 제공하는 단계는,
식품/식재료의 유무 정보 및 식품/식재료의 유통기한 정보 중 적어도 하나를 제공하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제2항에 있어서,
상기 음식 구매 추천 정보를 제공하는 단계는,
상기 분석 및 모델링 결과에 기초하여 쇼핑 리스트를 제공하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
사용자의 발화 음성을 수집하는 단계;
상기 수집된 사용자 발화 음성을 인식하는 단계;
상기 인식된 사용자 발화 음성에 대응되는 음식 또는 식재료에 대한 정보를 상기저장된 데이터에서 검색하는 단계; 및
상기 검색된 음식 또는 식재료에 대한 정보를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 제1항에 있어서,
사용자 인터페이스를 통해 사용자 입력을 수신하는 단계;
상기 수신된 사용자 입력에 대응되는 음식 또는 식재료에 대한 정보를 상기 저장된 데이터에서 검색하는 단계; 및
상기 검색된 음식 또는 식재료에 대한 정보를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 방법. - 디스플레이부;
음식에 부착된 무선 주파수 식별 태그를 감지하여 데이터를 수신하는 안테나부;
상기 수신된 데이터를 처리하여 저장하는 저장부; 및
상기 저장된 데이터를 분석하여 모델링 하고, 상기 분석 및 모델링 결과에 기초하여 음식 관리 정보를 디스플레이 하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
상기 제어부는,
상기 분석 및 모델링 결과에 기초하여 음식 구매 추천 정보를 디스플레이 하도록상기 디스플레이부를 제어하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
상기 분석 및 모델링 결과에 기초하여 레시피 추천 정보를 디스플레이 하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
상기 무선 주파수 식별 태그는,
RFID(Radio-Frequency Identification) 태그인 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
사용자 음성을 수집하는 음성 수집부;를 더 포함하고,
상기 제어부는,
상기 수집된 사용자 음성을 인식하여 상기 수신된 데이터에 태깅하여 저장하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
상기 제어부는,
상기 저장된 데이터를 분석하여 식품 및 식재료의 구매 및 소비 패턴을 모델링하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
상기 제어부는,
식품/식재료의 유무 정보 및 식품/식재료의 유통기한 정보 중 적어도 하나를 디스플레이 하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제12항에 있어서,
상기 제어부는,
상기 분석 및 모델링 결과에 기초하여 쇼핑 리스트를 디스플레이 하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
사용자의 발화 음성을 수집하는 음성 수집부;를 더 포함하고,
상기 제어부는,
상기 수집된 사용자 발화 음성을 인식하고, 상기 인식된 사용자 발화 음성에 대응되는 음식 또는 식재료에 대한 정보를 상기 저장된 데이터에서 검색하여, 상기 검색된 음식 또는 식재료에 대한 정보를 디스플레이 하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치. - 제11항에 있어서,
사용자 인터페이스를 통해 사용자 입력을 수신하는 사용자 입력부;를 더 포함하고,
상기 제어부는,
상기 수신된 사용자 입력에 대응되는 음식 또는 식재료에 대한 정보를 상기 저장된 데이터에서 검색하고, 상기 검색된 음식 또는 식재료에 대한 정보를 디스플레이 하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 맞춤형 식생활 서비스 제공 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130125256A KR20150045683A (ko) | 2013-10-21 | 2013-10-21 | 맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 |
| US14/516,138 US20150112759A1 (en) | 2013-10-21 | 2014-10-16 | Method and apparatus for providing customized food life service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130125256A KR20150045683A (ko) | 2013-10-21 | 2013-10-21 | 맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150045683A true KR20150045683A (ko) | 2015-04-29 |
Family
ID=52826989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20130125256A KR20150045683A (ko) | 2013-10-21 | 2013-10-21 | 맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20150112759A1 (ko) |
| KR (1) | KR20150045683A (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101712432B1 (ko) * | 2016-05-12 | 2017-03-06 | (주)해밀소프트 | 음용 소비 실시간 모니터링 시스템 |
| KR102138017B1 (ko) * | 2019-05-16 | 2020-07-27 | 이원석 | 식자재 주문 서비스 제공 방법 |
| KR102315848B1 (ko) * | 2021-02-14 | 2021-10-21 | 안두섭 | 쇼핑 리스트 빌드업 서비스 제공 시스템 |
| KR20220008174A (ko) * | 2020-07-13 | 2022-01-20 | (주)알파그래픽스 | 다이어트 관리 장치, 다이어트 관리 방법 및 다이어트 관리 프로그램 |
| KR102358479B1 (ko) * | 2020-08-07 | 2022-02-07 | 건국대학교 글로컬산학협력단 | 식재료 재고 관리 및 레시피 제공 장치, 방법 및 시스템 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015133047A (ja) * | 2014-01-15 | 2015-07-23 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US9754229B2 (en) * | 2014-11-17 | 2017-09-05 | Viveo Labs, Inc. | Systems, methods, and apparatuses for tracking status of time-sensitive articles |
| US10127586B2 (en) | 2015-11-02 | 2018-11-13 | International Business Machines Corporation | Purchasing recommendations based on expiration versus consumption behavior |
| CN105529032A (zh) * | 2016-02-01 | 2016-04-27 | 合肥华凌股份有限公司 | 食物位置识别系统及方法 |
| US11315071B1 (en) * | 2016-06-24 | 2022-04-26 | Amazon Technologies, Inc. | Speech-based storage tracking |
| US10853761B1 (en) | 2016-06-24 | 2020-12-01 | Amazon Technologies, Inc. | Speech-based inventory management system and method |
| US11016634B2 (en) * | 2016-09-01 | 2021-05-25 | Samsung Electronics Co., Ltd. | Refrigerator storage system having a display |
| US20180234261A1 (en) * | 2017-02-14 | 2018-08-16 | Samsung Electronics Co., Ltd. | Personalized service method and device |
| CN107606870A (zh) * | 2017-08-10 | 2018-01-19 | 深圳益创信息科技有限公司 | 一种智能制冷方法及冰箱 |
| WO2019037023A1 (zh) * | 2017-08-24 | 2019-02-28 | 深圳益创信息科技有限公司 | 一种智能制冷方法及冰箱 |
| US11361752B2 (en) * | 2017-09-11 | 2022-06-14 | Mitsubishi Electric Corporation | Voice recognition dictionary data construction apparatus and voice recognition apparatus |
| US20190108287A1 (en) * | 2017-10-11 | 2019-04-11 | NutriStyle Inc | Menu generation system tying healthcare to grocery shopping |
| US10955182B2 (en) | 2017-11-07 | 2021-03-23 | FreshRealm, LLC | Dynamic packing system |
| US10942932B2 (en) | 2018-01-22 | 2021-03-09 | Everything Food, Inc. | System and method for grading and scoring food |
| CN110555162B (zh) * | 2018-06-01 | 2024-07-19 | 北京京东尚科信息技术有限公司 | 季节属性的确定方法、系统、设备和存储介质 |
| US11294950B2 (en) * | 2019-01-18 | 2022-04-05 | Haier Us Appliance Solutions, Inc. | Cooking engagement system equipped with a recipe application for combining third party recipe content |
| CN113158014A (zh) * | 2020-01-22 | 2021-07-23 | 青岛海尔电冰箱有限公司 | 菜谱推荐方法、冰箱、计算机可读存储介质 |
| CN113157719B (zh) * | 2020-01-22 | 2022-08-19 | 青岛海尔电冰箱有限公司 | 冰箱菜品管理方法、冰箱及存储介质 |
| IT202000014830A1 (it) | 2020-06-19 | 2021-12-19 | Alfa Holding Di Annarita Caponi E C Sas | Sistema di approvvigionamento a domicilio di beni di consumo |
| CN114251917A (zh) * | 2020-09-22 | 2022-03-29 | 海信（山东）冰箱有限公司 | 冰箱 |
| CN114485037B (zh) * | 2022-02-11 | 2024-04-05 | 海信冰箱有限公司 | 一种冰箱及其食材定位方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8429026B1 (en) * | 1999-06-28 | 2013-04-23 | Dietfood Corp. | System and method for creating and submitting electronic shopping lists |
| US6711419B1 (en) * | 2000-07-13 | 2004-03-23 | Sun Microsystems, Inc. | Integrated information appliance |
| US6982640B2 (en) * | 2002-11-21 | 2006-01-03 | Kimberly-Clark Worldwide, Inc. | RFID system and method for tracking food freshness |
| US7762665B2 (en) * | 2003-03-21 | 2010-07-27 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
| KR100761019B1 (ko) * | 2005-12-30 | 2007-09-21 | 삼성전자주식회사 | 휴대단말기에 있어서 냉장고의 무선통신망을 이용한 식재료 물품관리방법 |
| US7907054B1 (en) * | 2006-06-05 | 2011-03-15 | Nguyen Thu H | Advanced food and/or drink organization and/or handling system |
| JP2008277327A (ja) * | 2007-04-25 | 2008-11-13 | Toyota Industries Corp | 電子機器 |
| US9691114B2 (en) * | 2008-10-23 | 2017-06-27 | Whirlpool Corporation | Consumables inventory management method |
| US20110213667A1 (en) * | 2010-02-26 | 2011-09-01 | Salvatore Ierullo | Method and system for preparing a dish and content presentation |
| US20120101876A1 (en) * | 2010-10-21 | 2012-04-26 | S. C. Johnson, Inc. | Method of managing household product inventory |
| KR101783615B1 (ko) * | 2011-08-12 | 2017-10-10 | 엘지전자 주식회사 | 단말기를 이용한 상품 구매 관리 시스템 및 상기 시스템을 이용하는 냉장고 |
| KR102003938B1 (ko) * | 2012-08-10 | 2019-07-25 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
| EP4273486A3 (en) * | 2012-08-23 | 2024-01-03 | Trumed Systems, Inc. | Refrigerator and method for a smart storage of temperature sensitive pharmaceuticals |
| US20140095479A1 (en) * | 2012-09-28 | 2014-04-03 | Sherry S. Chang | Device, method, and system for recipe recommendation and recipe ingredient management |
| GB201308760D0 (en) * | 2013-03-06 | 2013-06-26 | Macquet Christopher T J | A system and method for automated monitoring of food and beverage intake,determining associated nutritional information and comparing with a predetermined |
| US9412086B2 (en) * | 2013-03-07 | 2016-08-09 | Bradd A. Morse | Apparatus and method for customized product data management |
-
2013
- 2013-10-21 KR KR20130125256A patent/KR20150045683A/ko not_active Application Discontinuation
-
2014
- 2014-10-16 US US14/516,138 patent/US20150112759A1/en not_active Abandoned
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101712432B1 (ko) * | 2016-05-12 | 2017-03-06 | (주)해밀소프트 | 음용 소비 실시간 모니터링 시스템 |
| KR102138017B1 (ko) * | 2019-05-16 | 2020-07-27 | 이원석 | 식자재 주문 서비스 제공 방법 |
| KR20220008174A (ko) * | 2020-07-13 | 2022-01-20 | (주)알파그래픽스 | 다이어트 관리 장치, 다이어트 관리 방법 및 다이어트 관리 프로그램 |
| KR102358479B1 (ko) * | 2020-08-07 | 2022-02-07 | 건국대학교 글로컬산학협력단 | 식재료 재고 관리 및 레시피 제공 장치, 방법 및 시스템 |
| KR102315848B1 (ko) * | 2021-02-14 | 2021-10-21 | 안두섭 | 쇼핑 리스트 빌드업 서비스 제공 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150112759A1 (en) | 2015-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150045683A (ko) | 맞춤형 식생활 서비스 제공 방법 및 맞춤형 식생활 서비스 제공 장치 | |
| US11353259B2 (en) | Augmented-reality refrigerator and method of controlling thereof | |
| US10657966B2 (en) | Better resolution when referencing to concepts | |
| US11732961B2 (en) | Augmented-reality refrigerator and method of controlling thereof | |
| US12067986B2 (en) | Embedded instructions for voice user interface | |
| US10977452B2 (en) | Multi-lingual virtual personal assistant | |
| CN109196491B (zh) | 机器智能预测通信和控制系统 | |
| US11238871B2 (en) | Electronic device and control method thereof | |
| WO2019142427A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| US9734193B2 (en) | Determining domain salience ranking from ambiguous words in natural speech | |
| CN108197115A (zh) | 智能交互方法、装置、计算机设备和计算机可读存储介质 | |
| CN107656983A (zh) | 一种基于声纹识别的智能推荐方法及装置 | |
| CN112825248B (zh) | 语音处理方法、模型训练方法、界面显示方法及设备 | |
| US11138901B1 (en) | Item recognition and analysis | |
| US20200175973A1 (en) | Vocal utterance based item inventory actions | |
| WO2017223298A2 (en) | Speech-based storage tracking | |
| US10853761B1 (en) | Speech-based inventory management system and method | |
| US11483174B1 (en) | Device functionality control utilizing activity prediction | |
| Basile et al. | You write like you eat: Stylistic variation as a predictor of social stratification | |
| US11133020B2 (en) | Assistive technology | |
| KR20230016013A (ko) | 디바이스-특정 신호에 기초하여 어시스턴트 디바이스(들)에 대한 시맨틱 레이블(들) 추론하기 | |
| US11410638B1 (en) | Voice user interface for nested content | |
| US11315071B1 (en) | Speech-based storage tracking | |
| CN113111664B (zh) | 文本的生成方法、装置、存储介质及计算机设备 | |
| Foucard et al. | Exploring new features for music classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |