TW201901598A - 飲食資訊建議系統及其飲食資訊建議方法 - Google Patents

飲食資訊建議系統及其飲食資訊建議方法 Download PDF

Info

Publication number
TW201901598A
TW201901598A TW106115918A TW106115918A TW201901598A TW 201901598 A TW201901598 A TW 201901598A TW 106115918 A TW106115918 A TW 106115918A TW 106115918 A TW106115918 A TW 106115918A TW 201901598 A TW201901598 A TW 201901598A
Authority
TW
Taiwan
Prior art keywords
comparison
food
photo
platform
database
Prior art date
Application number
TW106115918A
Other languages
English (en)
Inventor
劉宗岦
曹榮成
Original Assignee
浩鑫股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浩鑫股份有限公司 filed Critical 浩鑫股份有限公司
Priority to TW106115918A priority Critical patent/TW201901598A/zh
Priority to US15/648,458 priority patent/US20180330224A1/en
Publication of TW201901598A publication Critical patent/TW201901598A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2468Fuzzy queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/043Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0639Item locations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0092Nutrition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Abstract

一種飲食資訊建議系統及其飲食資訊建議方法,其中飲食資訊建議系統至少包括比對平台、資料庫及安裝於使用者終端的應用程式。資料庫儲存大量預先建置的神經元,每一個神經元分別包含圖片及對應的名稱。使用者於進行飲食時,通過使用者終端擷取食物的照片,並藉由應用程式連接比對平台並上傳所擷取的照片。比對平台將照片與資料庫中大量的神經元進行模糊比對,以識別照片中的食物並回傳相關資料至使用者終端。並且,比對平台進一步依據識別出的食物產生對應使用者的飲食建議,並一併回傳至使用者終端。

Description

飲食資訊建議系統及其飲食資訊建議方法
本發明涉及一種建議系統及建議方法,尤其是涉及一種飲食資訊建議系統及其飲食資訊建議方法。
近年來,人民的生活水平提高,一般大眾對於健康越來越重視,不但健身的風潮盛起,對於飲食也越來越講究(例如要求有機食材,或是於用餐時記錄餐點的熱量等)。
然而,不同的餐廳對於餐點有不同的管理制度,絕大部分的餐廳並不會提供餐點的相關資訊(例如餐點的份量、熱量等等),因此,對於需要對飲食做管控的消費者來說,相當不方便。
承上所述,部分消費者有自已預先設定的健身/瘦身目標,而在攝取了過多的熱量後,必須要調整未來的飲食方式或是健身計劃,否則將無法達到上述目標。然而,於現有技術中,並沒有一套有效的系統或方法,可以協助消費者快速且方便地實現上述目的,實為可惜。
本發明的主要目的,在於提供一種飲食資訊建議系統及其飲食資訊建議方法,可供使用者藉由食物的照片而直接取得食物的相關資料,並且取得系統針對使用者所產生並提供的飲食建議。
為了達成上述目的,本發明的飲食資訊建議系統至少包括比對平台、資料庫及安裝於使用者終端的應用程式,其中資料庫儲存大量預先建置的神經元,每一個神經元分別包含圖片及對應的名稱。飲食資訊建議方法是在使用者進行飲食時,通過使用者終端擷取食物的照片,並藉由應用程式連接比對平台並上傳所擷取的照片。接著,比對平台將照片與資料庫中的大量神經元進行模糊比對,以識別照片中的食物並回傳相關資料至使用者終端。並且,比對平台進一步依據識別出的食物產生對應使用者的飲食建議,並一併回傳至使用者終端。
為了達成上述目的,本發明的飲食資訊建議方法至少包括下列步驟:a)由應用程式將使用者終端擷取的食物的照片上傳至比對平台;b)由比對平台將照片與資料庫中的複數神經元進行模糊比對,以產生比對結果並回傳至應用程式,其中各神經元分別包含圖片及對應的名稱,比對結果至少包含食物的名稱;c)由比對平台依據食物的名稱查詢資料庫以取得的食物資料,並且回傳至應用程式;d)由比對平台依據應用程式的帳號查詢資料庫以取得對應的使用者資料;及,e)依據使用者資料及食物資料產生飲食建議並回傳至應用程式。
本發明相對於現有技術,可達到令使用者方便且快速地取得食物的相關資料,並且取得系統針對使用者自身所給出的飲食建議的技術功效,而有助於使用者對於飲食的管控。
茲就本發明之一較佳實施例,配合圖式,詳細說明如後。
本發明揭露了一種飲食資訊建議系統(下面簡稱為建議系統),主要用以接收使用者上傳的食物的照片,並且經過比對分析後,提供使用者所食用的食物的相關資訊,並且針對各別使用者給出飲食建議。藉此,有利於使用者進行飲食管控。
參閱圖1,為本發明的第一具體實施例的飲食資訊建議系統架構圖。如圖1所示,本發明的建議系統至少包括比對平台1、資料庫2及應用程式40,其中比對平台1連接資料庫2,而應用程式40主要是安裝並執行於使用者所持有的使用者終端4。
本發明中,應用程式40為建議系統的開發者所提供,使用者可下載應用程式40並安裝於使用者終端4中。藉此,使用者終端4可藉由應用程式40的執行來與比對平台1建立連線。
於一實施例中,使用者可操作使用者終端4,以通過使用者終端4的相機鏡頭(圖未標示)擷取食物的照片,並且藉由應用程式40將照片上傳至比對平台1。本發明中,比對平台1會對應用程式40所上傳的照片進行比對辨識,以辨識出照片中的食物為何,並且進一步回傳食物的相關資訊至應用程式40。藉此,應用程式40可通過使用者終端4的螢幕來顯示上述相關資訊,以供使用者進行查看。
請同時參閱圖2,為本發明的第一具體實施例的資料庫示意圖。如圖2所示,資料庫2中至少儲存有預先建置的複數神經元(neuron)21,其中各個神經元21分別包含一張圖片以及圖片所對應的名稱。
具體地,建議系統還包括深度學習系統3,連接比對平台1及資料庫2。於一實施例中,深度學習系統3是對上傳至資料庫2的所有圖片分別設定對應的名稱,並且再依據所設定的名稱對各個圖片進行分類,以建置所述的複數神經元21。
本實施例中,資料庫2中的圖片主要為各種食物的圖片,例如牛排、豬排、橘子、香蕉、蘋果、香菇、胡蘿蔔、紅酒、白酒等。深度學習系統3於進行上述的分類動作時,可依據各個圖片的名稱進行分類,或是依據各個圖片的種類進行分類(例如肉類、水果類、蔬菜類、飲料類等),不加以限定。
本發明中,比對平台1從應用程式40接收了上述照片後,主要是將照片與資料庫2中的複數神經元21進行模糊比對。並且,於模糊比對完成後,比對平台1產生比對結果,並將比對結果回傳至應用程式40。本實施例中,所述比對結果至少包含所述照片中的食物的名稱。藉此,應用程式40可通過使用者終端4的螢幕顯示比對結果,以供使用者瞭解照片中的食物為何,並且使用者可以進一步判斷比對平台1的比對結果是否正確。上述模糊比對為本技術領域中的習知技術,於此不再贅述。
本發明中,比對平台1可進一步依據模糊比對所得的食物的名稱來查詢資料庫2,以由資料庫2中取得所述食物的食物資料22,並且將食物資料22回傳至應用程式40。藉此,應用程式40可通過使用者終端4的螢幕顯示食物資料22,以供使用者瞭解所述食物的相關資訊。於一實施例中,所述食物資料22可例如為照片中的食物的份量、熱量、營養素等,但不以此為限。
於另一實施例中,使用者於使用者終端4上執行應用程式40後,需進一步登入使用者的帳號(例如輸入使用者的帳號與密碼)。並且,應用程式40於確認使用者的帳號正確後,再建立使用者終端4與比對平台1的連線。
於本實施例中,比對平台1還可於由應用程式40取得使用者的帳號,並且依據所述帳號查詢資料庫2,以由資料庫2中取得使用者所對應的使用者資料23。本實施例中,所述使用者資料23可例如為使用者的年齡、身高、體重、血壓、體脂肪等。藉此,比對平台1可於模糊比對完成後,依據所述使用者資料23及食物資料22共同產生飲食建議,並且將飲食建議回傳至應用程式40。
承上,應用程式40可通過使用者終端4的螢幕顯示上述飲食建議,以供使用者瞭解並調整接下來的飲食方式。例如,比對平台1可通過上述飲食建議提醒使用者飲用無糖飲料、可以加點的附餐選項、今日可攝取的剩餘熱量等,但不以此為限。
值得一提的是,所述使用者資料23可進一步記錄使用者的當前健身計劃(例如預計運動的日期、每次運動的項目及時間等)。於本實施例中,比對平台1還可於取得所述使用者資料23後,依據所述使用者資料23及食物資料22共同產生未來健身計劃,並且將未來健身計劃回傳至應用程式40。
於本實施例中,比對平台1是依據食物資料22判斷使用者目前攝取的食物份量與熱量是否會影響使用者的健身/瘦身目標,並且於判斷為是時,調整使用者資料23中的當前健身計劃,以產生所述未來健身計劃。藉此,應用程式40可通過使用者終端4的螢幕顯示所述未來健身計劃,以協助使用者藉由接下來的運動消耗食用了所述食物所增加的卡路里。
通過上述技術手段,當使用者不小心攝取過多的熱量而可能無法達到預先設定的健身/瘦身目標時,本發明的建議系統可藉由對健身計劃的自動修正,降低飲食對使用者所造成的影響。舉例來說,當使用者攝取的熱量超過標準時,比對平台1可於所述當前健身計劃中增加運動日期、延長運動時間、或是改善運動項目,以產生所述未來健身計劃。藉此,可以有效增加使用者於未來一段時間內可藉由健身而消耗的卡路里。
續請參閱圖3,為本發明的第一具體實施例的神經元建置流程圖。本發明是由建議系統的開發者上傳大量的圖片至資料庫2中(步驟S10),具體地,所述圖片主要為各種類型的食物的圖片。接著,由深度學習系統3對資料庫2中的圖片設定對應的名稱(即,圖片中的食物的名稱)(步驟S12),並且依據所設定的名稱對圖片進行分類,以建置資料庫2中的複數神經元21(步驟S14)。
於一實施例中,深度學習系統3可藉由已知的圖像辨識演算法對資料庫2中的圖片進行辨識,以獲得圖片中的食物的名稱。於另一實施例中,深度學習系統3可接受管理人員的操控,並由管理人員直接設定資料庫2中的圖片的名稱。接著,再由深度學習系統3依據該些圖片以及圖片的名稱來進行學習,以利比對平台1進行後續的模糊比對。
參閱圖4,為本發明的第一具體實施例的飲食資訊建議流程圖。本發明進一步揭露了一種飲食資訊建議方法(下面簡稱為建議方法),主要運用於如圖1所示的建議系統。
如圖4所示,要實現本發明的建議方法,首先使用者需於使用者終端4內安裝並執行應用程式40,並且於吃飯時通過使用者終端4的相機鏡頭(圖未標示)拍攝食物的照片(步驟S20),再藉由應用程式40將照片上傳至比對平台1(步驟S22)。
比對平台1從應用程式40接收照片後,將照片與資料庫2中預先建置完成的複數神經元21進行模糊比對(步驟S24)。並且,比對平台1於比對完成後產生比對結果,再將比對結果回傳至應用程式40(步驟S26),其中,比對結果至少包括照片中的食物的名稱。進而,應用程式40可將比對結果顯示於使用者終端4的螢幕上,以供使用者查看。
於回傳了比對結果後,比對平台1可自動執行下述動作,或是於接收使用者通過應用程式40所發出的觸發訊號後,執行下述動作,以提供進一步的詳細資訊至應用程式40,以供使用者查看。
具體地,比對平台1可依據所述食物的名稱查詢資料庫2,以於資料庫2中取得所述食物(例如牛排、蘋果等)對應的食物資料22,並且回傳所取得的食物資料22至應用程式40(步驟S28)。進而,應用程式40可將食物資料22顯示於使用者終端4的螢幕上,以供使用者查看。於本實施例中,所述食物資料22可例如為所述食物的份量、熱量、營養素等。
另外,比對平台1還可於連線時,從應用程式40取得使用者登入應用程式40所使用的帳號,並依據所述帳號查詢資料庫2,以取得對應所述帳號的使用者資料23(步驟S30)。接著,比對平台1依據使用者資料23及所述食物資料22產生給使用者的飲食建議,並且回傳飲食建議至應用程式40(步驟S32)。進而,應用程式40可將飲食建議顯示於使用者終端4的螢幕上,以供使用者查看。
於一實施例中,使用者資料23可包括使用者的當前健身計劃。比對平台1還可依據所述使用者資料23及所述食物資料22產生給使用者的未來健身計劃,並且回傳未來健身計劃至應用程式40(步驟S32)。進而,應用程式40可將未來健身計劃顯示於使用者終端4的螢幕上,以供使用者查看。
參閱圖5A及圖5B,分別為本發明的第一具體實施例的使用示意圖及顯示示意圖。如圖5A所示,當使用者在吃飯時,可先通過使用者終端4拍攝食物5的照片,並且藉由應用程式40將照片上傳至比對平台1進行模糊比對。本實施例中,所述食物5是以牛排為例,但不加以限定。
接著,如圖5B所示,比對平台1完成模糊比對後,可選擇性地回覆前述的比對結果、食物資料22、飲食建議及未來健身計劃至應用程式40,並顯示於使用者終端4的螢幕41上,以供使用者查看。於本實施例中,比對結果包含食物5的名稱:「牛排」;食物資料22包括食物5的數量(如6盎司)及熱量(如228kcal);飲食建議為:「今日熱量已超標,建議停止進食」;未來健身計劃為:「建議於用餐完畢後騎自行車1.5小時」。惟,上述僅為本發明的一個具體實施例,但不以此為限。
參閱圖6,為本發明的第一具體實施例的神經元更新流程圖。本發明的資料庫2中已預先建置大量的神經元21,惟,在對使用者上傳的照片進行模糊比對並得到比對結果後,本發明的建議系統進一步依據比對結果更新資料庫2中的神經元21,以提高模糊比對的準確率。經本案發明人實驗發現,若資料庫2中預先建置的神經元21的數量充足,則使用者於使用本發明的建議系統的前期,模糊比對的準確率約為75%。並且,經過長期使用並持續更新資料庫2,相同使用者於一年後使用本發明的建議系統,其模糊比對的準確率約可提高至97%。
如圖6所示,首先,應用程式40從比對平台1接收照片的比對結果,並將比對結果顯示於使用者終端4的螢幕41上(步驟S40)。接著,由應用程式40或使用者判斷比對結果是否正確(步驟S42),即,比對結果中的名稱是否與實際的食物5相符。於一實施例中,使用者可操作使用者終端4上的使用者介面(例如按鍵或觸控螢幕等),以進行比對結果正確或錯誤的回饋動作。
若比對結果正確,則應用程式40回饋正確訊號至比對平台1。藉此,比對平台1直接將所述照片及比對結果傳送至深度學習系統3(步驟S44),並且,由深度學習系統3根據所述照片及比對結果來更新資料庫2中的複數神經元21(步驟S46)。具體地,深度學習系統3是依據照片及比對結果來建置新的神經元21,並且儲存至資料庫2的對應分類資料夾中。
若比對結果錯誤,則應用程式40回饋錯誤訊號至比對平台1。於本實施例中,應用程式40可接收使用者通過使用者終端4的使用者介面所輸入的正確名稱(步驟S48),並且將所述正確名稱上傳至比對平台1(步驟S50)。本實施例中,比對平台1是將所述照片及使用者輸入的正確名稱傳送至深度學習系統3(步驟S52),並由深度學習系統3根據所述照片及所述正確名稱來更新資料庫2中的複數神經元21(步驟S46)。
並且,若比對結果錯誤,則比對平台1可在取得了上述正確名稱後,再依據所述正確名稱重新取得並提供前述的食物資料22、飲食建議及未來健身計劃等資訊。通過圖6所示的技術方案,使用者可在模糊比對的結果錯誤時,藉由更正食物的名稱來避免接收錯誤的資訊,並且藉由持續訓練神經元21來提高比對平台1的辨識準確率。
值得一提的是,於一實施例中,比對平台1是對所述照片進行一或多次的模糊比對,以產生一或多次對應的模糊比對結果,並且再依據一或多次的模糊比對結果來統計產生最終的比對結果。其中,所述比對結果為依據一或多個模糊比對結果所產生的一或多個名稱,以及各個名稱的可能性百分比。具體地,比對平台1可依據照片中的食物影像的形狀、色彩、表皮狀態、尺寸大小、烹調方式及配料等參數的至少其中之一來執行一或多次的模糊比對,並獲得一或多個模糊比對結果。
舉例來說,比對平台1依據食物影像的形狀進行第一模糊比對並得到第一模糊比對結果為“橘子”、依據食物影像的色彩進行第二模糊比對並得到第二模糊比對結果為“橘子”、依據食物影像的表皮狀態進行第三模糊比對並得到第三模糊比對結果為“橘子”、依據食物影像的尺寸大小進行第四模糊比對並得到第四模糊比對結果為“蘋果”,並依據食物影像的烹調方式進行第五模糊比對並得到第五模糊比對結果為“橘子”。
於上述例子中,由於五個模糊比對結果中有四個顯示照片中的食物5為橘子,而有一個顯示照片中的食物5為蘋果,因此,比對平台1統計產生的最終的比對結果可例如為:「80%為橘子、20%為蘋果」。惟,上述僅為本發明的其中一個實施例,不應以此為限。
續請參閱圖7,為本發明的第一具體實施例的照片處理流程圖。於一些情況下,使用者所拍攝的照片中可能包含食物5以外的物體(例如桌面、盤子等),或是單一張照片中可能同時包含多種食物5。本發明的建議系統可通過圖7所示的流程對照片進行前處理,以提高比對平台1的辨識準確率。
具體地,首先比對平台1接收應用程式40上傳的照片(步驟S60),接著對照片進行過濾處理,以去除照片中除了食物影像以外的不必要資訊(步驟S62)。本實施例中,比對平台1可藉由已知的影像辨識演算法來分析照片中的食物影像以及不必要資訊,所述的不必要資訊為食物以外的影像,例如人物、桌面、盤子、餐具等,不加以限定。
接著,比對平台1進一步判斷照片中是否具有多筆食物影像(步驟S64)。具體地,比對平台1可藉由已知的影像辨識演算法來分析照片,以判斷照片中具有單一筆食物影像,或是同時具有多筆食物影像。
若判斷照片中不具有多筆食物影像,則比對平台1直接對照片中的食物影像進行如圖4的步驟S24所述的模糊比對(步驟S66)。惟,若判斷照片中具有多筆食物影像,則比對平台1先對照片中的多筆食物影像進行切割,以得到多筆食物影像,並且對多筆食物影像分別進行圖4的步驟S24所述的模糊比對(步驟S68)。
舉例來說,若照片中包含兩筆食物影像(例如主菜的牛排及配菜的花椰菜),則比對平台1會於切割後,依據牛排的影像執行第一模糊比對,並且再依據花椰菜的影像執行第二模糊比對。並且,該些模糊比對動作可為依序執行或同時執行,不加以限定。
通過上述技術手段,本發明的建議系統可依據單一照片中的多個食物5給出對應的多個食物資料22,並且綜合多個食物資料22給出整合後的飲食建議及未來健身計劃。藉此,使用者不需針對多個食物5來分別拍攝並上傳多張照片,相當便利。
參閱圖8,為本發明的第二具體實施例的照片處理流程圖。本實施例中,比對平台1在對照片進行過濾處理時,除了上述食物影像外,還可保留部分或全部的文字影像(例如菜單中的餐點名稱),以提高比對平台1的辨識準確率。
具體地,比對平台1先接收應用程式40上傳的照片(步驟S70),接著對照片進行過濾處理,以去除照片中的不必要資訊(步驟S72)。本實施例中,所述的不必要資訊為食物以及文字以外的影像,但不加以限定。接著,比對平台1進一步判斷照片中是否具有文字影像(步驟S74)。具體地,比對平台1可藉由已知的影像辨識演算法來分析照片,以判斷照片中除了所述食物影像以外,是否具時具有文字影像。
若判斷照片中不具有文字影像,則比對平台1直接對照片中的食物影像進行如圖4的步驟S24所述的模糊比對(步驟S76)。惟,若判斷照片中具有至少一筆文字影像,則比對平台1先對照片中的文字影像進行文字辨識並產生文字辨識結果(步驟S78),並且再依據照片中的食物影像執行圖4的步驟S24所述的模糊比對(步驟S76)。
本實施例中,比對平台1於步驟S76中可依據食物影像的形狀、色彩、表皮狀態等參數執行多次的模糊比對動作並產生多筆的模糊比對結果。並且,比對平台1是同時依據所述多筆模糊比對結果以及所述文字辨識結果來共同產生最終的比對結果。藉此,可有效提升照片中食物的辨識準確率。
參閱圖9,為本發明的第二具體實施例的飲食資訊建議流程圖。於圖4所示的第一具體實施例中,比對平台1是將應用程式40上傳的照片與資料庫2中的所有神經元21進行模糊比對,以產生比對結果。於圖9的實施例中,比對平台1先對資料庫2中的神經元21進行過濾以降低比對數量後,再進行模糊比對。藉此,可提高辨識準確率,並降低建議系統的工作負載量。
本實施例中,使用者是先操作使用者終端4以擷取食物5的照片(步驟S90),並且通過使用者終端4的定位模組(圖未標示)取得使用者終端4的GPS定位資訊(步驟S92)。接著,通過應用程式40將所述照片及GPS定位資訊上傳至比對平台1(步驟S94)。接著,於執行模糊比對前,比對平台1先依據所接收的GPS定位資訊查詢資料庫2,以獲取使用者終端4目前所在位置的相關資料。
具體地,本實施例是假定使用者目前位於販賣食物的店家之中,而比對平台1是根據GPS定位資訊從資料庫2中取得如圖2所示的店家資料24(步驟S96)。並且,比對平台1再依據店家資料24來過濾資料庫2中的複數神經元21(步驟S98)。具體地,比對平台1是於資料庫2中過濾使用者所在的店家沒有販售的食物所對應的神經元21。
舉例來說,若比對平台1依據所述GPS定位資訊取得對應的店家資料24,並且店家資料24顯示使用者目前位於水果行,則經過上述步驟S98後,比對平台1可僅保留資料庫2中屬於水果類別的神經元21,並過濾其他類別(例如肉類、酒類等)的神經元21。
接著,比對平台1將所述照片與過濾後的複數神經元21進行模糊比對(步驟S100),並且於模糊比對後產生比對結果,再回傳比對結果至應用程式40(步驟S102)。相同地,所述比對結果至少需包含所述照片中的食物5的名稱。
於本實施例中,比對平台1還依據食物5的名稱以及店家資料24共同查詢資料庫2,以獲取所述食物5於所述店家中所對應的食物資料22,並且再回傳所獲取的食物資料22至應用程式40(步驟S104)。
具體來說,不同的店家對於相同的食物可能會有不同的份量或烹調方式。例如,A店家的牛排是8盎司的沙朗牛排加上玫瑰鹽,B店家的牛排則是6盎司的牛小排佐黑胡椒醬,雖然兩者都是牛排,但所得的食物資料22將會不同(例如兩者的份量及熱量皆不同)。本實施例中比對平台1同時依據食物5的名稱及店家資料24來查詢資料庫2,可令所得的食物資料22更為貼近使用者實際食用的食物5。
同樣地,於本實施例中,比對平台1可由應用程式40取得使用者的帳號,依據所述帳號查詢資料庫2以取得對應的使用者資料23,並且再依據使用者資料23及所述食物資料22產生給使用者的飲食建議與未來健身計劃,並且回傳至應用程式40(步驟S106)。
值得一提的是,本實施例中,建議系統可藉由上述食物資料22及店家資料24判斷使用者在哪個店家點了哪一種食物5。因此,比對平台1還可進一步記錄所述食物5於所述店家中的銷售狀態(步驟S108)。藉此,建議系統的開發者可進一步將上述銷售狀態反饋給各個店家,以令各個店家瞭解店內的各種食物(各種餐點)的銷售情形。
續請參閱圖10,為本發明的第二具體實施例的飲食資訊建議系統架構圖。與圖1所示的建議系統的差異在於,本實施例中,建議系統進一步包括連接比對平台1的社群平台6與健身中心平台7。
於本實施例中,比對平台1可以在完成模糊比對、取得了照片中的食物5所對應的食物資料22,並且計算產生了上述飲食建議及未來健身計劃後,自動填入使用者於社群平台6及/或健身中心平台7的帳號,以達到自動分享的效果。例如,比對平台1可自動於使用者的社群平台6(例如FACEBOOK、Google+等)的帳號分享所述照片及所述食物資料22。再例如,比對平台1可自動於使用者的健身中心平台7的帳號登錄所述未來健身計劃。
通過本發明的建議系統及建議方法,可令使用者快速地取得食物的相關資料,並且獲得系統針對使用者所給出的飲食建議與健身計劃,而有助於使用者對於飲食的管控。
以上所述僅為本發明之較佳具體實例,非因此即侷限本發明之專利範圍,故舉凡運用本發明內容所為之等效變化,均同理皆包含於本發明之範圍內,合予陳明。
1‧‧‧比對平台
2‧‧‧資料庫
21‧‧‧神經元
22‧‧‧食物資料
23‧‧‧使用者資料
24‧‧‧店家資料
3‧‧‧深度學習系統
4‧‧‧使用者終端
40‧‧‧應用程式
41‧‧‧螢幕
5‧‧‧食物
6‧‧‧社群平台
7‧‧‧健身中心平台
S10~S14‧‧‧建置步驟
S20~S32‧‧‧建議步驟
S40~S52‧‧‧更新步驟
S60~S68、S70~S78‧‧‧處理步驟
S90~S108‧‧‧建議步驟
圖1為本發明的第一具體實施例的飲食資訊建議系統架構圖。
圖2為本發明的第一具體實施例的資料庫示意圖。
圖3為本發明的第一具體實施例的神經元建置流程圖。
圖4為本發明的第一具體實施例的飲食資訊建議流程圖。
圖5A為本發明的第一具體實施例的使用示意圖。
圖5B為本發明的第一具體實施例的顯示示意圖。
圖6為本發明的第一具體實施例的神經元更新流程圖。
圖7為本發明的第一具體實施例的照片處理流程圖。
圖8為本發明的第二具體實施例的照片處理流程圖。
圖9為本發明的第二具體實施例的飲食資訊建議流程圖。
圖10為本發明的第二具體實施例的飲食資訊建議系統架構圖。

Claims (20)

  1. 一種飲食資訊建議系統,包括: 一資料庫,儲存預先建置的複數神經元,其中各該神經元分別包含一圖片及對應的一名稱; 一比對平台,連接該資料庫; 一應用程式,安裝於一使用者終端,該使用者終端藉由執行該應用程式與該比對平台建立連線,並且該應用程式將該使用者終端所擷取一食物的一照片上傳至該比對平台; 其中,該比對平台將該照片與該資料庫中的該複數神經元進行模糊比對,以產生一比對結果並回傳至該應用程式,其中該比對結果至少包含該食物的名稱; 其中,該比對平台依據該食物的名稱查詢該資料庫以取得該食物對應的一食物資料,並回傳該食物資料至該應用程式,並且該比對平台由該資料庫中取得該應用程式的帳號所對應的一使用者資料,依據該使用者資料及該食物資料產生一飲食建議並回傳至該應用程式。
  2. 如請求項1所述的飲食資訊建議系統,其中該使用者資料至少包括一使用者的一當前健身計劃,該比對平台由該資料庫中取得該使用者資料後,依據該使用者資料及該食物資料產生一未來健身計劃並回傳至該應用程式。
  3. 如請求項1所述的飲食資訊建議系統,其中更包括一深度學習系統,連接該比對平台及該資料庫,該深度學習系統對上傳至該資料庫的複數圖片設定名稱,並且依據所設定的名稱對該複數圖片進行分類,以建置該複數神經元。
  4. 如請求項3所述的飲食資訊建議系統,其中該比對平台於判斷該比對結果正確時,將該照片及該比對結果傳送至該深度學習系統,以由該深度學習系統根據該照片及該比對結果更新該資料庫中的該複數神經元。
  5. 如請求項4所述的飲食資訊建議系統,其中該比對平台於判斷該比對結果錯誤時,由該應用程式接收外部輸入的一正確名稱,並將該照片及該正確名稱傳送至該深度學習系統,以由該深度學習系統根據該照片及該正確名稱更新該資料庫中的該複數神經元。
  6. 如請求項3所述的飲食資訊建議系統,其中該比對平台依據該照片中的一食物影像的形狀、色彩、表皮狀態、尺寸大小、烹調方式及配料的至少其中之一執行一或多次的模糊比對,並獲得一或多個模糊比對結果,其中該比對結果包括依據該一或多個模糊比對結果產生的一或多個名稱,以及各個名稱的可能性百分比。
  7. 如請求項6所述的飲食資訊建議系統,其中該比對平台對該照片進行一過濾處理以去除不必要資訊,並且於該照片中包含一文字影像時,該比對平台對該文字影像進行文字辨識並產生一文字辨識結果,並且同時依據該一或多個模糊比對結果及該文字辨識結果產生該比對結果。
  8. 如請求項3所述的飲食資訊建議系統,其中該比對平台對該照片進行一過濾處理以去除一食物影像以外的不必要資訊,並且於該照片中包含多筆食物影像時,該比對平台對該多筆食物影像進行切割,並且對各該食物影像分別進行模糊比對並且分別產生對應的該比對結果。
  9. 如請求項3所述的飲食資訊建議系統,其中該應用程式將該使用者終端的一GPS定位資訊上傳至該比對平台,該比對平台依據該GPS定位資訊查詢該資料庫以獲取該使用者終端所在的一店家的一店家資料,並且依據該店家資料過濾該資料庫中的該複數神經元後,再將該照片與過濾後的該複數神經元進行模糊比對。
  10. 如請求項9所述的飲食資訊建議系統,其中該比對平台依據該照片中的該食物的名稱及該店家資料共同查詢該資料庫,以取得該食物於該店家中所對應的該筆食物資料,並回傳該食物資料至該應用程式。
  11. 如請求項9所述的飲食資訊建議系統,其中該比對平台記錄該食物於該店家中的一銷售狀態。
  12. 一種飲食資訊建議方法,運用於由一資料庫、一比對平台及安裝於一使用者終端的一應用程式所構成的一飲食資訊建議系統,並且該飲食資訊建議方法包括: a)該應用程式將該使用者終端所擷取的一食物的一照片上傳至該比對平台; b)該比對平台將該照片與該資料庫中預先建置的複數神經元進行模糊比對,以產生一比對結果並回傳至該應用程式,其中各該神經元分別包含一圖片及對應的一名稱,該比對結果至少包含該食物的名稱; c)該比對平台依據該食物的名稱查詢該資料庫以取得該食物對應的一食物資料,並且回傳該食物資料至該應用程式; d)該比對平台依據該應用程式的帳號查詢該資料庫以取得對應的一使用者資料;及 e)依據該使用者資料及該食物資料產生一飲食建議並回傳至該應用程式。
  13. 如請求項12所述的飲食資訊建議方法,其中該使用者資料至少包括一使用者的一當前健身計劃,並且該飲食資訊建議方法更包括一步驟f:步驟d後,依據該使用者資料及該食物資料產生一未來健身計劃並回傳至該應用程式。
  14. 如請求項12所述的飲食資訊建議方法,其中該飲食資訊建議系統更包括一深度學習系統,並且該飲食資訊建議方法更包括下列步驟: g)於該應用程式判斷該比對結果是否正確; h)於判斷該比對結果正確時,該比對平台將該照片及該比對結果傳送至該深度學習系統; i)步驟h後,由該深度學習系統根據該照片及該比對結果更新該資料庫中的該複數神經元; j)於判斷該比對結果錯誤時,由該應用程式接收外部輸入的一正確名稱並上傳至該比對平台; k)步驟j後,該比對平台將該照片及該正確名稱傳送至該深度學習系統;及 l)步驟k後,由該深度學習系統根據該照片及該正確名稱更新該資料庫中的該複數神經元。
  15. 如請求項12所述的飲食資訊建議方法,其中該步驟b是依據該照片中的一食物影像的形狀、色彩、表皮狀態、尺寸大小、烹調方式及配料的至少其中之一執行一或多次的模糊比對,並獲得一或多個模糊比對結果,其中該比對結果包括依據該一或多個模糊比對結果產生的一或多個名稱,以及各個名稱的可能性百分比。
  16. 如請求項15所述的飲食資訊建議方法,其中更包括下列步驟: m1)步驟a後,該比對平台對該照片進行一過濾處理,以去除不必要資訊; m2)於判斷該照片中具有單一筆該食物影像時,依據該食物影像執行步驟b;及 m3)於判斷該照片中具有多筆該食物影像時,對該多筆食物影像進行切割,並且依據各該食物影像分別執行步驟b。
  17. 如請求項15所述的飲食資訊建議方法,其中更包括下列步驟: n1)步驟a後,該比對平台對該照片進行一過濾處理,以去除該食物影像以外的不必要資訊; n2)於判斷該照片中不具有一文字影像時,依據該食物影像執行步驟b;及 n3)於判斷該照片中具有該文字影像時,對該文字影像進行文字辨識並產生一文字辨識結果,並依據該食物影像執行步驟b; 其中,該步驟b是同時依據該一或多個模糊比對結果及該文字辨識結果產生該比對結果。
  18. 如請求項12所述的飲食資訊建議方法,其中更包括下列步驟: a1)該應用程式將該使用者終端的一GPS定位資訊上傳至該比對平台; a2)該比對平台依據該GPS定位資訊查詢該資料庫,以獲取該使用者終端所在的一店家的一店家資料; a3)依據該店家資料過濾該資料庫中的該複數神經元; 其中,該步驟b是將該照片與過濾後的該複數神經元進行模糊比對。
  19. 如請求項18所述的飲食資訊建議方法,其中步驟c是依據該照片中的該食物的名稱及該店家資料共同查詢該資料庫,以獲取該食物於該店家中所對應的該筆食物資料,並回傳該食物資料至該應用程式。
  20. 如請求項19所述的飲食資訊建議方法,其中更包括一步驟o:該比對平台記錄該食物於該店家中的一銷售狀態。
TW106115918A 2017-05-15 2017-05-15 飲食資訊建議系統及其飲食資訊建議方法 TW201901598A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106115918A TW201901598A (zh) 2017-05-15 2017-05-15 飲食資訊建議系統及其飲食資訊建議方法
US15/648,458 US20180330224A1 (en) 2017-05-15 2017-07-13 Diet information recommendation system and diet information recommendation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106115918A TW201901598A (zh) 2017-05-15 2017-05-15 飲食資訊建議系統及其飲食資訊建議方法

Publications (1)

Publication Number Publication Date
TW201901598A true TW201901598A (zh) 2019-01-01

Family

ID=64097970

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115918A TW201901598A (zh) 2017-05-15 2017-05-15 飲食資訊建議系統及其飲食資訊建議方法

Country Status (2)

Country Link
US (1) US20180330224A1 (zh)
TW (1) TW201901598A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785691A (zh) * 2019-01-18 2019-05-21 广东小天才科技有限公司 一种通过终端辅助学习的方法和系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6355147B1 (ja) * 2018-01-17 2018-07-11 ライフログテクノロジー株式会社 食事管理システム
CN111435455A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 图片的处理方法和装置
CN111738784A (zh) * 2019-03-25 2020-10-02 上海寻梦信息技术有限公司 业务信息显示系统及方法、电子设备及计算机存储介质
US20210183495A1 (en) * 2019-12-11 2021-06-17 Stephen Floe Functionalized Food as Medicine Platform and Computer System
US20210366195A1 (en) * 2020-05-22 2021-11-25 Ohio State Innovation Foundation Method and system for generating data-enriching augmented reality applications from a domain-specific language
CN112148969A (zh) * 2020-08-24 2020-12-29 毛端中 膳食推荐方法、装置、计算机设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0414359A (pt) * 2000-06-16 2006-11-14 Bodymedia Inc sistema para a monitoração e gerenciamento do peso corpóreo e demais condições psicológicas que abrangem um planejamento interativo e personalizado, intervenção e capacidade de formular relatórios
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
WO2012094569A2 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US9442100B2 (en) * 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
TWI498845B (zh) * 2012-12-14 2015-09-01 Ind Tech Res Inst 飲食管理方法與系統
US20150228004A1 (en) * 2014-02-07 2015-08-13 Kristin Kaye Bednarek Smart Device Apps and Incentives For Encouraging The Creation and Sharing Electronic Lists To Imrpove Targeted Marketing While Preserving User Anonymity
US20150227890A1 (en) * 2014-02-07 2015-08-13 Kristin Kaye Bednarek Communications system and smart device apps supporting segmented order distributed distribution system
TWI582626B (zh) * 2015-10-20 2017-05-11 數位左右有限公司 餐飲環境圖像自動分類系統與其方法
CN105809598A (zh) * 2016-03-10 2016-07-27 青岛海尔智能家电科技有限公司 饮食摄入的管理方法、装置及云平台
CN106372401A (zh) * 2016-08-29 2017-02-01 京东方科技集团股份有限公司 一种健康饮食管理方法及管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785691A (zh) * 2019-01-18 2019-05-21 广东小天才科技有限公司 一种通过终端辅助学习的方法和系统
CN109785691B (zh) * 2019-01-18 2021-09-24 广东小天才科技有限公司 一种通过终端辅助学习的方法和系统

Also Published As

Publication number Publication date
US20180330224A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
TW201901598A (zh) 飲食資訊建議系統及其飲食資訊建議方法
US9977980B2 (en) Food logging from images
CN107845414B (zh) 用于营养物摄取量的用户特定调节的系统和方法
US20120179665A1 (en) Health monitoring system
US20130273509A1 (en) Method of Monitoring Nutritional Intake by Image Processing
US11048939B2 (en) Health trends identification
CN105138682A (zh) 方便菜与数字菜谱的匹配方法、服务器及终端
KR101959762B1 (ko) 인공 지능 기반 영상 및 음성 인식 영양 평가 방법
WO2018054124A1 (zh) 健康食品的推荐方法、装置及终端设备
CN109509117A (zh) 一种菜品推荐方法、装置及系统
JP2010061381A (ja) 自動レシピ作成装置およびプログラム
CN111863194A (zh) 一种饮食信息的展示方法、装置、设备及存储介质
Sudo et al. Machine learning–based screening of healthy meals from image analysis: System development and pilot study
JP2022530263A (ja) 食べ物測定方法、装置及びプログラム
EP2787459A1 (en) Method of monitoring nutritional intake by image processing
CN114360690B (zh) 一种慢病患者的饮食营养管理方法和系统
CN114359299B (zh) 一种饮食分割方法及慢病患者的饮食营养管理方法
CN114388102A (zh) 饮食推荐方法及装置和电子设备
CN108932265A (zh) 饮食信息建议系统及其饮食信息建议方法
KR20210049704A (ko) 음식 측정 방법, 장치, 및 프로그램
US20230170071A1 (en) Systems and methods for providing personalized nutritional information and recommendations
KR20180110754A (ko) 음식 적합도에 기초한 요리 정보 제공 방법 및 장치