TWI498845B - 飲食管理方法與系統 - Google Patents

飲食管理方法與系統 Download PDF

Info

Publication number
TWI498845B
TWI498845B TW101147599A TW101147599A TWI498845B TW I498845 B TWI498845 B TW I498845B TW 101147599 A TW101147599 A TW 101147599A TW 101147599 A TW101147599 A TW 101147599A TW I498845 B TWI498845 B TW I498845B
Authority
TW
Taiwan
Prior art keywords
dietary
image
food
approximate
supervector
Prior art date
Application number
TW101147599A
Other languages
English (en)
Other versions
TW201423656A (zh
Inventor
Chuan Wei Ting
Ching Yao Wang
Ju Chin Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW101147599A priority Critical patent/TWI498845B/zh
Priority to US13/854,970 priority patent/US9449029B2/en
Publication of TW201423656A publication Critical patent/TW201423656A/zh
Application granted granted Critical
Publication of TWI498845B publication Critical patent/TWI498845B/zh
Priority to US15/232,829 priority patent/US9971876B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Description

飲食管理方法與系統
本揭露是有關於一種飲食管理方法與系統。
近年來人們的飲食中大多具有高熱量、高脂與高糖食物，加上缺乏足夠的運動，使得罹患腸胃道疾病與心血管疾病的人數越來越多，並且罹病年齡亦有年輕化的趨勢。在醫療費用的支出上，因腸胃道疾病(包括大腸癌、直腸癌等)與心血管系統疾病(包括心臟病、腦血管疾病、高血壓等)與所產生的費用，已對國民健康與醫療資源造成相當沉重的壓力。為事先預防腸胃道與心血管系統的疾病，許多營養飲食專家不斷呼籲健康飲食的重要性，並指出不當的飲食是形成各種成人慢性病與加速衰老的主要原因。
世界衛生組織也提出，目前75%的現代人是處於亞健康狀態，身體有疾病的人佔20%，真正健康的人只佔5%。而在影響健康的三大因素(遺傳、生活環境及飲食營養)當中，只有飲食營養是個人可以掌控的。傳統的飲食管理方式需透過填表記錄個案的飲食情況，提供疾病或營養分析時所需的資訊。然而填表方式過於繁複，易降低個案的使用意願。
有鑑於此，如何利用資訊技術協助個人管理飲食的攝取與行為，是目前醫療與資訊領域所共同努力的目標。另 外，如何利用資訊技術協助個人蒐集飲食的情況，並分析所提供的飲食資訊之特性，同樣是現今相當重要的探索議題。
本揭露提供一種飲食管理方法與系統，可以基於飲食影像找出飲食特性相近似的族群，以及提供關於該近似族群的資訊。
本揭露提供一種飲食管理方法，可以基於飲食影像判斷飲食類別，以及提供個人飲食特性分析。
本揭露實施例提出一種飲食管理方法，包括：提供一超向量(supervector)，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及提供關於該近似族群的資訊。
本揭露實施例提出一種飲食管理系統，包括資料庫以及比對裝置。比對裝置耦接至該資料庫，依據一超向量於該資料庫進行相似度比對，以找出至少一近似族群，以及提供關於該近似族群的資訊，其中該超向量相關於至少一飲食影像。
本揭露實施例提出一種飲食管理方法，包括：透過一影像擷取裝置拍攝至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得出所述至少一飲食影像中的至少一餐飲部份(diet region)，以及獲得所述餐飲部份中的至少一細部食物區域(food segment)；對所述至少一細部食物區域 擷取至少一飲食影像特徵參數；依據所述至少一飲食影像特徵參數，決定所述至少一細部食物區域之飲食類別；以及依據所述至少一細部食物區域之飲食類別與面積提供一個人飲食特性分析。
基於上述，本揭露一些實施例所提供的飲食管理方法與系統，其可以基於飲食影像擷取出超向量，依據超向量找出飲食特性相近似的族群，以及提供關於該近似族群的資訊。本揭露另一些實施例所提供的飲食管理方法，可以基於飲食影像判斷飲食類別，以及提供個人飲食特性分析。
為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在本案說明書全文(包括申請專利範圍)中所使用的「耦接」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
以下實施例將說明一種基於影像分析之飲食管理系統與方法。隨著腸胃道疾病、心血管疾病的罹病率提升，飲 食管理為自主健康管理重要的一環。為普及與提升飲食管理之概念，以下實施例所述飲食管理系統與飲食管理方法可以結合手持式裝置(例如智慧型手機)的操作，以節省填表記錄的繁複，提高使用之意願。使用者可透過智慧型手機拍攝每日飲食之照片，上傳至以下實施例所述飲食管理系統。透過所提出飲食影像管理系統與飲食管理方法，可即時分析使用者之飲食影像內容。以下實施例所述飲食管理系統除了提供個人飲食特性相關資訊之外，更能透過飲食影像序列比對技術與社群資訊，提供與個人飲食內容較為相似的社群資訊，藉以瞭解飲食行為所產生的結果。
圖1是依照本揭露實施例說明一種飲食管理方法的流程示意圖。請參照圖1，步驟S110提供了相關於至少一飲食影像(diet image)的超向量(supervector)。在一些實施例中，所述飲食影像可以是本地端裝置/系統所拍攝；在另一些實施例中，所述飲食影像也可以由遠端裝置/系統所拍攝。在一些實施例中，步驟S110對所述飲食影像經由影像分析、影像區域切割與/或特徵擷取而產生所述超向量。在另一些實施例中，步驟S110可以對整張飲食影像進行影像分析與/或特徵擷取而產生所述超向量。在一些實施例中，所述影像分析、所述影像區域切割與/或所述特徵擷取可以是本地端裝置/系統所進行；在另一些實施例中，也可以由遠端裝置/系統(例如伺服器)對所述飲食影像進行所述影像分析、所述影像區域切割與/或所述特徵擷取。
於本實施例中，步驟S110可以用訓練模型架構之飲食區域切割方法。例如，定義常見食物之顏色；或依蒐集而來的飲食訓練影像進行切割訓練，以得到不同種類飲食的顏色分佈範圍。所獲得的不同種類飲食的顏色分佈範圍可以做為飲食區域切割之依據。
本實施例透過蒐集多種飲食影像，分析並歸納常見飲食類別之特性，依此特性發展具紋理長度、方向性與/或複雜程度量測概念之飲食特徵參數，進而根據該飲食區域內紋理長度、方向性與/或複雜程度而編碼的統計圖做為特徵向量。本實施例之特徵參數擷取之流程，將可擷取所歸納出之飲食影像特性(容後詳述)。在其他實施例中，依據實際產品的設計需求，步驟S110進行的所述特徵擷取可以採用局部二位元圖形(Local binary pattern,LBP)演算法、尺度不變特徵轉換(Scale Invariant feature transformation,SIFT)演算法、SURF(Speeded Up Robust Features)演算法、有向梯度直方圖(Histogram of orientation,HoG)演算法、RGB-LBP演算法、Opponent-LBP演算法、nRGB-LBP演算法、RGB-SIFT演算法或其他影像特徵擷取演算法。所述LBP演算法、SIFT演算法、SURF演算法、HoG演算法、RGB-LBP演算法、Opponent-LBP演算法、nRGB-LBP演算法與RGB-SIFT演算法皆屬公知技術，故不在此贅述。
圖2是依照本揭露實施例說明一種飲食管理系統200的功能方塊示意圖。依據實際產品的設計需求，在一些實 施例中，圖2所示飲食管理系統200可以實施為手持式裝置、桌上型裝置、固定式裝置或是其他電子裝置。在其他實施例中，圖2所示飲食管理系統200可以實施為包含多個電子裝置的電子系統。飲食管理系統200包括比對裝置210以及資料庫220。比對裝置210耦接至資料庫220。請同時參照圖1與圖2，比對裝置210進行步驟S120，以便依據該超向量於資料庫220進行相似度比對，以找出至少一近似族群。依照不同實際系統的設計需求，所述「相似度比對」可以用任何方式實現之。例如，本實施例使用綜合區域比對(integrated region matching)結合影像區域比對之方式，計算二張飲食影像之相似度。此外，將其概念延伸飲食影像序列，提供使用者每日飲食影像序列，與其他使用者飲食影像序列之比對(容後詳述)。
接下來，比對裝置210進行步驟S130，以便提供關於該近似族群的資訊。在一些實施例中，比對裝置210於步驟S130中可以將關於該近似族群的資訊提供給使用者；在另一些實施例中，比對裝置210於步驟S130中也可以將關於該近似族群的資訊提供給其他裝置，例如提供給遠端裝置/系統，與/或提供給本地端裝置/系統。飲食管理系統200將使用者每日飲食影像序列與其他使用者飲食影像序列之比對，並回傳其中有相似飲食習慣之社群資訊，協助使用者瞭解飲食行為所產生的結果，達到自主健康管理之目標。
圖3是依照本揭露另一實施例說明一種飲食管理方法的流程示意圖。圖3所示實施例可以參照圖1的相關說明。不同於圖1所示實施例之處，在於圖3所示實施例中步驟S110包括了步驟S111~S114，且步驟S130包括了步驟S131~S132。
圖4是依照本揭露另一實施例說明一種飲食管理系統400的功能方塊示意圖。圖4所示實施例可以參照圖2的相關說明。依據實際產品的設計需求，圖4所示飲食管理系統400可以實施為手持式裝置、桌上型裝置、固定式裝置或是其他本地端電子裝置。不同於圖2所示實施例之處，在於圖4所示實施例還包括了影像擷取裝置410、處理裝置420、特徵擷取裝置430以及使用者介面440。依據實際產品的設計需求，使用者介面440可以包括顯示面板、燈號、揚聲器、麥克風(microphone)及/或其他輸出(或輸入)裝置。另外，在其他實施例中，處理裝置420、特徵擷取裝置430以及比對裝置210全部或其部份可以整合為單一晶片，例如微處理器(micro-processor)、數位信號處理器(Digital Signal Processor,DSP)或是其他控制/處理電路。
請參照圖3與圖4，影像擷取裝置410進行步驟S111，以拍攝一張或多張飲食影像。例如，使用者在食用(或飲用)一份餐點前，使用者可以操作飲食管理系統400(例如智慧型手機)去拍攝該餐點，以便獲得所述飲食影像。
處理裝置420耦接至影像擷取裝置410。處理裝置420進行步驟S112，以將所述飲食影像進行前處理(pre-processing)。在一些實施例中，步驟S112包括將所述飲食影像轉換至正規化(Normalization)空間，以減少受測影像與資料庫影像條件不匹配之影響。在另一些實施例中，處理裝置420可以在步驟S112將所述飲食影像進行去背景處理，以從所述飲食影像獲得一個或多個餐飲部份(diet region)。例如，在一些實施例中，處理裝置420可以在步驟S112將整張飲食影像進行影像分析，以獲得其中餐飲部份的飲食影像特徵。又例如，在另一些實施例中，所述飲食影像前處理包含有色彩校正、亮度校正與/或白平衡校正，以及將校正後的飲食影像去除飲食影像背景而獲得所述餐飲部份。在一些實施例中，步驟S112可以採用Graph-Cut方法、Grab-Cut方法或是其他演算法進行影像切割。在本實施例中，餐飲部份的擷取與分割，主要是將使用者拍攝之飲食影像，依據色彩、紋理及/或其他資訊，將原始飲食影像分割成單個或多個的餐飲部份，以利後續可針對各餐飲部份分析處理。
例如，處理裝置420在步驟S112還可以從所述餐飲部份分割出一個或多個細部食物區域(food segment)。以一盤牛排的飲食影像為例，處理裝置420可以從所述飲食影像去除背景與餐盤，而分割出餐飲部份。然後，處理裝置420可以從所述餐飲部份分割出牛排、蔬菜(如果有的話)等細部食物區域(food segment)。
本實施例以顏色(例如綠、紅、黃、白、黑)為資訊，以高斯混合模型(Gaussian mixture model,GMM)演算法所訓練模型進行飲食區域分割。所述飲食影像的每個像素點(pixel)做顏色類別(color types)判斷。基於前景物與背景物灰階或色彩(RGB、HSV或YIQ)資訊，建立高斯混合模型。相較於傳統Graph-Cut方法的分割結果比較，本實施例所用方法較不易產生「細部碎形資訊較多且混雜」的情形。
特徵擷取裝置430耦接至處理裝置420。特徵擷取裝置430進行步驟S113，以對處理裝置420所提供的每一個細部食物區域擷取/萃取至少一飲食影像特徵參數。將細部食物區域經特徵參數擷取後，以飲食特徵向量儲存。在其他實施例中，步驟S113進行的所述特徵擷取包含LBP演算法、SIFT演算法、SURF演算法、HoG演算法、RGB-LBP演算法、Opponent-LBP演算法、nRGB-LBP演算法、RGB-SIFT演算法及/或其他影像特徵擷取演算法。從影像訊號轉換而成的所述飲食影像特徵參數能反映出對飲食行為分析有所助益之資訊。在不同實施例中，所述飲食影像特徵參數可以包括影像擷取時間、影像擷取地點、飲食顏色、紋理複雜度、反光程度或其他資訊。其中，所述紋理複雜度包括紋理強度、紋理方向、紋理長度、紋理量、紋理規則性或其他特徵參數。針對飲食影像之特性，本實施例以飲食影像紋理(texture)方向性為主之特徵參數，相關流程圖如圖5所示。
圖5是依照本揭露實施例說明一種特徵擷取方法的流程示意圖。圖1的步驟S110與圖3的步驟S113可以參照圖5的相關說明。透過食物觀察，影像之紋理資訊可以被提取作為分析依據。請參照圖4與圖5，特徵擷取裝置430進行步驟S510，以對所述細部食物區域進行梯度運算(gradient operators)，如使用Roberts cross-gradient operators、Sobel operators、Prewitt operators等一階梯度運算子，分別進行X方向差分計算與Y方向差分計算，以獲得X方向差分影像(difference image)與Y方向差分影像。
圖6是依照本揭露實施例說明X方向差分計算與Y方向差分計算的示意圖。細部食物區域610表示從飲食影像裁剪出的某一食物區域。需注意的是，細部食物區域610的外觀形狀不限於圖6所示長方形。在實際應用上，從飲食影像裁剪出的細部食物區域610常常是不規則形狀。
步驟S510對細部食物區域610的每一個像素進行X方向差分計算，以獲得X方向差分影像620。例如，於圖6的X方向上，每一個像素與其相鄰像素相減。以細部食物區域610中的部份像素611為例，部份像素611中的左上像素(其值為125)與其相鄰像素(部份像素611中的左中像素，其值為127)相減，而獲得X方向差分-2。此X方向差分-2作為X方向差分影像620中對應部份像素621的左上像素的像素值。其餘像素以此類推，以獲得X方向差分影像620。
步驟S510還可以對細部食物區域610的每一個像素進行Y方向差分計算，以獲得Y方向差分影像630。例如，於圖6的Y方向上，每一個像素與其相鄰像素相減。以細部食物區域610中的部份像素611為例，部份像素611中的左上像素(其值為125)與其相鄰像素(部份像素611中的中上像素，其值為129)相減，而獲得Y方向差分-4。此Y方向差分-4作為Y方向差分影像630中對應部份像素631的左上像素的像素值。其餘像素以此類推，以獲得Y方向差分影像630。
請參照圖4與圖5，特徵擷取裝置430進行步驟S520，以利用該X方向差分影像與該Y方向差分影像計算細部食物區域中每一個像素點梯度紋理強度(gradient magnitude)資訊與梯度紋理方向(gradient orientation)資訊。梯度強度表示影像邊緣的強度值，而梯度方向表示影像邊緣的正交方向(法線方向，亦即梯度與邊緣正交)。假設某一像素的座標為(x,y)，則該像素的紋理強度資訊為e(x ,y )，而該像素的紋理方向資訊為θ (x ,y )。紋理強度資訊e(x ,y )與紋理方向資訊θ (x ,y )的計算公式如方程式(1)與方程式(2)所示。其中，g x 為該X方向差分影像於(x ,y )處之像素值，g y 為該Y方向差分影像於(x ,y )處之像素值，tan-1 是反正切函數。
利用上述有關步驟S510與S520處理不同飲食種類的多張飲食影像後，可以發現不同飲食種類的紋理強度與紋理方向(即邊緣強度與方向)。表1說明經由步驟S510與S520處理後，不同飲食種類的飲食影像所呈現的紋理特性。
特徵擷取裝置430進行步驟S530，以利用紋理強度資訊e(x ,y )與紋理方向資訊θ (x ,y )計算所述細部食物區域於至少一方向之至少一紋理編碼。步驟S530可以將上述方向資訊之分析轉換成數值運算分析可用的參數型態。例如，圖7是依照本揭露實施例說明紋理編碼計算的示意圖。細部食物區域710表示從飲食影像裁剪出的某一食物區域的紋理方向資訊。需注意的是，細部食物區域710的外觀形 狀不限於圖7所示長方形。在實際應用上，從飲食影像裁剪出的細部食物區域710常常是不規則形狀。
請參照圖7，以細部食物區域710中的部份像素711為例，假設部份像素711中具有影像邊緣721、722與723。經由上述步驟S510與S520，部份像素711中每一個像素的紋理方向資訊θ (x ,y )如圖7所示。由於影像邊緣721的切線方向約略為水平(0°)，因此在影像邊緣721上的像素的紋理方向資訊θ (x ,y )(即邊緣的正交方向或法線方向)分別為110、105、100、89、102。在步驟S530中，特徵擷取裝置430可以於細部食物區域710中逐一選擇目標像素來計算紋理編碼。例如，特徵擷取裝置430可以從細部食物區域710的所有像素中選擇其中一個目標像素(例如部份像素711中的中央像素，其紋理方向資訊θ (x ,y )為100)。
特徵擷取裝置430可以將細部食物區域710的所有像素的紋理方向資訊θ (x ,y )進行二元化，以獲得細部食物區域710的所有像素的二元化值D (x ,y )。所述二元化的計算公式如方程式(3)與方程式(4)所示。其中，θi 為該細部食物區域710於(x ,y )處像素之紋理方向資訊θ (x ,y )，θn 為欲觀察方向的法線向量角度，而γ θ 為角度門檻值。其中，θn 與γ θ 可以依照實際產品的設計需求而決定之。
D (x ,y )=0，若|θi -θn |>γ θ 方程式(4)
以圖7所示部份像素711為例，在此假設角度門檻值γ θ 為20°。另假設欲觀察方向為水平方向(即0°)，亦即欲觀察方向的法線向量角度θn 為90°。於此設定條件下，部份像素711的左上像素的紋理方向資訊θ (x ,y )(其值為5)被轉換為二元化值D (x ,y )=0。其餘像素以此類推，以獲得細部食物區域710的所有像素的二元化值D (x ,y )。
在特徵擷取裝置430從細部食物區域710中選擇一個目標像素後，特徵擷取裝置430可以於細部食物區域710中沿所述欲觀察方向選擇一編碼區域(或patch)，其中該編碼區域包含該目標像素與多個相鄰像素。所述編碼區域的大小與幾何形狀可以依照實際設計需求而決定之。考量飲食影像的邊緣區段長度不同，對應地設計大小與方向不同的遮罩可以反應出飲食影像的特徵差異。在本實施例的飲食影像特徵參數中，此步驟S530所關注的為影像中各像素點的方向資訊。例如在一些實施例中，特徵擷取裝置430可以該目標像素為中心，上下左右各擴展兩個像素點之5x5矩陣作為所選擇的編碼區域，例如圖7所示編碼區域731。圖7所示編碼區域731中每一個像素的二元化值D (x ,y )是從部份像素711的紋理方向資訊θ (x ,y )轉換而來，其中未填入二元化值D (x ,y )的像素為所選擇的該目標像素。在另一些實施例中，特徵擷取裝置430可以該目標像素為中心，沿所述欲觀察方向擴展兩個像素點之5x1矩陣作為所選擇的編碼區域，例如圖7所示編碼區域732。
以圖7所示編碼區域732為例，該目標像素的相鄰像素的個數m 為4。當特徵擷取裝置430從細部食物區域710的所有像素中選擇部份像素711的中央像素(其紋理方向資訊θ (x ,y )為100)作為目標像素時，目標像素在編碼區域732範圍內的相鄰像素(其紋理方向資訊θ (x ,y )分別為110、105、89、102)的二元化值D (x ,y )分別為1、1、1、1。接下來，特徵擷取裝置430將統計這些相鄰像素的類別值bin與高度值。在本實施例中，特徵擷取裝置430將這些相鄰像素的二元化值1、1、1、1轉換為該目標像素的類別值bin，以及依據該目標像素的紋理強度資訊e(x ,y )決定該目標像素的高度值。然而，所述高度值的計算方式並不限於上述實施例。例如，在其他實施例中，特徵擷取裝置430將以常數(例如1或是其他實數)作為該目標像素的高度值。
所述將相鄰像素的二元化值轉換為該目標像素的類別值bin的計算公式如方程式(5)所示。於方程式(5)中，m 為該些相鄰像素的個數，而D (t )為該些相鄰像素中第t個相鄰像素的二元化值。因此，特徵擷取裝置430可以將上述所得到相鄰像素的二元化值轉換為十進位。以圖7所示編碼區域732為例，該目標像素的類別值bin=1+23 *1+22 *1+21 *1+20 *1=16。
細部食物區域710的其他像素可以參照上述圖7與方程式(3)~(5)的相關說明而類推之，以便獲得細部食物區域710中所有像素的類別值bin。於本實施例中，特徵擷取裝置430可以將該目標像素的紋理強度資訊e(x ,y )作為該目標像素的高度值，以便獲得細部食物區域710中所有像素的高度值。
特徵擷取裝置430在步驟S530中可以依據所述細部食物區域710中所有像素的類別值bin與高度值來決定細部食物區域710於所述欲觀察方向之紋理編碼。例如，於細部食物區域710的所有像素中，特徵擷取裝置430將具有相同類別值(例如16)之像素的高度值(例如紋理強度資訊e(x ,y ))進行累加，以獲得直方圖(histogram)。例如，圖8是依照本揭露實施例說明以水平方向當作所欲觀察方向而統計高度值後的直方圖示意。於圖8中，該直方圖810的橫軸為類別值bin，而該直方圖810的縱軸為高度值。特徵擷取裝置430在步驟S530中可以依據該直方圖決定所述細部食物區域710於所欲觀察方向之所述紋理編碼。透過此方式，除了可反應紋理的量以及是否有規則性外，還可萃取出所觀察方向是否有連綿長度較長的邊緣(紋理長度)資訊，這項特點是傳統演算法(如HoG特徵參數)所無法表現的影像紋理特性。
請參照圖4與圖5，特徵擷取裝置430進行步驟S540，以整合所欲觀察方向之所述紋理編碼，以獲得所述飲食影像特徵參數。在一些實施例中，若所欲觀察方向為單一方 向(例如水平方向)，則特徵擷取裝置430可以將單一直方圖(例如圖8所示直方圖)作為細部食物區域710(即細部食物區域610)的所述飲食影像特徵參數。然而，所欲觀察方向不限於水平方向。在其他實施例中，特徵擷取裝置430可以分別以多個不同的欲觀察方向對細部食物區域610(細部食物區域710)進行圖5至圖8所述相關操作，而獲得對應於不同方向的多個直方圖(紋理編碼)。因此，特徵擷取裝置430可以在步驟S540中整合對應於不同方向的紋理編碼，以獲得所述飲食影像特徵參數。在本實施例中，特徵擷取裝置430可以將對應於不同方向的多個紋理編碼以預設的某一連接順序相互連接，以獲得所述細部食物區域的所述至少一飲食影像特徵參數。所述連接順序可以視實際設計需求來決定。
例如，特徵擷取裝置430分別以水平方向(即0°)、垂直方向(即90°)、右傾斜方向(即45°)與左傾斜方向(即135°)進行圖5至圖8所述相關操作而獲得對應於不同方向的多個直方圖。圖9是依照本揭露實施例說明以多個不同方向當作所欲觀察方向而統計高度值後的直方圖示意。於圖9中，直方圖的橫軸為類別值bin，而直方圖的縱軸為高度值。直方圖810、820、830與840分別是以水平方向(即0°)、垂直方向(即90°)、右傾斜方向(即45°)與左傾斜方向(即135°)進行圖5至圖8所述相關操作而獲得的直方圖(紋理編碼)。於本實施例，特徵擷取裝置430可以將直方圖810~840(紋理編碼)以[0°、 90°、45°、135°]的連接順序相互連接，以構成直方圖900(即細部食物區域610的飲食影像特徵參數)。若步驟S530中所述相鄰像素的個數m 為4，則每一個方向的直方圖810~840各自有16個類別值bin。由於每一個方向的直方圖有16個bin，因此最後的直方圖900將有16x4=64個bin。在此包含64個bin的直方圖900中，可將每一個bin上的高度值排列出一個64維之向量，即為本實施例用以代表飲食影像/區域特性之特徵參數。
於其他實施例中，特徵擷取裝置430可以將直方圖810~840(紋理編碼)以其他連接順序(例如[0°、45°、90°、135°]或其他順序)相互連接，以構成細部食物區域610的飲食影像特徵參數。
綜上所述，特徵擷取裝置430可以在每一個細部食物區域內計算X方向與Y方向之影像訊號差分值，進而計算出每個像素點的梯度能量與方向性(角度)資訊，其中梯度能量高者代表該像素點為明顯之邊緣，而梯度方向性資訊則能提供該紋理之方向性。在經過能量的標準化後，特徵擷取裝置430可針對每個像素點所對應的編碼區域(或patch)，將不同方向的特徵資訊編碼成一數值，並將每個像素點所對應的梯度能量強度e(x ,y )做為權重調整依據，意即可調整飲食影像中邊緣的部份對飲食影像參數的影響性。最後再計算所有像素點累積而成之直方圖相關統計量，做為飲食影像特徵參數。
請參照圖3與圖4，特徵擷取裝置430進行步驟S114，以依據所述至少一飲食影像特徵參數產生超向量給比對裝置210。在一些實施例中，若所述飲食影像具有單一個細部食物區域，則特徵擷取裝置430可以將單一細部食物區域的所述飲食影像特徵作為所述超向量以提供給比對裝置210。在另一些實施例中，若所述飲食影像具有多個細部食物區域，則特徵擷取裝置430提供給比對裝置210的所述超向量可以包含所有細部食物區域的飲食影像特徵參數。
在另一些實施例中，飲食管理系統400可以定義「飲食記錄期間」。此飲食記錄期間可以是固定地被設定於飲食管理系統400，也可以是由使用者決定此飲食記錄期間。其中，使用者可以於該飲食記錄期間操作飲食管理系統400，以便拍攝於該飲食記錄期間中使用者的飲食內容。飲食管理系統400可以將該飲食記錄期間中所拍攝的多張飲食影像分別進行上述步驟S111至步驟S113的相關處理，而獲得於該飲食記錄期間中不同細部食物區域的多個飲食影像特徵參數。於本實施例中，特徵擷取裝置430進行步驟S114，以將於該飲食記錄期間中所述多張飲食影像的飲食影像特徵參數依拍攝時間順序串接成該超向量。然而，該超向量內所述多個飲食影像特徵參數的串接順序不應限制於依拍攝時間順序。在其他實施例中，所述多個飲食影像特徵參數可以依其他順序(甚至是任意順序或是隨機)串接成該超向量。
所述飲食記錄期間可設定為數天、數周、數個月或數年等。所述超向量可以表現出使用者在該飲食記錄期間內的飲食特性。設定在飲食記錄期間來拍攝一到多組飲食影像，其可以讓後續的飲食特性分析有一致的基準，進而提高分析結果的參考性。
飲食管理系統400可以利用特徵擷取裝置430的判讀結果進行個人飲食特性之分析。所述飲食影像中可能存在的不同食物特性，例如包含中華民國國民健康局所定義的飲食金字塔(五穀、疏菜、水果、油脂、肉與豆類、奶類)(對應美國農業部2005年所定義的My Pyramid)，或包含健康餐盤(五穀、疏菜、水果、蛋白質、奶類)(對應美國農業部2010年所定義的My Plate)，或包含中國傳統五行五色飲食(木/綠、火/紅、土/黃、金/白、水/黑)之特性。
請參照圖3與圖4，比對裝置210進行步驟S120，以將特徵擷取裝置430所提供的該超向量和資料庫220中所有他人超向量進行相似度比對，以選取至少一近似族群。其中，所述他人超向量內包含除了使用者外的其他人的飲食特性。例如，資料庫220具有一萬筆他人資料(包含他人超向量與多元資料)。比對裝置210在這一萬筆他人超向量中找出與特徵擷取裝置430所提供的該超向量最近似的一百筆，以及將這一百筆他人資料定義為所述近似族群。又例如，在另一些實施例中，比對裝置210可將一萬筆他人資料分別與特徵擷取裝置430所提供的該超向量進行相似度比對，以獲得對應於這一萬筆他人資料的一萬個 「他人相似度」。比對裝置210可將具有「他人相似度」在預設門檻內(例如相似程度大於70%)的所有他人資料選擇/定義為所述近似族群。在其他實施例中，若比對裝置210所選擇/定義所述近似族群的他人資料筆數不大於預設最小數目(例如30筆)，則所述近似族群為無效。
在一些實施例中，在飲食管理系統400定義了上述「飲食記錄期間」的情況下，比對裝置210可以將特徵擷取裝置430所提供的該超向量和資料庫220中與該飲食記錄期間長度一致之所有他人超向量進行相似度比對，以選取所述近似族群。在其他實施例中，若飲食管理系統400沒有定義上述「飲食記錄期間」，則比對裝置210可以將特徵擷取裝置430所提供的該超向量和資料庫220中所有他人超向量進行相似度比對，以選取所述近似族群。
圖10是依照本揭露實施例說明飲食管理系統對飲食影像特徵參數進行相似度比對的示意圖。圖10中飲食影像P表示使用者藉由操作飲食管理系統所拍攝的飲食影像，也就是該使用者所享用的飲食內容。圖10中飲食影像Q表示他人的飲食影像。飲食影像Q事先已經利用與步驟S111至S114相同方法加以處理，而將飲食影像Q分割為細部食物區域Q1、Q2、Q3與Q4，以及將細部食物區域Q1~Q4分別擷取/萃取出飲食影像特徵參數q1、q2、q3與q4。這些他人飲食影像特徵參數q1~q4被事先儲存於資料庫220中作為他人超向量的部份內容。
經由步驟S111至S114處理飲食影像P後，飲食影像P被分割為細部食物區域P1與P2，且細部食物區域P1與P2分別被擷取/萃取出飲食影像特徵參數p1與p2。比對裝置210在步驟S120中將超向量的飲食影像特徵參數p1與p2和資料庫220中飲食影像特徵參數q1~q4進行相似度比對，以計算飲食影像P與飲食影像Q的相似性。比對裝置210可以計算表示飲食影像P的該超向量和該資料庫220中表示飲食影像Q的他人超向量間之歐幾里德距離(Euclidean distance)、夾角、相關係數或交互資訊量，並考量細部食物區域在飲食影像中的佔比資訊，以獲得飲食影像P與飲食影像Q的相似性。例如，飲食影像特徵參數p1與飲食影像特徵參數q1~q4進行相似度比對，以獲得距離值d(p1,q1)、d(p1,q2)、d(p1,q3)與d(p1,q4)。飲食影像特徵參數p2與飲食影像特徵參數q1~q4進行相似度比對，以獲得距離值d(p2,q1)、d(p2,q2)、d(p2,q3)與d(p2,q4)。整合這些距離值d(p1,q1)、d(p1,q2)、d(p1,q3)、d(p1,q4)、d(p2,q1)、d(p2,q2)、d(p2,q3)與d(p2,q4)以及考量各細部食物區域在飲食影像中的佔比資訊，以獲得飲食影像P與飲食影像Q的相似性。
舉例來說，在一些實施例中，比對裝置210可透過綜合區域比對(integrated region matching,IRM)演算法計算兩兩細部食物區域(Pi,Qj)之顯著值S(i,j)(significance of region pair)。其中，S(i,j)可表示為該食物區域Pi或Qj在飲食影像P與Q之佔比資訊。其原理為：先計算兩兩細部 食物區域(Pi,Qj)之飲食特徵向量之距離，接著從距離最相近的兩個飲食對(pair)開始配置該飲食對的顯著值S(i,j)。最後，根據兩兩飲食對的顯著值S(i,j)，可求得兩兩飲食影像的距離d (P ,Q )=Σ i,j S (i ,j )d (p i ,q j )’也就是獲得飲食影像P與飲食影像Q的相似性。此演算法可擴展至多張飲食影像之影像序列間的相似度比較。
請參照圖3與圖4，比對裝置210進行步驟S131，以利用步驟S120所找出的近似族群之多元資料統計出至少一近似族群統計量。所述多元資料包括年齡、性別、體重、居住地區、工作類型、飲食時間、生理健康狀態、心理健康狀態及/或疾病發展狀態。所述近似族群統計量包括所述近似族群的人口統計學資料(demographic data)、個人健康統計資料、飲食時間統計資料或其他統計資料。所述人口統計學資料包括年齡分佈特性、性別分佈比例、體重分佈特性、工作類型特性或其他統計資料。所述個人健康統計資料包括病史、用藥資訊、目前患病狀態、目前生理與心理狀態或其他相關資訊。
例如，比對裝置210可以從資料庫220中獲得所述近似族群的年齡資料。比對裝置210可以統計與使用者飲食習慣/特性最相似的族群，其年齡分佈情形。又例如，比對裝置210可以從資料庫220中獲得所述近似族群的職業資料。比對裝置210可以統計與使用者飲食習慣/特性最相似的族群，其職業分佈情形。再例如，比對裝置210可以從資料庫220中獲得所述近似族群的患病狀態資料。比對裝 置210可以統計與使用者飲食習慣/特性最相似的族群，其患病分佈情形。
比對裝置210進行步驟S132，以依據步驟S131所找出的該近似族群統計量提供關於該近似族群的資訊。在一些實施例中，比對裝置210於步驟S132中可以將關於該近似族群的資訊透過使用者介面440提供給使用者。在另一些實施例中，比對裝置210於步驟S132中也可以將關於該近似族群的資訊提供給其他裝置，例如透過通訊網路提供給遠端裝置/系統，與/或提供給另一個本地端裝置/系統。
因此，本實施例中飲食管理系統400可記錄一日或多日的飲食影像，且依時間順序串成一超向量(supervector)。此超向量與資料庫220中的所有他人超向量比對，以找出最接近使用者飲食特性的族群。在本實施例中，飲食管理系統400可從最接近使用者飲食特性的族群中，統計分析多元之社群資訊，藉以提供使用者瞭解目前飲食行為所可能產生的結果。在其他實施例中，在找出該近似族群之後，使用者的超向量與多元資料可以被加入資料庫220，以供他人查找使用。
於本實施例中，步驟S132更利用至少一非近似族群之多元資料統計出至少一非近似族群統計量，以及比對該近似族群統計量與該非近似族群統計量，以提供比較結果給使用者、遠端裝置與/或另一個本地端裝置。在一些實施例中，所述非近似族群為在資料庫220中除了所述近似族 群外的其他相關資料。在另一些實施例中，所述非近似族群為在資料庫220中的所有相關資料(包含所述近似族群)。於本實施例中，步驟S132可以利用資料探勘(data mining)技術及/或統計檢定方法，找出該近似族群統計量與該非近似族群統計量間有顯著差異之資訊項目，作為該近似族群之飲食行為特性，並將該近似族群之飲食行為特性提供給使用者。
例如，圖11是依照本揭露實施例說明近似族群統計量與非近似族群統計量間的顯著差異性示意。請參照圖11，所述近似族群中男性佔75%，而所述非近似族群中男性佔48%，這表示該近似族群統計量(性別統計)具有顯著差異性。圖11中所述近似族群的職業分佈情形與所述非近似族群的職業分佈情形二者相差不大，這表示該近似族群統計量(職業統計)不具有顯著差異性。
又例如，圖12是依照本揭露另一實施例說明近似族群統計量與非近似族群統計量間的顯著差異性示意。請參照圖12，所述近似族群的生理狀況分佈情形與所述非近似族群的生理狀況分佈情形二者相差不大，這表示該近似族群統計量(生理狀況統計)不具有顯著差異性。圖12中所述近似族群的平均體重為73公斤(標準差為5公斤)，而所述非近似族群的平均體重為62公斤(標準差為8公斤)，這表示該近似族群統計量(體重統計)具有顯著差異性。也就是說，最接近使用者飲食特性的族群，其平均體重明顯大於所述非近似族群的平均體重。使用者可以藉由近似 族群統計量與非近似族群統計量間的顯著差異性瞭解目前飲食行為所可能產生的結果。
圖13是依照本揭露再一實施例說明一種飲食管理方法的流程示意圖。圖13所示實施例中步驟S1310~S1330可以參照圖1與圖3中步驟S110~S130的相關說明。不同於圖3所示實施例之處，在於圖13所示實施例中步驟S1311、S1312、S1313、S1314與S1332是由手持式裝置執行，而步驟S1320與S1331是由伺服器執行。
請參照圖13，手持式裝置透過影像擷取裝置拍攝至少一飲食影像(步驟S1311)。手持式裝置將所述至少一飲食影像進行前處理，以分割出所述飲食影像中的至少一餐飲部份，以及分割出所述餐飲部份中的至少一細部食物區域(步驟S1312)。手持式裝置再對所述細部食物區域擷取至少一飲食影像特徵參數(步驟S1313)，以及依據所述飲食影像特徵參數產生該超向量(步驟S1314)。圖13所示實施例中步驟S1311~S1314可以參照圖3中步驟S111~S114的相關說明而類推之。手持式裝置將相關於所述飲食影像的超向量上傳至伺服器。該伺服器進行步驟S1320，以依據該超向量於資料庫進行相似度比對，以找出至少一近似族群。該伺服器將該近似族群的相關統計資訊提供給手持式裝置(步驟S1331)。手持式裝置從該伺服器接收關於該近似族群的資訊，以便將該近似族群的資訊提供給使用者(步驟S1332)。圖13所示實施例中步驟 S1331~S1332可以參照圖3中步驟S131~S132的相關說明而類推之。
圖14是依照本揭露再一實施例說明一種飲食管理系統的功能方塊示意圖。圖14所示飲食管理系統包括手持式裝置1410與伺服器1420。手持式裝置1410包括影像擷取裝置1411、處理裝置1412、特徵擷取裝置1413、通訊介面1414以及使用者介面1415。手持式裝置1410可以透過通訊介面1414而連結通訊網路，例如網際網路(internet)或是其他網路。伺服器1420包括通訊介面1421、比對裝置1422以及資料庫1423。伺服器1420可以透過通訊介面1421而連結通訊網路。圖14實施例所示影像擷取裝置1411、處理裝置1412、特徵擷取裝置1413、比對裝置1422、資料庫1423以及使用者介面1415可以參照圖2與圖4中影像擷取裝置410、處理裝置420、特徵擷取裝置430、比對裝置210、資料庫220以及使用者介面440的相關說明。
請參照圖13與圖14，影像擷取裝置1411進行步驟S1311，以拍攝一張或多張飲食影像(詳參圖3步驟S111的相關說明)。處理裝置1412進行步驟S1312，以將所述飲食影像進行前處理(詳參圖3步驟S112的相關說明)。處理裝置1412在步驟S1312可以將原始飲食影像分割成單個或多個的餐飲部份，以利後續可針對各餐飲部份分析處理。處理裝置1412在步驟S1312還可以從所述餐飲部份分割出一個或多個細部食物區域。特徵擷取裝置1413進行步驟S1313，以對處理裝置1412所提供的每一個細部 食物區域擷取/萃取至少一飲食影像特徵參數(詳參圖3步驟S113的相關說明)。特徵擷取裝置1413進行步驟S1314，以依據所述至少一飲食影像特徵參數產生超向量(詳參圖3步驟S114的相關說明)。
手持式裝置1410與伺服器1420可以透過通訊介面1414與通訊介面1421而相互通訊。因此，特徵擷取裝置1413可以透過通訊介面1414將超向量傳送至伺服器1420。伺服器1420的通訊介面1421可以將手持式裝置1410所提供的超向量傳送至比對裝置1422。伺服器1420的比對裝置1422進行步驟S1320，以將手持式裝置1410的特徵擷取裝置1413所提供的該超向量和伺服器1420的資料庫1423中所有他人超向量進行相似度比對，以選取至少一近似族群(詳參圖3步驟S120的相關說明)。
比對裝置1422進行步驟S1331，以利用步驟S1320所找出的近似族群之多元資料統計出至少一近似族群統計量(詳參圖3步驟S131的相關說明)。伺服器1420可以透過通訊介面1421將所述近似族群統計量傳送至手持式裝置1410。手持式裝置1410的通訊介面1414可以將伺服器1420所提供的所述近似族群統計量傳送至使用者介面1415。使用者介面1415進行步驟S1332，以依據步驟S1331所找出的該近似族群統計量提供關於該近似族群的資訊給使用者。
在其他實施例中，伺服器1420的比對裝置1422在步驟S1331更利用至少一非近似族群之多元資料統計出至少 一非近似族群統計量，以及比對該近似族群統計量與該非近似族群統計量(詳參圖3步驟S132、圖11與圖12的相關說明)，以提供比較結果給手持式裝置1410。
圖15是依照本揭露更一實施例說明一種飲食管理方法的流程示意圖。圖15所示實施例中步驟S1510~S1530可以參照圖1與圖3中步驟S110~S130的相關說明。不同於圖3所示實施例之處，在於圖15所示實施例中步驟S1511、S1512、S1513與S1532是由手持式裝置執行，而步驟S1514、S1520與S1531是由伺服器執行。
圖16是依照本揭露更一實施例說明一種飲食管理系統的功能方塊示意圖。圖16所示飲食管理系統包括手持式裝置1610與伺服器1620。手持式裝置1610包括影像擷取裝置1611、處理裝置1612、特徵擷取裝置1613、通訊介面1614以及使用者介面1615。伺服器1620包括通訊介面1621、特徵擷取裝置1622、比對裝置1623以及資料庫1624。圖16實施例所示影像擷取裝置1611、處理裝置1612、特徵擷取裝置1613、比對裝置1623、資料庫1624以及使用者介面1615可以參照圖2與圖4中影像擷取裝置410、處理裝置420、特徵擷取裝置430、比對裝置210、資料庫220以及使用者介面440的相關說明。圖16實施例所示影像擷取裝置1611、處理裝置1612、特徵擷取裝置1613、通訊介面1614、使用者介面1615、通訊介面1621、比對裝置1623以及資料庫1624可以參照圖14實施例所示影像擷取裝置1411、處理裝置1412、特徵擷取裝置1413、 通訊介面1414、使用者介面1415、通訊介面1421、比對裝置1422以及資料庫1423的相關說明。不同於圖14所示實施例之處，在於圖16所示實施例中伺服器1620還包括特徵擷取裝置1622。
請參照圖15與圖16，影像擷取裝置1611進行步驟S1511，以拍攝一張或多張飲食影像(詳參圖3步驟S111的相關說明)。處理裝置1612進行步驟S1512，以將所述飲食影像進行前處理(詳參圖3步驟S112的相關說明)。處理裝置1612在步驟S1512可以將原始飲食影像分割成單個或多個的餐飲部份，以利後續可針對各餐飲部份分析處理。處理裝置1612在步驟S1512還可以從所述餐飲部份分割出一個或多個細部食物區域。特徵擷取裝置1613進行步驟S1513，以對處理裝置1612所提供的每一個細部食物區域擷取/萃取至少一飲食影像特徵參數(詳參圖3步驟S113的相關說明)。
手持式裝置1610與伺服器1620可以透過通訊介面1614與通訊介面1621而相互通訊。因此，特徵擷取裝置1613可以透過通訊介面1614將所述飲食影像特徵參數傳送至伺服器1620。伺服器1620的通訊介面1621可以將手持式裝置1610所提供的所述飲食影像特徵參數傳送至特徵擷取裝置1622。伺服器1620的特徵擷取裝置1622進行步驟S1514，以依據所述至少一飲食影像特徵參數產生超向量(詳參圖3步驟S114的相關說明)。
例如，使用者在午餐時段操作手持式裝置1610，以拍攝午餐的飲食影像。操作手持式裝置1610可以從午餐的飲食影像擷取/萃取出飲食影像特徵參數，以及將午餐的飲食影像特徵參數傳送至伺服器1620的特徵擷取裝置1622。在晚餐時段，使用者可以用手持式裝置1610拍攝晚餐的飲食影像。操作手持式裝置1610可以從晚餐的飲食影像擷取/萃取出飲食影像特徵參數，以及將晚餐的飲食影像特徵參數傳送至伺服器1620的特徵擷取裝置1622。伺服器1620的特徵擷取裝置1622可以將所述午餐的飲食影像特徵參數與所述晚餐的飲食影像特徵參數組合成超向量。
伺服器1620的比對裝置1623進行步驟S1520，以將特徵擷取裝置1622所提供的該超向量和資料庫1624中所有他人超向量進行相似度比對，以選取至少一近似族群(詳參圖3步驟S120的相關說明)。
比對裝置1623進行步驟S1531，以利用步驟S1520所找出的近似族群之多元資料統計出至少一近似族群統計量(詳參圖3步驟S131的相關說明)。伺服器1620可以透過通訊介面1621將所述近似族群統計量傳送至手持式裝置1610。手持式裝置1610的通訊介面1614可以將伺服器1620所提供的所述近似族群統計量傳送至使用者介面1615。使用者介面1615進行步驟S1532，以依據步驟S1531所找出的該近似族群統計量提供關於該近似族群的資訊給使用者。
在其他實施例中，伺服器1620的比對裝置1623在步驟S1531更利用至少一非近似族群之多元資料統計出至少一非近似族群統計量，以及比對該近似族群統計量與該非近似族群統計量(詳參圖3步驟S132、圖11與圖12的相關說明)，以提供比較結果給手持式裝置1610。
圖17是依照本揭露又一實施例說明一種飲食管理方法的流程示意圖。圖17所示實施例中步驟S1710~S1730可以參照圖1與圖3中步驟S110~S130的相關說明。不同於圖3所示實施例之處，在於圖17所示實施例中步驟S1711與S1732是由手持式裝置執行，而步驟S1712、S1713、S1714、S1720與S1731是由伺服器執行。
圖18是依照本揭露又一實施例說明一種飲食管理系統的功能方塊示意圖。圖18所示飲食管理系統包括手持式裝置1810與伺服器1820。手持式裝置1810包括影像擷取裝置1811、通訊介面1812以及使用者介面1813。伺服器1820包括通訊介面1821、處理裝置1822、特徵擷取裝置1823、比對裝置1824以及資料庫1825。圖18實施例所示影像擷取裝置1811、處理裝置1822、特徵擷取裝置1823、比對裝置1824、資料庫1825以及使用者介面1813可以參照圖2與圖4中影像擷取裝置410、處理裝置420、特徵擷取裝置430、比對裝置210、資料庫220以及使用者介面440的相關說明。
請參照圖17與圖18，影像擷取裝置1811進行步驟S1711，以拍攝一張或多張飲食影像(詳參圖3步驟S111 的相關說明)。手持式裝置1810與伺服器1820可以透過通訊介面1812與通訊介面1821而相互通訊。因此，影像擷取裝置1811可以透過通訊介面1812將所述飲食影像傳送至伺服器1820。伺服器1820的通訊介面1821可以將手持式裝置1810所提供的所述飲食影像傳送至處理裝置1822。
伺服器1820的處理裝置1822進行步驟S1712，以將所述飲食影像進行前處理(詳參圖3步驟S112的相關說明)。處理裝置1822在步驟S1712可以將原始飲食影像分割成單個或多個的餐飲部份，以利後續可針對各餐飲部份分析處理。處理裝置1822在步驟S1712還可以從所述餐飲部份分割出一個或多個細部食物區域。特徵擷取裝置1823進行步驟S1713，以對處理裝置1822所提供的每一個細部食物區域擷取/萃取至少一飲食影像特徵參數(詳參圖3步驟S113的相關說明)。伺服器1820的特徵擷取裝置1823進行步驟S1714，以依據所述至少一飲食影像特徵參數產生超向量(詳參圖3步驟S114的相關說明)。
例如，使用者在午餐時段操作手持式裝置1810，以拍攝午餐的飲食影像，以及將午餐的飲食影像上傳至伺服器1820。伺服器1820的特徵擷取裝置1823可以從午餐的飲食影像擷取/萃取出飲食影像特徵參數。在晚餐時段，使用者可以用手持式裝置1810拍攝晚餐的飲食影像，以及將晚餐的飲食影像上傳至伺服器1820。伺服器1820的特徵擷取裝置1823可以從晚餐的飲食影像擷取/萃取出飲食影像 特徵參數。因此，伺服器1820的特徵擷取裝置1823可以將所述午餐的飲食影像特徵參數與所述晚餐的飲食影像特徵參數組合成超向量。
伺服器1820的比對裝置1824進行步驟S1720，以將特徵擷取裝置1823所提供的該超向量和資料庫1825中所有他人超向量進行相似度比對，以選取至少一近似族群(詳參圖3步驟S120的相關說明)。比對裝置1824進行步驟S1731，以利用步驟S1720所找出的近似族群之多元資料統計出至少一近似族群統計量(詳參圖3步驟S131的相關說明)。伺服器1820可以透過通訊介面1821將所述近似族群統計量傳送至手持式裝置1810。手持式裝置1810的通訊介面1812可以將伺服器1820所提供的所述近似族群統計量傳送至使用者介面1813。使用者介面1813進行步驟S1732，以依據步驟S1731所找出的該近似族群統計量提供關於該近似族群的資訊給使用者。
在其他實施例中，伺服器1820的比對裝置1824在步驟S1731更利用至少一非近似族群之多元資料統計出至少一非近似族群統計量，以及比對該近似族群統計量與該非近似族群統計量(詳參圖3步驟S132、圖11與圖12的相關說明)，以提供比較結果給手持式裝置1810。
圖19是依照本揭露再一實施例說明一種飲食管理方法的流程示意圖。飲食管理系統(例如智慧型手機或是其他手持式裝置)透過影像擷取裝置拍攝至少一飲食影像(步驟S1910)。飲食管理系統將所述飲食影像進行前處理， 以分割出所述飲食影像中的至少一餐飲部份，以及分割出所述餐飲部份中的至少一細部食物區域(步驟S1920)。飲食管理系統對所述細部食物區域擷取至少一飲食影像特徵參數(步驟S1930)。圖19所示實施例中步驟S1910~S1930可以參照圖3中步驟S111~S113的相關說明而類推之。
飲食管理系統依據所述飲食影像特徵參數於資料庫進行相似度比對，或是透過飲食類別分類器，以決定所述細部食物區域之飲食類別(步驟S1940)。例如，將所述飲食影像特徵參數和該資料庫中所有特徵向量進行相似度比對，以決定所述細部食物區域之飲食類別。所述相似度比對可以計算所述飲食影像特徵參數和該資料庫中特徵向量間之歐幾里德距離、夾角、相關係數或交互資訊量。圖19所示實施例中步驟S1940可以參照圖1與圖3中步驟S120的相關說明而類推之。
所述之細部食物區域飲食特性判讀，可包含針對飲食金字塔分析所涵蓋之六大類食物(五穀、疏菜、水果、油脂、肉與豆類、奶類)、健康餐盤分析所涵蓋之五大類食物(五穀、疏菜、水果、蛋白質、奶類)以及五行五色飲食分析所涵蓋的五大顏色食物(木/綠、火/紅、土/黃、金/白、水/黑)之類別與份量之判讀。
飲食管理系統依據所述細部食物區域之飲食類別與面積提供個人飲食特性分析給使用者(步驟S1950)。所述之個人飲食特性分析，其目的在於從使用者所拍攝的一到 多張飲食影像中，透過各飲食影像中之各細部食物區域的飲食特性資訊，依據飲食金字塔分析、健康餐盤分析、五行五色飲食分析所定義的均衡飲食規則，解讀使用者的飲食是否健康與均衡。
在一些實施例中，飲食管理系統可將一日至多日的飲食影像，依據每次步驟S1940之分類結果，累加統計分析出個人的飲食特性，例如以五行五色觀點是否調和、以健康餐盤觀點評判飲食是否均衡。
綜上所述，上述諸實施例所揭示的飲食管理系統與方法，可以協助使用者依系統所提供之均衡特性分析與/或社群資訊比對之結果，達到自主健康管理之目標。上述諸實施例所揭示之飲食管理系統與方法至少具有下列特色：
1.以訓練模型架構之飲食區域切割方法，其定義常見食物之顏色，依蒐集之飲食訓練影像，得到其顏色分佈範圍，做為飲食區域切割之依據，用以改善傳統演算法之運算複雜度高之問題。
2.具飲食特性之特徵參數擷取，其具有長度量測概念。根據該飲食區域長度編碼的統計圖做為特徵向量。除長度資訊外，飲食影像紋理之變化方向的統計資訊，亦具有其實質之物理意義。上述諸實施例之特徵參數擷取之流程，將可擷取所歸納出之飲食影像特性。
3.上述諸實施例使用綜合區域比對(integrated region matching)結合影像區域比對之方式，計算二張飲食影像之相似度。此外，將其概念延伸飲食影像序列，提供使用 者每日飲食影像序列，與其他人飲食影像序列之比對，並回傳其中相似飲食習慣之社群資訊，協助使用者瞭解飲食行為所產生的結果，達到自主健康管理之目標。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
200、400‧‧‧飲食管理系統
210、1422、1623、1824‧‧‧比對裝置
220、1423、1624、1825‧‧‧資料庫
410、1411、1611、1811‧‧‧影像擷取裝置
420、1412、1612、1822‧‧‧處理裝置
430、1413、1613、1622、1823‧‧‧特徵擷取裝置
440、1415、1615、1813‧‧‧使用者介面
610、710、P1、P2、Q1、Q2、Q3、Q4‧‧‧細部食物區域
611、621、631、711‧‧‧部份像素
620‧‧‧X方向差分影像
630‧‧‧Y方向差分影像
721、722、723‧‧‧影像邊緣
731、732‧‧‧編碼區域
810~840、900‧‧‧直方圖
1410、1610、1810‧‧‧手持式裝置
1414、1421、1614、1621、1812、1821‧‧‧通訊介面
1420、1620、1820‧‧‧伺服器
P、Q‧‧‧飲食影像
p1、p2、q1、q2、q3、q4‧‧‧飲食影像特徵參數
S110~S132、S510~S540、S1310~S1332、S1510~S1532、S1710~S1732、S1910~S1950‧‧‧步驟
圖1是依照本揭露實施例說明一種飲食管理方法的流程示意圖。
圖2是依照本揭露實施例說明一種飲食管理系統的功能方塊示意圖。
圖3是依照本揭露另一實施例說明一種飲食管理方法的流程示意圖。
圖4是依照本揭露另一實施例說明一種飲食管理系統的功能方塊示意圖。
圖5是依照本揭露實施例說明一種特徵擷取方法的流程示意圖。
圖6是依照本揭露實施例說明X方向差分計算與Y方向差分計算的示意圖。
圖7是依照本揭露實施例說明紋理編碼計算的示意圖。
圖8是依照本揭露實施例說明以X方向當作所欲觀察方向而統計高度值後的直方圖示意。
圖9是依照本揭露實施例說明以多個不同方向當作所欲觀察方向而統計高度值後的直方圖示意。
圖10是依照本揭露實施例說明飲食管理系統對飲食影像特徵參數進行相似度比對的示意圖。
圖11是依照本揭露實施例說明近似族群統計量與非近似族群統計量間的顯著差異性示意。
圖12是依照本揭露另一實施例說明近似族群統計量與非近似族群統計量間的顯著差異性示意。
圖13是依照本揭露再一實施例說明一種飲食管理方法的流程示意圖。
圖14是依照本揭露再一實施例說明一種飲食管理系統的功能方塊示意圖。
圖15是依照本揭露更一實施例說明一種飲食管理方法的流程示意圖。
圖16是依照本揭露更一實施例說明一種飲食管理系統的功能方塊示意圖。
圖17是依照本揭露又一實施例說明一種飲食管理方法的流程示意圖。
圖18是依照本揭露又一實施例說明一種飲食管理系統的功能方塊示意圖。
圖19是依照本揭露再一實施例說明一種飲食管理方法的流程示意圖。
S110~S132‧‧‧步驟

Claims (45)

  1. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及提供關於該近似族群的資訊；其中所述提供一超向量之步驟包括：透過一影像擷取裝置拍攝所述至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；對所述細部食物區域擷取至少一飲食影像特徵參數；以及依據所述至少一飲食影像特徵參數產生該超向量；其中所述進行前處理之步驟包括：將所述至少一飲食影像進行色彩校正、亮度校正或白平衡校正；以及從所述至少一飲食影像獲得所述至少一細部食物區域。
  2. 如申請專利範圍第1項所述之飲食管理方法，其中所述進行前處理之步驟包括：將所述至少一飲食影像轉換至一正規化空間。
  3. 如申請專利範圍第1項所述之飲食管理方法，其中所述從所述至少一飲食影像獲得所述至少一細部食物區域之步驟包括：將所述至少一飲食影像進行去背景處理，以獲得至少一餐飲部份；以及將所述至少一餐飲部份進行細節食物區域分割，以將所述餐飲部份分割出所述至少一細部食物區域。
  4. 如申請專利範圍第1項所述之飲食管理方法，其中所述至少一飲食影像特徵參數包括影像擷取時間、影像擷取地點、顏色、紋理複雜度或反光程度。
  5. 如申請專利範圍第1項所述之飲食管理方法，其中所述至少一飲食影像具有多個細部食物區域，而該超向量包含該些細部食物區域的飲食影像特徵參數。
  6. 如申請專利範圍第1項所述之飲食管理方法，更包括：透過一影像擷取裝置拍攝所述至少一飲食影像；將相關於所述至少一飲食影像的該超向量提供至一伺服器，其中該伺服器依據該超向量於該資料庫進行相似度比對，以找出所述至少一近似族群；以及從該伺服器接收關於該近似族群的資訊。
  7. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及 提供關於該近似族群的資訊；其中所述提供一超向量之步驟包括：透過一影像擷取裝置拍攝所述至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；對所述細部食物區域擷取至少一飲食影像特徵參數；以及依據所述至少一飲食影像特徵參數產生該超向量；其中所述至少一飲食影像特徵參數包括一紋理複雜度，其中該紋理複雜度包括紋理強度、紋理方向、紋理長度、紋理量或紋理規則性。
  8. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及提供關於該近似族群的資訊；其中所述提供一超向量之步驟包括：透過一影像擷取裝置拍攝所述至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；對所述細部食物區域擷取至少一飲食影像特徵參數；以及依據所述至少一飲食影像特徵參數產生該超向量；其中所述擷取至少一飲食影像特徵參數之步驟包括： 對所述細部食物區域進行一X方向差分計算與一Y方向差分計算，以獲得一X方向差分影像與一Y方向差分影像；利用該X方向差分影像與該Y方向差分影像計算一紋理強度資訊與一紋理方向資訊；利用該紋理強度資訊與該紋理方向資訊計算所述細部食物區域於至少一方向之至少一紋理編碼；以及整合所述至少一方向之所述至少一紋理編碼，以獲得所述至少一飲食影像特徵參數。
  9. 如申請專利範圍第8項所述之飲食管理方法，其中所述計算一紋理強度資訊與一紋理方向資訊之步驟包括：計算該紋理強度資訊，其中g x 為該X方向差分影像於(x ,y )處之像素值，g y 為該Y方向差分影像於(x ,y )處之像素值；以及計算該紋理方向資訊。
  10. 如申請專利範圍第8項所述之飲食管理方法，其中所述計算所述細部食物區域於至少一方向之至少一紋理編碼之步驟包括：於所述細部食物區域中選擇一目標像素；於所述細部食物區域中沿所述至少一方向選擇一編碼區域，其中該編碼區域包含該目標像素與多個相鄰像素；將該編碼區域內該些相鄰像素的該紋理方向資訊進行二元化，以獲得該些相鄰像素的二元化值； 將該些相鄰像素的二元化值轉換為該目標像素的一類別值；依據該目標像素的紋理強度資訊決定該目標像素的一高度值；以及依據所述細部食物區域中該些類別值與該些高度值決定所述細部食物區域於所述至少一方向之所述至少一紋理編碼。
  11. 如申請專利範圍第10項所述之飲食管理方法，其中所述將該編碼區域內該些相鄰像素的該紋理方向資訊進行二元化之步驟包括：於該些相鄰像素中選擇一相鄰像素；若|θi -θn | γ θ ，則該相鄰像素的二元化值為1，其中θi 為該相鄰像素的紋理方向資訊，θn 為所述至少一方向的法線向量角度，而γ θ 為角度門檻值；以及若|θi -θn |>γ θ ，則該相鄰像素的二元化值為0。
  12. 如申請專利範圍第10項所述之飲食管理方法，其中所述將該些相鄰像素的二元化值轉換為該目標像素的一類別值之步驟包括：計算該目標像素的該類別值，其中m 為該些相鄰像素的個數，D (t )為該些相鄰像素中第t個相鄰像素的二元化值。
  13. 如申請專利範圍第10項所述之飲食管理方法，其中所述依據該目標像素的紋理強度資訊決定該目標像素的一高度值之步驟包括：將該目標像素的紋理強度資訊作為該目標像素的該高度值。
  14. 如申請專利範圍第10項所述之飲食管理方法，其中所述依據所述細部食物區域中該些類別值與該些高度值決定所述細部食物區域於所述至少一方向之所述至少一紋理編碼之步驟包括：於所述細部食物區域的多個像素中，將具有相同類別值的像素的高度值進行累加，以獲得一直方圖，其中該直方圖的橫軸為類別值，而該直方圖的縱軸為高度值；以及依據該直方圖決定所述細部食物區域於所述至少一方向之所述至少一紋理編碼。
  15. 如申請專利範圍第8項所述之飲食管理方法，其中所述至少一方向包括多個方向，所述整合所述至少一方向之所述至少一紋理編碼之步驟包括：將該些方向的所述至少一紋理編碼以一連接順序相互連接，以獲得所述細部食物區域的所述至少一飲食影像特徵參數。
  16. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及 提供關於該近似族群的資訊；其中所述提供一超向量之步驟包括：透過一影像擷取裝置拍攝所述至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；對所述細部食物區域擷取至少一飲食影像特徵參數；以及依據所述至少一飲食影像特徵參數產生該超向量；其中所述至少一飲食影像包括多張飲食影像，而所述依據所述至少一飲食影像特徵參數產生該超向量之步驟包括：將所述多張飲食影像的飲食影像特徵參數依拍攝時間順序串接成該超向量。
  17. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及提供關於該近似族群的資訊；其中所述提供一超向量之步驟包括：透過一影像擷取裝置拍攝所述至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；對所述細部食物區域擷取至少一飲食影像特徵參數；以及 依據所述至少一飲食影像特徵參數產生該超向量；其中所述提供一超向量之步驟更包括：定義一飲食記錄期間；其中所述拍攝所述至少一飲食影像之步驟是進行於該飲食記錄期間。
  18. 如申請專利範圍第17項所述之飲食管理方法，其中所述進行相似度比對之步驟包括：將該超向量和該資料庫中與該飲食記錄期間長度一致之所有他人超向量進行相似度比對，以選取所述至少一近似族群。
  19. 如申請專利範圍第17項所述之飲食管理方法，其中所述超向量表現出在該飲食記錄期間內的飲食特性。
  20. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及提供關於該近似族群的資訊；其中所述進行相似度比對之步驟包括：將該超向量和該資料庫中所有他人超向量進行相似度比對，以選取所述至少一近似族群。
  21. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及 提供關於該近似族群的資訊；其中所述進行相似度比對之步驟包括：計算該超向量和該資料庫中一他人超向量間之歐幾里德距離、夾角、相關係數或交互資訊量。
  22. 一種飲食管理方法，包括：提供一超向量，其中該超向量相關於至少一飲食影像；依據該超向量於一資料庫進行相似度比對，以找出至少一近似族群；以及提供關於該近似族群的資訊；其中所述提供關於該近似族群的資訊之步驟包括：利用所述至少一近似族群之多元資料統計出至少一近似族群統計量；以及依據該近似族群統計量提供關於該近似族群的資訊。
  23. 如申請專利範圍第22項所述之飲食管理方法，其中所述多元資料包括年齡、性別、體重、居住地區、工作類型、飲食時間、生理健康狀態、心理健康狀態或疾病發展狀態。
  24. 如申請專利範圍第22項所述之飲食管理方法，其中所述近似族群統計量包括所述至少一近似族群的人口統計學資料、個人健康統計資料或飲食時間統計資料。
  25. 如申請專利範圍第22項所述之飲食管理方法，其中所述提供關於該近似族群的資訊之步驟更包括：利用至少一非近似族群之多元資料統計出至少一非近似族群統計量；以及 比對該近似族群統計量與該非近似族群統計量，以提供比較結果。
  26. 如申請專利範圍第25項所述之飲食管理方法，其中所述提供關於該近似族群的資訊之步驟更包括：利用資料探勘技術或統計檢定方法，找出該近似族群統計量與該非近似族群統計量間有顯著差異之資訊項目，作為該近似族群之飲食行為特性，並將該近似族群之飲食行為特性提供給使用者。
  27. 一種飲食管理系統，包括：一資料庫；一比對裝置，耦接至該資料庫，依據一超向量於該資料庫進行相似度比對，以找出至少一近似族群，以及提供關於該近似族群的資訊，其中該超向量相關於至少一飲食影像；一影像擷取裝置，拍攝所述至少一飲食影像；一處理裝置，耦接至該影像擷取裝置，將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；以及一特徵擷取裝置，耦接至該處理裝置，對所述細部食物區域擷取至少一飲食影像特徵參數，以及依據所述至少一飲食影像特徵參數產生該超向量給該比對裝置；其中該處理裝置將所述至少一飲食影像進行色彩校正、亮度校正或白平衡校正，以及該處理裝置從所述至少一飲食影像獲得所述至少一細部食物區域。
  28. 如申請專利範圍第27項所述之飲食管理系統，其中該處理裝置將所述至少一飲食影像轉換至一正規化空間。
  29. 如申請專利範圍第27項所述之飲食管理系統，其中該處理裝置將所述至少一飲食影像進行去背景處理，以獲得至少一餐飲部份；以及該處理裝置將所述至少一餐飲部份進行細節食物區域分割，以將所述餐飲部份分割出所述至少一細部食物區域。
  30. 如申請專利範圍第27項所述之飲食管理系統，其中所述至少一飲食影像特徵參數包括影像擷取時間、影像擷取地點、顏色、紋理複雜度或反光程度。
  31. 如申請專利範圍第27項所述之飲食管理系統，其中所述至少一飲食影像具有多個細部食物區域，而該超向量包含該些細部食物區域的飲食影像特徵參數。
  32. 一種飲食管理系統，包括：一資料庫；一比對裝置，耦接至該資料庫，依據一超向量於該資料庫進行相似度比對，以找出至少一近似族群，以及提供關於該近似族群的資訊，其中該超向量相關於至少一飲食影像；一影像擷取裝置，拍攝所述至少一飲食影像；一處理裝置，耦接至該影像擷取裝置，將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；以及 一特徵擷取裝置，耦接至該處理裝置，對所述細部食物區域擷取至少一飲食影像特徵參數，以及依據所述至少一飲食影像特徵參數產生該超向量給該比對裝置；其中所述至少一飲食影像包括多張飲食影像，而該特徵擷取裝置將所述多張飲食影像的飲食影像特徵參數依拍攝時間順序串接成該超向量。
  33. 一種飲食管理系統，包括：一資料庫；一比對裝置，耦接至該資料庫，依據一超向量於該資料庫進行相似度比對，以找出至少一近似族群，以及提供關於該近似族群的資訊，其中該超向量相關於至少一飲食影像；一影像擷取裝置，拍攝所述至少一飲食影像；一處理裝置，耦接至該影像擷取裝置，將所述至少一飲食影像進行前處理，以獲得至少一細部食物區域；以及一特徵擷取裝置，耦接至該處理裝置，對所述細部食物區域擷取至少一飲食影像特徵參數，以及依據所述至少一飲食影像特徵參數產生該超向量給該比對裝置；其中該影像擷取裝置於一飲食記錄期間拍攝所述至少一飲食影像。
  34. 一種飲食管理系統，包括：一資料庫；以及一比對裝置，耦接至該資料庫，依據一超向量於該資料庫進行相似度比對，以找出至少一近似族群，以及提供 關於該近似族群的資訊，其中該超向量相關於至少一飲食影像；其中所述比對裝置計算該超向量和該資料庫中一他人超向量間之歐幾里德距離、夾角、相關係數或交互資訊量。
  35. 一種飲食管理系統，包括：一資料庫；以及一比對裝置，耦接至該資料庫，依據一超向量於該資料庫進行相似度比對，以找出至少一近似族群，以及提供關於該近似族群的資訊，其中該超向量相關於至少一飲食影像；其中所述比對裝置利用所述至少一近似族群之多元資料統計出至少一近似族群統計量；以及所述比對裝置依據該近似族群統計量提供關於該近似族群的資訊。
  36. 如申請專利範圍第35項所述之飲食管理系統，其中所述多元資料包括年齡、性別、體重、居住地區、工作類型、飲食時間、生理健康狀態、心理健康狀態或疾病發展狀態。
  37. 如申請專利範圍第35項所述之飲食管理系統，其中所述近似族群統計量包括所述至少一近似族群的人口統計學資料、個人健康統計資料或飲食時間統計資料。
  38. 如申請專利範圍第35項所述之飲食管理系統，其中所述比對裝置利用至少一非近似族群之多元資料統計出至少一非近似族群統計量；以及所述比對裝置比對該近似族群統計量與該非近似族群統計量，以提供比較結果。
  39. 如申請專利範圍第38項所述之飲食管理系統，其中所述比對裝置利用資料探勘技術或統計檢定方法，找出該近似族群統計量與該非近似族群統計量間有顯著差異之資訊項目，作為該近似族群之飲食行為特性，並將該近似族群之飲食行為特性提供給使用者。
  40. 一種飲食管理方法，包括：透過一影像擷取裝置拍攝至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得出所述至少一飲食影像中的至少一餐飲部份，以及獲得所述餐飲部份中的至少一細部食物區域；對所述至少一細部食物區域擷取至少一飲食影像特徵參數；依據所述至少一飲食影像特徵參數，決定所述至少一細部食物區域之飲食類別；以及依據所述至少一細部食物區域之飲食類別與面積提供一個人飲食特性分析；其中所述進行前處理之步驟包括：將所述至少一飲食影像進行色彩校正、亮度校正或白平衡校正；將所述至少一飲食影像進行去背景處理，以獲得所述至少一餐飲部份；以及將所述至少一餐飲部份進行細節食物區域分割，以將所述餐飲部份分割出所述至少一細部食物區域。
  41. 如申請專利範圍第40項所述之飲食管理方法，其中所述進行前處理之步驟包括：將所述至少一飲食影像轉換至一正規化空間。
  42. 一種飲食管理方法，包括：透過一影像擷取裝置拍攝至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得出所述至少一飲食影像中的至少一餐飲部份，以及獲得所述餐飲部份中的至少一細部食物區域；對所述至少一細部食物區域擷取至少一飲食影像特徵參數；依據所述至少一飲食影像特徵參數，決定所述至少一細部食物區域之飲食類別；以及依據所述至少一細部食物區域之飲食類別與面積提供一個人飲食特性分析；其中所述至少一飲食影像特徵參數包括影像擷取時間、影像擷取地點、顏色、紋理複雜度或反光程度。
  43. 一種飲食管理方法，包括：透過一影像擷取裝置拍攝至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得出所述至少一飲食影像中的至少一餐飲部份，以及獲得所述餐飲部份中的至少一細部食物區域；對所述至少一細部食物區域擷取至少一飲食影像特徵參數； 依據所述至少一飲食影像特徵參數，決定所述至少一細部食物區域之飲食類別；依據所述至少一細部食物區域之飲食類別與面積提供一個人飲食特性分析；以及將所述至少一飲食影像特徵參數和一資料庫中所有特徵向量進行相似度比對，以決定所述至少一細部食物區域之飲食類別。
  44. 一種飲食管理方法，包括：透過一影像擷取裝置拍攝至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得出所述至少一飲食影像中的至少一餐飲部份，以及獲得所述餐飲部份中的至少一細部食物區域；對所述至少一細部食物區域擷取至少一飲食影像特徵參數；依據所述至少一飲食影像特徵參數，決定所述至少一細部食物區域之飲食類別；依據所述至少一細部食物區域之飲食類別與面積提供一個人飲食特性分析；以及將所述至少一飲食影像特徵參數和該資料庫中所有特徵向量進行相似度比對，以決定所述至少一細部食物區域之飲食類別；其中所述進行相似度比對之步驟包括：計算所述至少一飲食影像特徵參數和該資料庫中一特徵向量間之歐幾里德距離、夾角、相關係數或交互資訊量。
  45. 一種飲食管理方法，包括：透過一影像擷取裝置拍攝至少一飲食影像；將所述至少一飲食影像進行前處理，以獲得出所述至少一飲食影像中的至少一餐飲部份，以及獲得所述餐飲部份中的至少一細部食物區域；對所述至少一細部食物區域擷取至少一飲食影像特徵參數；依據所述至少一飲食影像特徵參數，決定所述至少一細部食物區域之飲食類別；以及依據所述至少一細部食物區域之飲食類別與面積提供一個人飲食特性分析；其中所述決定所述至少一細部食物區域之飲食類別之步驟包括：於一資料庫進行相似度比對或是透過飲食類別分類器。
TW101147599A 2012-12-14 2012-12-14 飲食管理方法與系統 TWI498845B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101147599A TWI498845B (zh) 2012-12-14 2012-12-14 飲食管理方法與系統
US13/854,970 US9449029B2 (en) 2012-12-14 2013-04-02 Method and system for diet management
US15/232,829 US9971876B2 (en) 2012-12-14 2016-08-10 Method, system and electronic device for diet management

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101147599A TWI498845B (zh) 2012-12-14 2012-12-14 飲食管理方法與系統

Publications (2)

Publication Number Publication Date
TW201423656A TW201423656A (zh) 2014-06-16
TWI498845B true TWI498845B (zh) 2015-09-01

Family

ID=50931323

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101147599A TWI498845B (zh) 2012-12-14 2012-12-14 飲食管理方法與系統

Country Status (2)

Country Link
US (2) US9449029B2 (zh)
TW (1) TWI498845B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130273509A1 (en) * 2012-04-16 2013-10-17 Christopher M. MUTTI Method of Monitoring Nutritional Intake by Image Processing
US20150325143A1 (en) * 2014-05-09 2015-11-12 Rise Labs, Inc. Micro-Coaching for Healthy Habits
US10453356B2 (en) * 2014-09-22 2019-10-22 Alexander Petrov System and method to assist a user in achieving a goal
EP3221679A4 (en) 2014-11-21 2018-11-14 Mutti, Christopher M. Imaging system for object recognition and assessment
KR102251960B1 (ko) * 2015-01-15 2021-05-14 삼성전자주식회사 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
TWI609352B (zh) * 2015-09-29 2017-12-21 美和學校財團法人美和科技大學 紙式檢測裝置之顏色辨識方法
US11017058B1 (en) * 2015-11-20 2021-05-25 Kwesi McDavid-Arno Expert medical system and methods therefor
KR102359359B1 (ko) * 2015-11-25 2022-02-08 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
JP6639216B2 (ja) * 2015-12-15 2020-02-05 共同印刷株式会社 システム、サーバ及び方法
TW201901598A (zh) * 2017-05-15 2019-01-01 浩鑫股份有限公司 飲食資訊建議系統及其飲食資訊建議方法
US11328810B2 (en) 2017-05-19 2022-05-10 Diet Id, Inc. Diet mapping processes and systems to optimize diet quality and/or minimize environmental impact
CA3110980A1 (en) * 2018-08-30 2020-03-05 Splashlight Holding Llc Technologies for enabling analytics of computing events based on augmented canonicalization of classified images
WO2020132478A1 (en) * 2018-12-20 2020-06-25 Dqpn, Llc Diet quality fingerprinting
CN110413826A (zh) * 2019-06-27 2019-11-05 南京旷云科技有限公司 物品图像识别方法和设备、图像处理设备及介质
CN115530773B (zh) * 2022-10-17 2024-01-05 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
US6930296B2 (en) * 2003-09-09 2005-08-16 Johnson Chen Apparatus, method and system for food management and food inventory
US7999674B2 (en) * 2007-01-15 2011-08-16 Deka Products Limited Partnership Device and method for food management
TWM426086U (en) * 2011-09-06 2012-04-01 Bang-Xu Chen Intelligent image-type storage management system
TW201227592A (en) * 2010-12-30 2012-07-01 Ping-Hua Chang Method for food and drink management with interactive image identifying technology

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020047867A1 (en) 2000-09-07 2002-04-25 Mault James R Image based diet logging
TWI403912B (zh) * 2006-06-08 2013-08-01 Univ Nat Chiao Tung 圖像檢索之方法及系統
US8014569B2 (en) 2006-10-30 2011-09-06 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of produce (fruit, vegetables) using spatially structured illumination
US7949154B2 (en) * 2006-12-18 2011-05-24 Cryovac, Inc. Method and system for associating source information for a source unit with a product converted therefrom
KR100866792B1 (ko) 2007-01-10 2008-11-04 삼성전자주식회사 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치
US7860277B2 (en) 2007-04-10 2010-12-28 Bizerba Gmbh & Co. Kg Food product checking system and method for identifying and grading food products
US20080296380A1 (en) 2007-05-29 2008-12-04 Microsoft Corporation Nutritional intake tracker
JP4570670B2 (ja) * 2008-06-30 2010-10-27 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法、画像処理プログラム、記録媒体
WO2010013237A1 (en) 2008-07-29 2010-02-04 Superfish Ltd. Edge neighborhood descriptor
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
US20110022529A1 (en) 2009-07-22 2011-01-27 Fernando Barsoba Social network creation using image recognition
US8538164B2 (en) 2010-10-25 2013-09-17 Microsoft Corporation Image patch descriptors
US8429027B2 (en) 2010-11-08 2013-04-23 Yahoo! Inc. Mobile-based real-time food-and-beverage recommendation system
US8165414B1 (en) * 2010-11-11 2012-04-24 Google Inc. Vector transformation for indexing, similarity search and classification
US8625889B2 (en) * 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
WO2012094569A2 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US10006896B2 (en) * 2011-11-14 2018-06-26 University of Pittsburgh—of the Commonwealth System of Higher Education Method, apparatus and system for food intake and physical activity assessment
JP6265909B2 (ja) * 2011-12-16 2018-01-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 名前による自動血管識別
US9042596B2 (en) * 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
US6930296B2 (en) * 2003-09-09 2005-08-16 Johnson Chen Apparatus, method and system for food management and food inventory
US7999674B2 (en) * 2007-01-15 2011-08-16 Deka Products Limited Partnership Device and method for food management
TW201227592A (en) * 2010-12-30 2012-07-01 Ping-Hua Chang Method for food and drink management with interactive image identifying technology
TWM426086U (en) * 2011-09-06 2012-04-01 Bang-Xu Chen Intelligent image-type storage management system

Also Published As

Publication number Publication date
US20160350515A1 (en) 2016-12-01
US20140170608A1 (en) 2014-06-19
US9449029B2 (en) 2016-09-20
TW201423656A (zh) 2014-06-16
US9971876B2 (en) 2018-05-15

Similar Documents

Publication Publication Date Title
TWI498845B (zh) 飲食管理方法與系統
Chen et al. Automatic chinese food identification and quantity estimation
Kitamura et al. Foodlog: Capture, analysis and retrieval of personal food images via web
Miyazaki et al. Image-based calorie content estimation for dietary assessment
Joutou et al. A food image recognition system with multiple kernel learning
Kitamura et al. Food log by analyzing food images
Kong et al. DietCam: Multi-view regular shape food recognition with a camera phone
WO2019047248A1 (zh) 高光谱遥感图像的特征提取方法及装置
KR20210099876A (ko) 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법
US10949460B2 (en) Product indexing method and system thereof
Dalakleidi et al. Applying image-based food-recognition systems on dietary assessment: a systematic review
Gade et al. Feature extraction using GLCM for dietary assessment application
Lee et al. Aifood: a large scale food images dataset for ingredient recognition
Di Ruberto et al. A feature learning framework for histology images classification
CN103049754A (zh) 社交网络的图片推荐方法和装置
CN116561433A (zh) 基于python识别的营养菜品推荐方法、装置、设备及存储介质
JP2012146159A (ja) 情報処理装置、方法及びプログラム
CN109635866A (zh) 处理肠图像的方法
Pham et al. Fresh food recognition using feature fusion
Bidaki et al. Lesion area assessment in psoriasis patients
Abdullah et al. An accurate thresholding-based segmentation technique for natural images
Khan et al. A machine learning approach to recognize junk food
Eskin et al. An intelligent nutritional assessment system
Ciocca et al. IVLFood-WS: Recognizing food in the wild using Deep Learning
Mittal et al. Machine Learning Methods Analysis For Calories Measuremnt of Fruits and Vegetables