WO2014107081A1 - 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 - Google Patents

음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 Download PDF

Info

Publication number
WO2014107081A1
WO2014107081A1 PCT/KR2014/000125 KR2014000125W WO2014107081A1 WO 2014107081 A1 WO2014107081 A1 WO 2014107081A1 KR 2014000125 W KR2014000125 W KR 2014000125W WO 2014107081 A1 WO2014107081 A1 WO 2014107081A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
calorie
image
automatic
picture
Prior art date
Application number
PCT/KR2014/000125
Other languages
English (en)
French (fr)
Inventor
김남국
Original Assignee
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단 filed Critical 재단법인 아산사회복지재단
Publication of WO2014107081A1 publication Critical patent/WO2014107081A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Definitions

  • the present invention relates to a method for automatically calculating calories using a food photograph and a dietary habit management system using the method, and more specifically, to estimate the type and amount of food using an automatic classifier learned by analyzing image characteristics of the food photograph.
  • the present invention relates to a system for calculating the calorie of food and managing the user's eating habits using the same.
  • Korean Patent Laid-Open Publication No. 10-2005-0045190 discloses a technique related to a conventional calorie counting method, which discloses calorie counting information for each food item in a mobile communication terminal, and provides a total number according to a user's numerical input. Provides a way to calculate calories.
  • a first step of providing a screen displaying calorie calculation information for each food and the amount of food ingested in the calorie calculation information for each food item In response to the input of a numerical value, the second step of calculating the total calories accordingly, and the third step of displaying the calculated total calorie amount.
  • the conventional method as described above has the effect that it is possible to calculate calories anytime and anywhere, and relatively simple calories can be calculated simply by inputting a simple value.
  • the present invention is to solve the above conventional problems, without inputting the type and amount of food directly ingested by the user for calorie calculation, the image of the color, texture and shape in the ingested or ingested food pictures
  • the purpose of the present invention is to estimate the type and amount of food by extracting the features, and to automatically calculate calories based on this, and to provide a device and a dietary management system using the same.
  • the present invention for achieving the above object comprises the steps of: (a) calculating the image characteristics of the color, texture and shape of the learning food photograph; (b) generating an automatic classifier through machine learning based on the calculated image feature values; (c) estimating the type and amount of food by extracting image features of color, texture, and shape from the input food photograph and inputting them to the automatic classifier; And (d) calculating calories using the estimated type and amount of food.
  • the present invention for achieving the above object is a user terminal for uploading food pictures before and after food intake on the web (web) or app (app); A database storing calorie data for each type of food; And a food estimation module for estimating food types and amounts of the food pictures by extracting image features from the food pictures before and after the food ingestion uploaded from the user terminal and inputting them to a pre-learned automatic classifier for the type and amount of food. And a calorie calculation module for calculating calorie intake using the difference between the estimated food type and the amount of food before and after ingestion and calorie data of a database, and an eating habit management module for guiding and managing a user's eating habit using the calculated calorie intake.
  • Server characterized in that it comprises a.
  • the present invention by estimating the type and amount of food using the image characteristics of the color, shape and texture of the food picture, and automatically calculates the calories using the estimated type and amount of food, the user types of food And it does not need to manually enter the amount and convenient, and when the user uploads food photos based on the web or app, the calorie ingested in real time is calculated, and based on this, the eating habits consulting appropriate for each user is provided.
  • FIG. 1 is a flow chart illustrating a method for automatically calculating calories using a food photograph according to the present invention.
  • FIG. 2 is a flowchart illustrating an automatic classifier generation process according to the present invention.
  • FIG. 3 is a reference diagram illustrating a method for preprocessing and dividing a food photograph according to the present invention.
  • FIG. 4 is a reference diagram illustrating a method of estimating a type of food using an automatic classifier of the present invention.
  • FIG. 5 is a reference diagram for explaining a method of estimating the amount of food using the automatic classifier of the present invention.
  • FIG. 6 is a diagram showing calorie data of a database used in the present invention.
  • FIG. 7 is a diagram visually displayed on a food photograph by calculating calories using the method according to the present invention.
  • FIG. 8 is a diagram visually displayed on the food picture by calculating the calories intake using the method according to the invention.
  • FIG. 9 is an exemplary table extracting the image characteristics of the rice (white rice) according to the present invention.
  • FIG. 10 is an exemplary table extracted image features of kimchi according to the present invention.
  • FIG. 11 is a block diagram illustrating a system for managing eating habits using the method of the present invention.
  • FIG. 12 is a block diagram showing the configuration of the food estimation module according to the present invention.
  • FIG. 1 is a flowchart illustrating an automatic calorie calculation method using a food photograph according to the present invention
  • FIG. 2 is a flowchart illustrating an automatic classifier generation process according to the present invention
  • FIGS. 3 to 10 are foods according to the present invention. It is a reference diagram explaining the automatic calculation of calories using a photograph.
  • 9 and 10 are tables showing image feature extraction values for kimchi and rice when each pixel of the food photograph represents an RGB 8-bit color.
  • the method may include generating an automatic classifier (S100), estimating the type and amount of food using the automatic classifier (S200), and estimating.
  • S300 the step S200 is a step of pre-processing the input food photo (S210), the step of dividing the pre-food photo (S220), Extracting the image feature by image processing the divided region (S230) and estimating the type and amount of food by inputting the extracted image feature to the automatic classifier (S240).
  • step S100 Generating the same classifier (S100), the step of obtaining a learning food picture (S110), as shown in Figure 2, pre-processing the obtained learning food picture (S120), the pre-processed learning food picture is divided In step S130, obtaining an image feature from the divided learning food pictures (S140), and inputting the type and amount of food for the extracted image feature to generate an automatic classifier (S150).
  • the step S110 is a step of acquiring a learning food picture to generate an automatic classifier for the type and amount of food, wherein the learning food picture is a picture of a plate with food or a picture of a table on which the food is placed.
  • the food photograph for learning may be an image photographed using a digital camera such as a camera of a smartphone or a DSLR.
  • the step S120 is a step of preprocessing the food picture in order to easily extract the image feature from the food picture for learning, the learning food picture is reduced or enlarged to a set resolution, for example, 1024 ⁇ 768, the food picture of the plate or table It may include the step of recognizing the boundary.
  • a line hough transform, image thresholding, or texture analysis may be used as a method of recognizing a boundary of a plate or a table.
  • the step S130 is a step of dividing only the region where food exists in the preprocessed learning food photograph, and may be manually divided by the learner. That is, by visually identifying and dividing an area where food is present in the food image for learning, it is possible to extract a more accurate food area.
  • the divided food region may be subdivided into a circular region of interest of a predetermined size, for example, 10 ⁇ 10 pixels, for learning the amount of food.
  • step S140 the image feature is extracted from the divided food region and the region of interest, and the image feature of color, shape, and texture is extracted.
  • Table 1 below is a table showing the image feature to be extracted in step S140, it will be described with reference to the image feature for the color, shape and texture extracted.
  • SD Standard Deviation
  • SPE Short Primitive Emphasis
  • LPE Long Primitive Emphasis
  • GLCM Gray Level Co-occurrence Matrix
  • ASM Angular Second Moment
  • IDM Inverse Differential Moment.
  • the image characteristics of the color are RGB color average values and deviations and RGB color histograms for the food region and each region of interest, and the histogram is mean, standard deviation (SD), and asymmetry per R, G, and B. Skewness and Kurtoses histogram values.
  • the image characteristics of the shape are the number of pixels and the run length, and the run length is composed of SPE (Short Primitive Emphasis) and LPE (Long Primitive Emphasis), and the number of pixels is the size of the food region. It is used to measure.
  • the image characteristic of the texture is a texture variable of a gray level co-occurrence matrix (GLCM), which is one of a gradient histogram and a texture analysis technique of the mean and standard deviation.
  • GLCM gray level co-occurrence matrix
  • ASM Angular Second Moment
  • IDM Inverse Difference Moment
  • Inertia six texture variables and gradient histograms of GLCM's Angular Second Moment (ASM), Contrast, Correlation, Entropy, Inverse Difference Moment (IDM), and Inertia are obtained and obtained as image features on the texture.
  • step S150 the classifier learns the type and amount of food having the image characteristics acquired in step S140. That is, the classifier generates a classifier by inputting the type and quantity of each food in the classmate's food photograph already known to the classifier.
  • the automatic classifier may be a Bayesian Classifier, a support vector machine (SVM), or an artificial neural network (ANN).
  • SVM support vector machine
  • ANN artificial neural network
  • the automatic classifier When the automatic classifier is generated by using a number of learning pictures for various food types and quantities, the automatic classifier can more accurately estimate the type and amount of food.
  • the food picture input here means a food picture that a user inputs to calculate calories.
  • the method of extracting an image feature from an input food photograph is almost the same as the method of extracting an image feature of the automatic classifier generation method described above. This is because the same image feature used in the generation of the automatic classifier should be obtained from the input food photos in order to estimate the type and amount of food. Therefore, except for the preprocessing step (S210) and the image feature extraction step (S230), which is the same method as the method of generating the automatic classifier, the image splitting step (S220), the food type and amount estimating step (S240), and calories are different. Only the calculation step S300 will be described.
  • the step S220 is a step of dividing the food region and the region of interest in the preprocessed input food photo, and the automatic division is used instead of the manual division used when the automatic classifier is generated.
  • the automatic division is used instead of the manual division used when the automatic classifier is generated.
  • step S240 the extracted image features are input to an automatic classifier to estimate the type and amount of food present in the input food picture.
  • the automatic classifier estimates the type and amount of food present in the input food photograph by comparing and analyzing each input image feature with the image feature for each type and amount of food learned.
  • the type of food is estimated using the image characteristics of the entire divided food region, and then the amount of food is estimated using the image characteristics of each region of interest of the food region from which the food type is estimated.
  • the ROI is a region obtained by re-dividing the food region into a predetermined size, thereby enabling a more detailed estimation of the amount of food.
  • a food region in which the type of food is estimated is subdivided into regions of interest having a plurality of predetermined sizes, and then the food in the food region is classified through an automatic classifier using image features of each region of interest.
  • the amount of food is estimated by estimating the portion that actually exists and calculating the size of the estimated region of interest. That is, in the case of the food region, since the boundary of the portion where the food is placed on the plate or the bowl on the table is detected, the size of the food region and the size of the portion where the actual food is present may be different.
  • the image feature on the food picture is analyzed to extract only the region where the food is actually present, and the amount of food is estimated based on this, the amount of food can be estimated more accurately.
  • the type of food may be estimated using not only the food type estimation using an automatic classifier but also a content based image retrieval (CBIR) technique.
  • CBIR content based image retrieval
  • step S300 when the type and amount of food are estimated using an automatic classifier, the calorie of the food is calculated by using the automatic classifier.
  • the calorie of the food is calculated by using a database storing calories for each type of food for a reference amount. do.
  • the food type and amount of each food picture may be estimated in step S240, and calorie intake may be calculated using the difference in amount of food between the food pictures in step S300.
  • the present invention can visually display the calories of each food calculated in the step S300 on the corresponding food of the input food picture.
  • the display may display not only the corresponding calories of each food but also the total calories obtained by adding the calories of the corresponding foods, and the calories ingested. Therefore, the user can intuitively check the calories ingested as well as the total calories ingested when all the foods are eaten.
  • FIG. 11 is a block diagram illustrating a system for managing a dietary habit using an automatic calorie calculation method using a food photograph according to the present invention
  • FIG. 12 is a block diagram showing the configuration of a food estimation module according to the present invention.
  • the eating habit management system 1000 using the calorie automatic calculation method using food photography according to the present invention includes a user terminal 100, a database 200, and a food estimation module 310, calories. It includes a server 300 that includes a calculation module 320 and the eating habits management module 330.
  • the user terminal 100 is for uploading a food photo on a web or an app, and may be a smartphone, a desktop or a laptop.
  • the user terminal 220 can communicate by wire or wirelessly through the server 230 and the network 10, the user uploads a food photo on the web or download and install the app and upload the food photo on the app can do.
  • the user may additionally input his age, weight and height.
  • the database 200 stores calorie data for each type of food for a set reference amount and is used to calculate calories of food using the type and amount of food estimated by the food estimating unit 313.
  • the food estimation module 310 of the server 300 is an automatic classifier unit 311 generated through a machine learning about the type and amount of food, image feature extraction unit 312, extracting the image feature from the food picture, extraction And a food estimator 313 estimating the type and amount of food using the image feature and the automatic classifier.
  • the image feature extractor 312 may include a preprocessing unit 312a for preprocessing an input food photo, an image divider 312b for dividing a food region and a region of interest in the preprocessed input food photo, and a divided food region. And a feature extractor 312c for extracting an image feature of the ROI.
  • the automatic classifier unit 311 is a place for generating an automatic classifier for each type and amount of food using the learning food picture, the learner learns in advance using the learning food picture to generate an automatic classifier. Since the image features used for learning are the same as the image features used in step S140 described above, a detailed description thereof will be omitted.
  • the image feature extractor 312 extracts image features necessary for estimating the type and amount of food from an input food picture.
  • the preprocessing unit 312a of the image feature extracting unit 312 performs preprocessing to facilitate image feature extraction of the input food photo, and the preprocessing resizes the food photo input at the set resolution.
  • the rotation may include dividing the plate or the table portion in the photograph of the food being input.
  • a line hough transform, image thresholding or texture analysis technique may be used to divide the plate or table portion.
  • the image dividing unit 312b divides a food region, which is a region where food is present, from the preprocessed food photo, and subdivids the divided food region into a region of interest having a predetermined size.
  • the food region is, for example, a portion in which food is contained in a plate when the input food photo is a photo of a plate, and a bowl portion in which food is contained when the input food photo is foods placed on a table.
  • the region of interest refers to a region of a predetermined size preset for estimating the amount of food.
  • the feature extractor 312c extracts image features of color, shape, and texture of each of the divided food regions and the ROIs.
  • the food estimator 313 estimates the type and amount of food present in the food photograph input by using the image feature extracted by the image feature extractor 312 and the automatic classifier generated by the automatic classifier 311. do. That is, the food estimator 313 first estimates what kind of food each food region is using the image characteristics of each food region, and then uses the image characteristics of each region of interest of the estimated food region to determine the food. Estimate the amount.
  • the food estimation module 310 may estimate the type of food by additionally using a content-based image retrieval technique as well as an automatic classifier to estimate the type of food more accurately.
  • the calorie calculation module 320 calculates the calories of each food in the uploaded food picture by using the type and amount of food estimated by the food estimator 313 and the calorie data of the database 200.
  • the dietary habit management system 1000 using the automatic calorie calculation method using the food picture according to the present invention the calories calculated by the calorie calculation module 320 is placed on each food of the food picture uploaded from the user terminal 100. I can display it.
  • the eating habit management module 330 guides and manages the eating habits of the user by using the type of food ingested, the amount ingested, and the calories ingested.
  • the eating habits management module 330 may be changed by the administrator to provide various functions according to the purpose of use.
  • the user can estimate the type and amount of food from the uploaded food photos, and use the estimated food type and amount to identify the food types preferred by the user, and analyze the user's intake status by nutrients.
  • the nutrient may be guided to the user by using the nutrient or the food to be additionally consumed by the user for the balanced intake of the nutrient.
  • the calorie ingested by the user on a daily, weekly and monthly basis may be analyzed to provide a food intake plan for weight control.
  • the eating habits management module 330 may additionally use information regarding age, weight, and height input by the user.
  • the eating habits management module 330 may be used for consulting a personalized eating habit for a diet or a disease suitable for a patient's eating habits and diseases in a hospital.
  • the user can check the calories of the food he ingested in real time, and various consulting according to the user's situation based on the type and amount and calories of the ingested food. There is an effect that can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Nutrition Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템에 관한 것으로, 음식사진의 색상, 형상 및 질감에 대한 영상특징을 이용하여 음식의 종류 및 양을 추정하고 추정된 음식의 종류 및 양을 이용하여 칼로리를 자동으로 계산함으로써, 사용자가 음식의 종류 및 양을 수동으로 입력할 필요가 없어 편리하며, 웹 또는 앱 기반으로 사용자가 음식사진을 업로드하면 실시간으로 섭취한 칼로리를 계산하고 이를 바탕으로 사용자 각각에 알맞는 식습관 컨설팅이 제공되는 효과가 있는 매우 유용한 발명인 것이다.

Description

음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
본 발명은 음식사진을 이용한 칼로리 자동 계산 방법 및 그 방법을 이용한 식습관 관리시스템에 관한 것으로, 보다 자세하게는 음식사진의 영상 특징을 분석하여 학습된 자동 분류자를 이용하여 음식의 종류 및 양을 추정하여 자동으로 음식의 칼로리를 계산하고 이를 이용하여 사용자의 식습관을 관리하는 시스템에 관한 것이다.
현대 사회가 점차 서구화 및 산업화됨에 따라 과체중이나 비만으로 고통받는 사람들이 점차 증가하고 있다. 이러한 과체중이나 비만은 개인에게 있어서도 성인병 등 각동 질환의 원인이 되는 심각한 문제지만, 사회적으로도 그에 따른 엄청난 사회적 비용을 발생시키므로 현대의 심각한 사회 문제 중 하나가 되고 있다.
따라서, 이와 같은 과체중이나 비만을 해결하기 위한 다이어트가 현대인들에게는 필수라고 할 만큼 광범위하게 실시되고 있다. 또한, 최근에는 사람들의 아름다움에 대한 욕구가 증가됨에 따라 다이어트가 단순한 건강을 위한 과체중이나 비만 해결 방법이 아닌 아름다운 몸매와 건강을 유지하기 위한 수단으로 각광받고 있다.
상기와 같은 다이어트를 위해서는 자신의 식습관을 분석하는 것이 선행되어야 하며, 이는 자신이 섭취하는 칼로리를 인지하는 것이 기본이 된다.
한국 공개 특허 10-2005-0045190호는 종래의 칼로리 계산 방법에 관한 기술이 개시되어 있으며, 상기 공개 특허는 이동통신 단말기에서 각각의 음식물에 대한 칼로리 계산 정보를 제공하고, 사용자의 수치 입력에 따라 전체 칼로리양을 계산하는 방법을 제공한다.
보다 구체적으로는, 사용자가 이동통신 단말기 상의 칼로리 계산 메뉴를 선택하면, 음식 각각에 대한 칼로리 계산 정보가 표시된 화면을 제공하는 제1단계와, 상기 음식물 각각에 대한 칼로리 계산 정보에 섭취한 음식물의 양에 해당하는 수치를 입력하면, 이에 따라 전체 칼로리를 계산하는 제2단계와, 계산된 전체 칼로리양을 디스플레이하는 제3단계를 구비한다.
상기와 같은 종래의 방법은 언제 어디서나 칼로리의 계산이 가능하고 간단한 수치의 입력만으로 비교적 간단하게 칼로리를 계산할 수 있다는 효과가 있다.
하지만, 상기와 같은 종래의 칼로리 계산 방법의 경우 여전히 사용자가 일일이 자신이 섭취한 음식물의 종류를 검색한 후 섭취한 양을 입력해야 하기 때문에 수동적인 입력에 따른 불편함과
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 칼로리 계산을 위해 사용자가 직접 섭취한 음식물의 종류 및 양을 입력하지 않고, 섭취할 또는 섭취한 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 음식의 종류 및 양을 추정하고, 이를 바탕으로 자동으로 칼로리를 계산하는 방법과 그 장치 및 이를 이용한 식습관 관리 시스템을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계; (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계; (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및 (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계;를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말; 음식의 종류별 칼로리 데이터가 저장되어 있는 데이터베이스; 및 상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 음식사진의 색상, 형상 및 질감에 대한 영상특징을 이용하여 음식의 종류 및 양을 추정하고 추정된 음식의 종류 및 양을 이용하여 칼로리를 자동으로 계산함으로써, 사용자가 음식의 종류 및 양을 수동으로 입력할 필요가 없어 편리하며, 웹 또는 앱 기반으로 사용자가 음식사진을 업로드하면 실시간으로 섭취한 칼로리를 계산하고 이를 바탕으로 사용자 각각에 알맞는 식습관 컨설팅이 제공되는 효과가 있다.
도 1은 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 도시한 흐름도이다.
도 2는 본 발명에 따른 자동분류자 생성 과정을 설명하는 흐름도이다.
도 3은 본 발명에 따른 음식사진의 전처리 및 분할 방법을 설명하는 참고도이다.
도 4는 본 발명의 자동분류자를 이용하여 음식의 종류를 추정하는 방법을 설명하는 참고도이다.
도 5는 본 발명의 자동분류자를 이용하여 음식의 양을 추정하는 방법을 설명하는 참고도이다.
도 6은 본 발명에 사용되는 데이터베이스의 칼로리 데이터를 나타낸 도면이다.
도 7은 본 발명에 따른 방법을 이용하여 칼로리을 계산하여 음식사진에 시각적으로 표시한 도면이다.
도 8은 본 발명에 따른 방법을 이용하여 섭취한 칼로리을 계산하여 음식사진에 시각적으로 표시한 도면이다.
도 9은 본 발명에 따른 밥(백미)의 영상특징을 추출한 예시표이다.
도 10는 본 발명에 따른 김치의 영상특징을 추출한 예시표이다.
도 11는 본 발명의 방법을 이용한 식습관 관리 시스템을 도시한 블럭도이다.
도 12은 본 발명에 따른 음식추정모듈의 구성을 나타낸 블럭도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 도시한 흐름도이며, 도 2는 본 발명에 따른 자동분류자 생성과정을 설명하는 흐름도이며, 도 3 내지 도 10은 본 발명에 따른 음식사진을 이용한 열량 자동 계산 방법을 설명하는 참고도이다. 여기서, 도 9 및 도 10은 음식사진의 각 픽셀이 RGB 8비트의 색상을 표현하는 경우 김치 및 밥에 대한 영상특징 추출값을 나타낸 표이다.
먼저, 도 1을 참조하면, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법은 자동분류자를 생성하는 단계(S100), 자동분류자를 이용하여 음식의 종류 및 양을 추정하는 단계(S200) 및 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계(S300)를 포함하며, 상기 S200 단계는 입력되는 음식사진을 전처리하는 단계(S210), 전치리한 음식사진을 분할하는 단계(S220), 분할된 영역을 영상처리하여 영상특징을 추출하는 단계(S230) 및 추출된 영상특징을 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계(S240)를 포함한다.
상기 동분류자를 생성하는 단계(S100)는, 도 2에 도시된 바와 같이 학습용 음식사진을 획득하는 단계(S110), 획득된 학습용 음식사진을 전처리하는 단계(S120), 전처리된 학습용 음식사진을 분할하는 단계(S130), 분할된 학습용 음식사진에서 영상특징을 획득하는 단계(S140), 추출된 영상특징에 대한 음식의 종류 및 양을 입력하여 자동분류자를 생성하는 단계(S150)를 포함한다.
상기 S110 단계는, 음식의 종류 및 양에 대한 자동분류자를 생성하기 위해 학습용 음식사진을 획득하는 단계로써, 상기 학습용 음식사진은 음식이 있는 식판의 사진이나 음식이 놓여져 있는 식탁의 사진이다. 학습용 음식사진은 스마트폰의 카메라나 DSLR 등의 디지털 카메라를 이용하여 촬영한 이미지일 수 있다.
상기 S120 단계는, 학습용 음식사진에서 영상특징을 쉽게 추출하기 위해 음식사진을 전처리하는 단계로써, 학습용 음식사진을 설정된 해상도, 예를 들어 1024×768로 축소 또는 확대하고, 음식사진에서 식판 또는 식탁의 경계를 인식하는 단계를 포함할 수 있다.
한편, 식판 또는 식탁의 경계를 인식하는 방법으로 선 허프 변환(Line Hough transform), 이미지 임계화(Image Thresholding) 또는 질감 분석(Texture analysis)이 사용될 수 있다.
상기 S130 단계는, 전처리된 학습용 음식사진에서 음식이 존재하는 영역만을 분할하는 단계로서, 학습자에 의해 수동으로 분할될 수 있다. 즉, 학습용 음식사진에서 음식이 존재하는 영역을 육안으로 확인하고 분할함으로써, 보다 정확한 음식영역의 추출이 가능하다. 또한 음식 양의 학습을 위해 분할된 음식영역을 설정된 크기, 예를 들면 10×10 픽셀 단위의 원형의 관심영역으로 재분할 할 수 있다.
상기 S140 단계는, 분할된 음식영역 및 관심영역에서 영상특징을 추출하는 단계로서, 색상, 형상 및 질감에 대한 영상특징을 추출한다.
아래의 표 1은, 상기 S140 단계에서 추출하는 영상특징을 나타낸 표이며, 이를 참조하여 추출되는 색상, 형상 및 질감에 대한 영상특징을 설명한다.
표 1
영상특징 세부 영상특징
색상 색상(per R,G,B) Mean
SD
히스토그램(per R,G,B) Mean
SD
Skewness
Kurtosis
형상 Run-length SPE
LPE
질감 기울기 히스토그램 Mean
SD
GLCM ASM
Contrast
Correlation
IDM
Entropy
Inertia
여기에서, 상기 SD:Standard Deviation, SPE:Short Primitive Emphasis, LPE:Long Primitive Emphasis, GLCM:Gray Level Co-occurrence Matrix, ASM:Angular Second Moment, IDM:Inverse Differential Moment 이다.
상기 색상에 대한 영상특징은 음식영역 및 각 관심영역에 대한 RGB 색상 평균값과 편차 및 RGB 색상 히스토그램이며, 상기 히스토그램은 R,G,B 당 평균(Mean), 표준편차(Standard Deviation,SD), 비대칭도(Skewness), 첨도(Kurtoses) 히스토그램값이다.
상기 형상에 대한 영상특징은 픽셀의 갯수 및 런 렝스(Run Length)이며, 상기 런 렝스는 SPE(Short Primitive Emphasis) 및 LPE(Long Primitive Emphasis)로 구성되며, 상기 픽셀의 갯수는 음식영역의 크기를 측정하기 위해 사용된다.
상기 질감에 대한 영상특징은 상기 평균 및 표준편차의 기울기 히스토그램 및 질감 분석(texture analysis)기법 중 하나인 GLCM(Gray Level Co-occurrence matrix)의 텍스쳐 변수이다. 즉, GLCM의 ASM(Angular Second Moment), Contrast, Correlation, Entropy, IDM(Inverse Difference Moment) 및 Inertia의 6가지 텍스처 변수와 기울기 히스토그램을 구하여 이를 질감에 대한 영상특징으로 획득한다.
상기 S150 단계는, 상기 S140 단계에서 획득한 영상특징들을 가지는 음식의 종류 및 양을 자동분류자에 학습시키는 단계이다. 즉, 학습자가 이미 알고 있는 학습용 음식사진의 각 음식의 종류 및 양을 자동분류자에 입력하여 자동분류자를 생성한다.
상기 자동분류자는 Bayesian Classifier, SVM(Support Vector Machine) 또는 ANN(Artificial Neural Network)등이 사용될 수 있다. 각 자동 분류자는 고유의 원리를 이용하여 알려준 음식의 종류와 양을 영상 사진에서 자동으로 추출된 영상의 특징값을 이용하여 자동 분류 구조를 만든다. 이런 음식의 종류 및 양을 분류할 수 있는 자동 분류자를 생성하는 것이 학습의 최종 결과이다.
자동분류자의 학습시 다양한 음식종류 및 양에 대한 많은 학습용 사진을 이용하여 자동분류자를 생성하는 경우 음식의 종류 및 양에 대한 보다 정확한 추정이 가능하다.
상기와 같은 단계들(S110, S120, S130, S140, S150)을 거쳐 자동분류자가 생성되면, 입력되는 음식사진을 이용하여 음식의 종류 및 양을 추정하고 이를 바탕으로 입력되는 음식사진에 존재하는 각 음식의 칼로리를 계산한다. 여기에서 입력되는 음식사진이란 사용자가 칼로리를 계산하기 위해 입력하는 음식사진을 의미한다.
이하에서, 입력된 입력되는 음식사진의 음식 종류 및 양을 추정하고 이를 바탕으로 칼로리를 계산하는 방법을 보다 상세히 설명한다.
먼저, 입력되는 음식사진에서 영상특징을 추출하는 방법은 상기에서 설명한 자동분류자 생성 방법의 영상특징을 추출하는 방법과 거의 동일하다. 이는 음식의 종류 및 양을 추정하기 위해 자동분류자의 생성에 사용된 동일한 영상특징을 입력되는 음식사진으로부터 획득하여야 하기 때문이다. 따라서, 자동분류자의 생성방법과 동일한 방법인 전처리 단계(S210) 및 영상특징 추출 단계(S230)는 제외하고 차이점이 있는 방법인 영상분할 단계(S220), 음식종류 및 양 추정 단계(S240) 및 칼로리 계산 단계(S300)만을 설명한다.
상기 S220 단계는, 전처리된 입력되는 음식사진에서 음식이 있는 음식영역 및 관심영역을 분할하는 단계로써, 자동분류자 생성시 사용된 수동 분할이 아니 자동분할이 사용된다. 상기와 같은 자동분할을 위해 본 발명에서는 템플릿 매칭(Template Matching) 및 원 허프 변환(Circle Hough Transform)을 이용하여 입력되는 음식사진에서 음식이 존재하는 부분만을 분할한다. 즉, 상기 방법을 이용하여 입력되는 음식사진에서 그릇 또는 식판의 음식부분을 인식한다.
상기 S240 단계는, 추출된 각 영상특징을 자동분류자에 입력하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정하는 단계이다. 자동분류자는 입력된 각 영상특징들을 학습된 각 음식종류 및 양에 대한 영상특징들과 비교 분석하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정한다.
보다 자세하게는, 분할된 음식영역 전체의 영상특징을 이용하여 음식의 종류를 추정하고, 그 후 음식종류가 추정된 음식영역의 각 관심영역의 영상특징을 이용하여 음식의 양을 추정한다. 여기에서 관심영역은 상기 음식영역을 설정된 크기로 재분할한 영역이므로 음식의 양에 대한 보다 세밀한 추정이 가능해진다.
상기 음식의 양을 추정하는 방법은 먼저, 음식의 종류가 추정된 음식영역을 복수의 설정된 크기의 관심영역으로 재분할한 후, 각 관심영역에 대한 영상특징을 이용하여 자동분류자를 통해 음식영역 중 음식이 실제로 존재하는 부분을 추정하고 추정된 관심영역의 크기를 계산하여 음식의 양을 추정한다. 즉, 음식영역의 경우 식판에서 음식이 담겨지는 부분 또는 식탁 위에 있는 그릇의 경계를 검출한 것이므로, 음식영역의 크기와 실제 음식이 존재하는 부분의 크기가 다를 수 있기 때문에 본 발명의 음식량 추정방법과 같이 음식사진상의 영상특징을 분석하여 음식이 실제로 존재하는 영역만을 추출하고 이를 바탕으로 음식의 양을 추정하는 경우 보다 정확한 음식량의 추정이 가능하다.
또한, 보다 정확하게 음식의 종류를 추정하기 위해 자동분류자를 이용한 음식종류 추정뿐만 아니라 추가로 내용기반 이미지 검색(CBIR:Content Based Image Retrieval)기법을 이용하여 음식의 종류를 추정할 수 있다.
상기 S300 단계는, 자동분류자를 이용하여 음식의 종류 및 양이 추정되면 이를 이용하여 음식의 칼로리를 계산하는 단계로써, 기준량에 대한 음식의 종류별 칼로리가 저장되어 있는 데이터베이스를 이용하여 음식의 칼로리를 계산한다.
또한, 섭취 전후의 음식사진이 입력되는 경우 상기 S240 단계에서 각 음식사진의 음식종류 및 양이 추정하고, S300 단계에서 양 음식사진의 음식량 차이를 이용하여 섭취한 칼로리를 계산할 수 있다.
또한, 본 발명은 상기 S300 단계에서 계산된 각 음식의 칼로리를 입력되는 음식사진의 해당 음식위에 시각적으로 표시할 수 있다. 상기 표시는 각 음식의 해당 칼로리뿐만 아니라 해당 음식들의 칼로리를 모두 더한 총 칼로리도 표시할 수 있으며, 섭취한 칼로리 또한 표시할 수 있다. 따라서, 사용자는 해당 음식을 모두 먹을 경우 섭취하는 총 칼로리뿐만 아니라 실제로 섭취한 칼로리를 직관적으로 확인할 수 있다.
도 11는 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템을 도시한 블럭도이며, 도 12은 본 발명에 따른 음식추정모듈의 구성을 나타낸 블럭도이다.
도 11과 도 12을 참조하면, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템(1000)은 사용자 단말(100), 데이터베이스(200), 및 음식 추정모듈(310), 칼로리 계산모듈(320) 및 식습관 관리모듈(330)을 포함하는 서버(300)를 포함한다.
상기 사용자 단말(100)은, 웹(web) 또는 앱(app) 상에 음식사진을 업로드하기 위한 것으로 스마트폰, 데스크탑 또는 노트북 등일 수 있다. 상기 사용자 단말(220)은 상기 서버(230)와 네트워크(10)를 통해 유선 또는 무선으로 통신가능하며, 사용자는 웹상에 음식사진을 업로드하거나 앱을 다운받아 설치한 후 앱 상에 음식사진을 업로드할 수 있다. 또한, 사용자는 추가적으로 자신의 나이, 체중 및 키 등을 입력할 수 있다.
상기 데이터베이스(200)는, 설정된 기준량에 대한 음식의 종류별 칼로리 데이터가 저장되어 있으며, 음식 추정부(313)에서 추정된 음식의 종류 및 양을 이용하여 음식의 칼로리를 계산하기 위해 사용된다.
상기 서버(300)의 음식 추정모듈(310)은 음식의 종류 및 양에 대한 기계학습을 통해 생성되는 자동분류자부(311), 음식사진에서 영상특징을 추출하는 영상특징 추출부(312), 추출된 영상특징 및 상기 자동분류자부를 이용하여 음식의 종류 및 양을 추정하는 음식 추정부(313)를 포함한다.
또한, 상기 영상특징 추출부(312)는 입력되는 음식사진을 전처리하는 전처리부(312a), 전처리된 입력되는 음식사진에서 음식영역 및 관심영역을 분할하는 영상 분할부(312b) 및 분할된 음식영역 및 관심영역의 영상특징을 추출하는 특징 추출부(312c)를 포함한다.
상기 자동분류자부(311)는, 학습용 음식사진을 이용하여 각 음식의 종류 및 양에 대한 자동분류자를 생성하는 곳으로, 학습자가 학습용 음식사진을 이용하여 미리 학습시켜 자동분류자를 생성한다. 학습을 위해 사용되는 영상특징들은 상기에서 설명한 S140 단계에서 사용된 영상특징과 동일하므로 이에 대한 자세한 설명은 생략한다.
상기 영상특징 추출부(312)는, 입력되는 음식사진에서 음식의 종류 및 양을 추정하기 위해 필요한 영상특징들을 추출한다.
상기 영상특징 추출부(312)의 전처리부(312a)는, 입력되는 음식사진의 영상특징 추출을 용이하게 하기 위해 전처리를 수행하며, 상기 전처리는 설정된 해상도로 입력되는 음식사진을 리사이즈(resize)하거나, 회전(rotation)하고 입력되는 음식사진에서 식판 또는 식탁부분을 분할하는 것을 포함할 수 있다. 또한, 식판 또는 식탁부분을 분할하기 위해 선 허프 변환, 영상 임계화 또는 질감 분석 기법이 사용될 수 있다.
상기 영상 분할부(312b)는, 전처리된 음식사진에서 음식이 존재하는 영역인 음식영역을 분할하고, 분할된 음식영역을 설정된 크기의 관심영역으로 재분할한다. 상기 음식영역은, 예를 들어 입력되는 음식사진이 식판에 대한 사진일 경우 식판에서 음식이 담겨지는 부분이고, 입력되는 음식사진이 식탁위에 놓여진 음식들일 경우 음식이 담겨지는 그릇부분이다. 상기 관심영역은 음식의 양을 추정하기 위해 미리 설정된 일정한 크기의 영역을 의미한다.
상기 특징 추출부(312c)는, 분할된 음식영역 및 관심영역 각각에 대해 색상, 형상 및 질감에 대한 영상특징을 추출한다.
상기 음식 추정부(313)는 상기 영상특징 추출부(312)에서 추출된 영상특징 및 자동분류자부(311)에서 생성된 자동분류자를 이용하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정한다. 즉, 음식 추정부(313)는 각 음식영역에 대한 영상특징을 이용하여 각 음식영역이 어떤 종류의 음식인지를 먼저 추정하고, 상기 추정된 음식영역의 각 관심영역의 영상특징을 이용하여 음식의 양을 추정한다.
또한, 상기 음식 추정모듈(310)은 음식의 종류를 보다 정확하게 추정하기 위해 자동분류자뿐만 아니라 내용기반 이미지 검색기법을 추가로 이용하여 음식의 종류를 추정할 수 있다.
상기 칼로리 계산모듈(320)은 음식 추정부(313)에서 추정된 음식의 종류와 양 및 상기 데이터베이스(200)의 칼로리 데이터를 이용하여 업로드된 음식사진에 있는 각 음식들의 칼로리를 계산한다.
또한, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템(1000)은 상기 칼로리 계산모듈(320)에서 계산된 칼로리를 상기 사용자 단말(100)로부터 업로드되는 음식사진의 각 음식위에 표시할 수 있다.
상기 식습관 관리모듈(330)은, 사용자가 섭취한 음식종류, 섭취한 양 및 섭취한 칼로리를 이용하여 사용자의 식습관을 안내 및 관리한다.
상기 식습관 관리모듈(330)은 사용목적에 맞게 다양한 기능이 제공되도록 관리자에 의해 변경될 수 있다.
예를 들면, 사용자가 업로드한 음식사진에서 음식의 종류 및 양을 추정하고 추정된 음식 종류 및 양을 이용하여 사용자가 선호하는 음식종류 파악하고, 이를 이용하여 사용자의 영양소별 섭취상태를 분석할 수 있으며, 이를 이용하여 부족한 영양소를 사용자에게 안내하거나 영양소의 균형적인 섭취를 위해 사용자가 추가적으로 섭취하여야 할 음식을 안내할 수 있다.
또는, 일일, 주간 및 월별 단위로 사용자가 섭취한 칼로리를 분석하여 체중조절을 위한 음식섭취 계획을 제공할 수 있다. 상기와 같은 기능을 제공하기 위해 식습관 관리모듈(330)은 사용자가 입력한 나이, 체중 및 키에 관한 정보를 추가로 이용할 수 있다.
또는, 상기 식습관 관리모듈(330)은 다이어트를 위해 개인별 맞춤 컨설팅용도 또는 병원에서 환자의 식습관 및 질환의 특성에 맞는 식습관을 컨설팅하는 용도로 사용될 수 있다.
본 발명에 따른 방법을 이용한 식습관 관리 시스템(1000)에 의하면, 사용자는 자신이 섭취한 음식의 칼로리를 실시간으로 확인할 수 있으며, 섭취한 음식의 종류 및 양과 칼로리를 바탕으로 사용자의 상황에 맞는 다양한 컨설팅을 제공받을 수 있는 효과가 있다.
이상, 전술한 본 발명의 실시예는, 예시의 목적을 위해 개시된 것으로, 통상의 기술자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (17)

  1. (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계;
    (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계;
    (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및
    (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계;
    를 포함하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  2. 제 1항에 있어서, 상기 단계 (c)는
    (c1) 입력되는 음식사진을 전처리 하는 단계;
    (c2) 상기 전처리한 음식사진에서 음식이 존재하는 음식영역을 분할하고 분할된 각 음식영역을 설정된 크기의 관심영역으로 재분할하는 단계;
    (c3) 상기 분할된 음식영역 및 관심영역을 영상처리하여 색상, 형상 및 질감에 대한 영상특징을 추출하는 단계;
    (c4) 상기 추출된 영상특징을 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계;
    를 포함하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  3. 제 2항에 있어서,
    상기 (c1) 단계는 입력되는 음식사진을 설정된 해상도로 변경하고, 상기 음식사진에서 식탁 또는 식판을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  4. 제 3항에 있어서,
    상기 (c1) 단계는 선 허프 변환, 영상 임계화 및 질감 분석 중 적어도 하나 이상을 이용하여 식탁 또는 식판을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  5. 제 2항에 있어서,
    상기 (c2) 단계는 템플릿 매칭 및 원 허프 변환을 이용하여 음식영역을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  6. 제 1항 내지 제 5항 중 한 항에 있어서,
    상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은, 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  7. 제 6항에 있어서,
    상기 (c) 단계는 내용기반 이미지 검색을 추가로 이용하여 음식의 종류를 추정하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  8. 제 7항에 있어서,
    상기 (d) 단계는 음식 섭취 전후의 사진을 통해 섭취한 음식의 칼로리를 계산하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  9. 제 8항에 있어서,
    상기 (d) 단계에서 계산된 칼로리를 입력되는 음식사진의 각 음식위에 시각적으로 표시하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  10. 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말;
    음식의 종류별 칼로리 데이터가 저장되어 있는 데이터베이스; 및
    상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;
    를 포함하는 것을 특징으로 하는 음식사진을 이용한 열량 자동 계산 방법을 이용한 식습관 관리 시스템.
  11. 제 10항에 있어서,
    상기 음식 추정모듈은,
    학습용 음식사진에서 추출한 색상, 질감 및 형상에 대한 영상특징을 기초로 음식의 종류 및 양을 기계학습하는 자동분류자부, 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하는 영상특징 추출부 및 상기 추출한 색상, 질감 및 형상에 대한 영상특징을 상기 자동분류자부에 입력하여 음식의 종류 및 양을 추정하는 음식 추정부를 포함하는 것을 특징으로 하는 음식사진을 이용한 열량 자동 계산 방법을 이용한 식습관 관리 시스템.
  12. 제 11항에 있어서,
    상기 영상특징 추출부는,
    입력되는 음식사진을 전처리하는 전처리부, 전처리된 음식사진에서 음식영역을 분할하고 분할된 음식영역을 관심영역으로 재분할하는 영상 분할부 및 상기 음식영역 및 관심영역에서 색감, 질감 및 형상에 대한 영상특징을 추출하는 특징 추출부를 포함하는 것을 특징으로 하는 음식사진을 이용한 열량 자동 계산 방법을 이용한 식습관 관리 시스템.
  13. 제 12항에 있어서,
    상기 전처리부는 입력되는 음식사진을 설정된 해상도로 변경하고 선 허프 변환, 영상 임계화 및 질감 분석 중 적어도 하나 이상을 이용하여 음식사진에서 식판 또는 식탁을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  14. 제 12항에 있어서,
    상기 영상 분할부는 템플릿 매칭 및 원 허프 변환을 이용하여 음식영역을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  15. 제 10항 내지 제 14항 중 한 항에 있어서,
    상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  16. 제 15항에 있어서,
    상기 음식 추정모듈은 내용기반 이미지 검색을 추가로 이용하여 음식의 종류를 추정하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  17. 제 16항에 있어서,
    상기 칼로리 계산모듈에서 계산된 음식의 칼로리를 상기 사용자 단말로부터 입력되는 음식사진의 각 음식위에 표시하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
PCT/KR2014/000125 2013-01-07 2014-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 WO2014107081A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130001504A KR20140089729A (ko) 2013-01-07 2013-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
KR10-2013-0001504 2013-01-07

Publications (1)

Publication Number Publication Date
WO2014107081A1 true WO2014107081A1 (ko) 2014-07-10

Family

ID=51062352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000125 WO2014107081A1 (ko) 2013-01-07 2014-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Country Status (2)

Country Link
KR (1) KR20140089729A (ko)
WO (1) WO2014107081A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224802A (zh) * 2015-10-08 2016-01-06 广东欧珀移动通信有限公司 一种提醒方法及移动终端
CN112215191A (zh) * 2015-11-25 2021-01-12 三星电子株式会社 用户终端设备及其控制方法
CN115530773A (zh) * 2022-10-17 2022-12-30 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671778B1 (ko) * 2014-08-06 2016-11-02 주식회사 브로멜리아드 사물인터넷 기반의 헬스케어 시스템 및 그 방법
KR20170031517A (ko) * 2015-09-11 2017-03-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN107861408A (zh) * 2016-09-22 2018-03-30 九阳股份有限公司 一种智能料理平台管理料理机配件的方法和智能料理平台
KR101959762B1 (ko) * 2017-04-17 2019-07-05 가천대학교 산학협력단 인공 지능 기반 영상 및 음성 인식 영양 평가 방법
KR101876147B1 (ko) * 2017-11-30 2018-07-06 김대웅 잔반 감소유도 시스템
KR102130772B1 (ko) 2018-01-29 2020-07-06 건양대학교 산학협력단 딥러닝을 이용한 음식인식 및 식단관리 시스템
KR102327670B1 (ko) * 2019-10-15 2021-11-17 손종희 전자영수증 기반의 인공지능 칼로리 검출 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051047A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 다중 센서를 이용한 식습관 관리 장치 및 그 방법
KR20090046991A (ko) * 2007-11-07 2009-05-12 주식회사 휴민텍 패턴 인식 기법을 통한 식단 인식
KR20120039102A (ko) * 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051047A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 다중 센서를 이용한 식습관 관리 장치 및 그 방법
KR20090046991A (ko) * 2007-11-07 2009-05-12 주식회사 휴민텍 패턴 인식 기법을 통한 식단 인식
KR20120039102A (ko) * 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224802A (zh) * 2015-10-08 2016-01-06 广东欧珀移动通信有限公司 一种提醒方法及移动终端
CN112215191A (zh) * 2015-11-25 2021-01-12 三星电子株式会社 用户终端设备及其控制方法
US11568981B2 (en) 2015-11-25 2023-01-31 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
CN115530773A (zh) * 2022-10-17 2022-12-30 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统
CN115530773B (zh) * 2022-10-17 2024-01-05 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统

Also Published As

Publication number Publication date
KR20140089729A (ko) 2014-07-16

Similar Documents

Publication Publication Date Title
WO2014107081A1 (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
KR101562364B1 (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
US11615559B2 (en) Methods and systems for human imperceptible computerized color transfer
KR100667663B1 (ko) 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
JP2018528545A (ja) 食物画像認識を用いた栄養分析のためのシステム及び方法
JP2005151282A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2022042348A1 (zh) 医学影像标注方法和装置、设备及存储介质
WO2005114577A1 (en) Method for determining image quality
CN104361357B (zh) 基于图片内容分析的相片集分类系统及分类方法
CN108256527A (zh) 一种基于端到端全卷积网络的皮肤病变多类语义分割方法
CN112991238B (zh) 基于纹理色彩混合式的食物图像分割方法、系统、介质
US10325382B2 (en) Automatic modification of image parts based on contextual information
CN104751406A (zh) 一种用于对图像进行虚化的方法和装置
CN105512671B (zh) 基于模糊照片识别的照片管理方法
KR20200036314A (ko) 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
CN112651962A (zh) 一种ai智能诊断系统平台
CN106960188B (zh) 天气图像分类方法及装置
WO2017026750A1 (ko) 3d 모델을 이용하는 광고 시스템 및 광고 방법
CN112364905A (zh) 一种基于注意力机制SENet的Fater R-CNN食物分类和GL值识别方法
Harville et al. Consistent image-based measurement and classification of skin color
Borlinghaus et al. Introducing pollenyzer: An app for automatic determination of colour diversity for corbicular pollen loads
US20230297646A1 (en) System and methods for classifying magnetic resonance imaging (mri) image characteristics
KR20200005030A (ko) 섭취음식물 및 활동량 분석을 기반으로 하는 맞춤형 영양제 성분 결정 시스템 및 그 방법
US20060010582A1 (en) Chin detecting method, chin detecting system and chin detecting program for a chin of a human face
WO2022052021A1 (zh) 联合模型的训练方法和对象信息处理方法、装置及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14735334

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14735334

Country of ref document: EP

Kind code of ref document: A1