KR20150018759A - 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 - Google Patents

음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 Download PDF

Info

Publication number
KR20150018759A
KR20150018759A KR20140192660A KR20140192660A KR20150018759A KR 20150018759 A KR20150018759 A KR 20150018759A KR 20140192660 A KR20140192660 A KR 20140192660A KR 20140192660 A KR20140192660 A KR 20140192660A KR 20150018759 A KR20150018759 A KR 20150018759A
Authority
KR
South Korea
Prior art keywords
food
image
type
calorie
amount
Prior art date
Application number
KR20140192660A
Other languages
English (en)
Other versions
KR101562364B1 (ko
Inventor
김남국
Original Assignee
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020140192660A priority Critical patent/KR101562364B1/ko
Publication of KR20150018759A publication Critical patent/KR20150018759A/ko
Application granted granted Critical
Publication of KR101562364B1 publication Critical patent/KR101562364B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/90—Blood pressure recorder

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nutrition Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 음식사진을 이용한 칼로리 자동 계산 방법에 관한 것으로, (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계; (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계; (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및 (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명은 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템에 관한 것으로, 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말; 음식의 종류별 칼로리 데이터가 저장되어 있는 데이터베이스; 및 상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 음식사진의 색상, 형상 및 질감에 대한 영상특징을 이용하여 음식의 종류 및 양을 추정하고 추정된 음식의 종류 및 양을 이용하여 칼로리를 자동으로 계산함으로써, 사용자가 음식의 종류 및 양을 수동으로 입력할 필요가 없어 편리하며, 웹 또는 앱 기반으로 사용자가 음식사진을 업로드하면 실시간으로 섭취한 칼로리를 계산하고 이를 바탕으로 사용자 각각에 알맞는 식습관 컨설팅이 제공되는 효과가 있다.

Description

음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템{Automatic calorie caculation method using food image and feeding behavior managing system using thereof}
본 발명은 음식사진을 이용한 칼로리 자동 계산 방법 및 그 방법을 이용한 식습관 관리시스템에 관한 것으로, 보다 자세하게는 음식사진의 영상 특징을 분석하여 학습된 자동 분류자를 이용하여 음식의 종류 및 양을 추정하여 자동으로 음식의 칼로리를 계산하고 이를 이용하여 사용자의 식습관을 관리하는 시스템에 관한 것이다.
현대 사회가 점차 서구화 및 산업화됨에 따라 과체중이나 비만으로 고통받는 사람들이 점차 증가하고 있다. 이러한 과체중이나 비만은 개인에게 있어서도 성인병 등 각동 질환의 원인이 되는 심각한 문제지만, 사회적으로도 그에 따른 엄청난 사회적 비용을 발생시키므로 현대의 심각한 사회 문제 중 하나가 되고 있다.
따라서, 이와 같은 과체중이나 비만을 해결하기 위한 다이어트가 현대인들에게는 필수라고 할 만큼 광범위하게 실시되고 있다. 또한, 최근에는 사람들의 아름다움에 대한 욕구가 증가됨에 따라 다이어트가 단순한 건강을 위한 과체중이나 비만 해결 방법이 아닌 아름다운 몸매와 건강을 유지하기 위한 수단으로 각광받고 있다.
상기와 같은 다이어트를 위해서는 자신의 식습관을 분석하는 것이 선행되어야 하며, 이는 자신이 섭취하는 칼로리를 인지하는 것이 기본이 된다.
한국 공개 특허 10-2005-0045190호는 종래의 칼로리 계산 방법에 관한 기술이 개시되어 있으며, 상기 공개 특허는 이동통신 단말기에서 각각의 음식물에 대한 칼로리 계산 정보를 제공하고, 사용자의 수치 입력에 따라 전체 칼로리양을 계산하는 방법을 제공한다.
보다 구체적으로는, 사용자가 이동통신 단말기 상의 칼로리 계산 메뉴를 선택하면, 음식 각각에 대한 칼로리 계산 정보가 표시된 화면을 제공하는 제1단계와, 상기 음식물 각각에 대한 칼로리 계산 정보에 섭취한 음식물의 양에 해당하는 수치를 입력하면, 이에 따라 전체 칼로리를 계산하는 제2단계와, 계산된 전체 칼로리양을 디스플레이하는 제3단계를 구비한다.
상기와 같은 종래의 방법은 언제 어디서나 칼로리의 계산이 가능하고 간단한 수치의 입력만으로 비교적 간단하게 칼로리를 계산할 수 있다는 효과가 있다.
하지만, 상기와 같은 종래의 칼로리 계산 방법의 경우 여전히 사용자가 일일이 자신이 섭취한 음식물의 종류를 검색한 후 섭취한 양을 입력해야 하기 때문에 수동적인 입력에 따른 불편함과 잘못된 입력으로 인해 계산된 칼로리가 부정확해지는 문제점이 있었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 칼로리 계산을 위해 사용자가 직접 섭취한 음식물의 종류 및 양을 입력하지 않고, 섭취할 또는 섭취한 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 음식의 종류 및 양을 추정하고, 이를 바탕으로 자동으로 칼로리를 계산하는 방법 및 이를 이용한 식습관 관리 시스템을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 음식사진을 이용한 칼로리 자동 계산 방법은 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말과, 음식의 종류별 칼로리 데이터가 저장된 데이터베이스와 음식추정모듈, 칼로리 계산모듈 및 식습관 관리모듈을 구비하는 서버를 포함하는 식습관 관리 시스템을 이용하여 음식사진을 이용한 칼로리 자동 계산 방법을 제공하는 것으로, 상기 식습관 관리 시스템의 서버는, (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계와; (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계; (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및 (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계; 를 포함하되, 상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은, 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템은 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말; 음식의 종류별 칼로리 데이터가 저장된 데이터베이스; 및 상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;를 포함하되, 상기 음식 추정모듈은 학습용 음식사진에서 추출한 색상, 질감 및 형상에 대한 영상특징을 기초로 음식의 종류 및 양을 기계학습하는 자동분류자부, 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하는 영상특징 추출부 및 상기 추출한 색상, 질감 및 형상에 대한 영상특징을 상기 자동분류자부에 입력하여 음식의 종류 및 양을 추정하는 음식 추정부를 포함하고, 상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 한다.
본 발명에 의하면, 음식사진의 색상, 형상 및 질감에 대한 영상특징을 이용하여 음식의 종류 및 양을 추정하고 추정된 음식의 종류 및 양을 이용하여 칼로리를 자동으로 계산함으로써, 사용자가 음식의 종류 및 양을 수동으로 입력할 필요가 없어 편리하며, 웹 또는 앱 기반으로 사용자가 음식사진을 업로드하면 실시간으로 섭취한 칼로리를 계산하고 이를 바탕으로 사용자 각각에 알맞는 식습관 컨설팅이 제공되는 효과가 있다.
도 1은 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 도시한 흐름도이다.
도 2는 본 발명에 따른 자동분류자 생성 과정을 설명하는 흐름도이다.
도 3은 본 발명에 따른 음식사진의 전처리 및 분할 방법을 설명하는 참고도이다.
도 4는 본 발명의 자동분류자를 이용하여 음식의 종류를 추정하는 방법을 설명하는 참고도이다.
도 5는 본 발명의 자동분류자를 이용하여 음식의 양을 추정하는 방법을 설명하는 참고도이다.
도 6은 본 발명에 사용되는 데이터베이스의 칼로리 데이터를 나타낸 도면이다.
도 7은 본 발명에 따른 방법을 이용하여 칼로리을 계산하여 음식사진에 시각적으로 표시한 도면이다.
도 8은 본 발명에 따른 방법을 이용하여 섭취한 칼로리을 계산하여 음식사진에 시각적으로 표시한 도면이다.
도 9은 본 발명에 따른 밥(백미)의 영상특징을 추출한 예시표이다.
도 10는 본 발명에 따른 김치의 영상특징을 추출한 예시표이다.
도 11는 본 발명의 방법을 이용한 식습관 관리 시스템을 도시한 블럭도이다.
도 12은 본 발명에 따른 음식추정모듈의 구성을 나타낸 블럭도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 도시한 흐름도이며, 도 2는 본 발명에 따른 자동분류자 생성과정을 설명하는 흐름도이며, 도 3 내지 도 10은 본 발명에 따른 음식사진을 이용한 열량 자동 계산 방법을 설명하는 참고도이다. 여기서, 도 9 및 도 10은 음식사진의 각 픽셀이 RGB 8비트의 색상을 표현하는 경우 김치 및 밥에 대한 영상특징 추출값을 나타낸 표이다.
먼저, 도 1을 참조하면, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법은 자동분류자를 생성하는 단계(S100), 자동분류자를 이용하여 음식의 종류 및 양을 추정하는 단계(S200) 및 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계(S300)를 포함하며, 상기 S200 단계는 입력되는 음식사진을 전처리하는 단계(S210), 전치리한 음식사진을 분할하는 단계(S220), 분할된 영역을 영상처리하여 영상특징을 추출하는 단계(S230) 및 추출된 영상특징을 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계(S240)를 포함한다.
상기 동분류자를 생성하는 단계(S100)는, 도 2에 도시된 바와 같이 학습용 음식사진을 획득하는 단계(S110), 획득된 학습용 음식사진을 전처리하는 단계(S120), 전처리된 학습용 음식사진을 분할하는 단계(S130), 분할된 학습용 음식사진에서 영상특징을 획득하는 단계(S140), 추출된 영상특징에 대한 음식의 종류 및 양을 입력하여 자동분류자를 생성하는 단계(S150)를 포함한다.
상기 S110 단계는, 음식의 종류 및 양에 대한 자동분류자를 생성하기 위해 학습용 음식사진을 획득하는 단계로써, 상기 학습용 음식사진은 음식이 있는 식판의 사진이나 음식이 놓여져 있는 식탁의 사진이다. 학습용 음식사진은 스마트폰의 카메라나 DSLR 등의 디지털 카메라를 이용하여 촬영한 이미지일 수 있다.
상기 S120 단계는, 학습용 음식사진에서 영상특징을 쉽게 추출하기 위해 음식사진을 전처리하는 단계로써, 학습용 음식사진을 설정된 해상도, 예를 들어 1024×768로 축소 또는 확대하고, 음식사진에서 식판 또는 식탁의 경계를 인식하는 단계를 포함할 수 있다.
한편, 식판 또는 식탁의 경계를 인식하는 방법으로 선 허프 변환(Line Hough transform), 이미지 임계화(Image Thresholding) 또는 질감 분석(Texture analysis)이 사용될 수 있다.
상기 S130 단계는, 전처리된 학습용 음식사진에서 음식이 존재하는 영역만을 분할하는 단계로서, 학습자에 의해 수동으로 분할될 수 있다. 즉, 학습용 음식사진에서 음식이 존재하는 영역을 육안으로 확인하고 분할함으로써, 보다 정확한 음식영역의 추출이 가능하다. 또한 음식 양의 학습을 위해 분할된 음식영역을 설정된 크기, 예를 들면 10×10 픽셀 단위의 원형의 관심영역으로 재분할 할 수 있다.
상기 S140 단계는, 분할된 음식영역 및 관심영역에서 영상특징을 추출하는 단계로서, 색상, 형상 및 질감에 대한 영상특징을 추출한다.
아래의 표 1은, 상기 S140 단계에서 추출하는 영상특징을 나타낸 표이며, 이를 참조하여 추출되는 색상, 형상 및 질감에 대한 영상특징을 설명한다.
영상특징 세부 영상특징
색상 색상(per R,G,B) Mean
SD
히스토그램(per R,G,B) Mean
SD
Skewness
Kurtosis
형상 Run-length SPE
LPE
질감 기울기 히스토그램 Mean
SD
GLCM ASM
Contrast
Correlation
IDM
Entropy
Inertia
*여기에서, 상기 SD:Standard Deviation, SPE:Short Primitive Emphasis, LPE:Long Primitive Emphasis, GLCM:Gray Level Co-occurrence Matrix, ASM:Angular Second Moment, IDM:Inverse Differential Moment 이다.
상기 색상에 대한 영상특징은 음식영역 및 각 관심영역에 대한 RGB 색상 평균값과 편차 및 RGB 색상 히스토그램이며, 상기 히스토그램은 R,G,B 당 평균(Mean), 표준편차(Standard Deviation,SD), 비대칭도(Skewness), 첨도(Kurtoses) 히스토그램값이다.
상기 형상에 대한 영상특징은 픽셀의 갯수 및 런 렝스(Run Length)이며, 상기 런 렝스는 SPE(Short Primitive Emphasis) 및 LPE(Long Primitive Emphasis)로 구성되며, 상기 픽셀의 갯수는 음식영역의 크기를 측정하기 위해 사용된다.
상기 질감에 대한 영상특징은 상기 평균 및 표준편차의 기울기 히스토그램 및 질감 분석(texture analysis)기법 중 하나인 GLCM(Gray Level Co-occurrence matrix)의 텍스쳐 변수이다. 즉, GLCM의 ASM(Angular Second Moment), Contrast, Correlation, Entropy, IDM(Inverse Difference Moment) 및 Inertia의 6가지 텍스처 변수와 기울기 히스토그램을 구하여 이를 질감에 대한 영상특징으로 획득한다.
*상기 S150 단계는, 상기 S140 단계에서 획득한 영상특징들을 가지는 음식의 종류 및 양을 자동분류자에 학습시키는 단계이다. 즉, 학습자가 이미 알고 있는 학습용 음식사진의 각 음식의 종류 및 양을 자동분류자에 입력하여 자동분류자를 생성한다.
상기 자동분류자는 Bayesian Classifier, SVM(Support Vector Machine) 또는 ANN(Artificial Neural Network)등이 사용될 수 있다. 각 자동 분류자는 고유의 원리를 이용하여 알려준 음식의 종류와 양을 영상 사진에서 자동으로 추출된 영상의 특징값을 이용하여 자동 분류 구조를 만든다. 이런 음식의 종류 및 양을 분류할 수 있는 자동 분류자를 생성하는 것이 학습의 최종 결과이다.
자동분류자의 학습시 다양한 음식종류 및 양에 대한 많은 학습용 사진을 이용하여 자동분류자를 생성하는 경우 음식의 종류 및 양에 대한 보다 정확한 추정이 가능하다.
*상기와 같은 단계들(S110, S120, S130, S140, S150)을 거쳐 자동분류자가 생성되면, 입력되는 음식사진을 이용하여 음식의 종류 및 양을 추정하고 이를 바탕으로 입력되는 음식사진에 존재하는 각 음식의 칼로리를 계산한다. 여기에서 입력되는 음식사진이란 사용자가 칼로리를 계산하기 위해 입력하는 음식사진을 의미한다.
이하에서, 입력된 입력되는 음식사진의 음식 종류 및 양을 추정하고 이를 바탕으로 칼로리를 계산하는 방법을 보다 상세히 설명한다.
먼저, 입력되는 음식사진에서 영상특징을 추출하는 방법은 상기에서 설명한 자동분류자 생성 방법의 영상특징을 추출하는 방법과 거의 동일하다. 이는 음식의 종류 및 양을 추정하기 위해 자동분류자의 생성에 사용된 동일한 영상특징을 입력되는 음식사진으로부터 획득하여야 하기 때문이다. 따라서, 자동분류자의 생성방법과 동일한 방법인 전처리 단계(S210) 및 영상특징 추출 단계(S230)는 제외하고 차이점이 있는 방법인 영상분할 단계(S220), 음식종류 및 양 추정 단계(S240) 및 칼로리 계산 단계(S300)만을 설명한다.
상기 S220 단계는, 전처리된 입력되는 음식사진에서 음식이 있는 음식영역 및 관심영역을 분할하는 단계로써, 자동분류자 생성시 사용된 수동 분할이 아니 자동분할이 사용된다. 상기와 같은 자동분할을 위해 본 발명에서는 템플릿 매칭(Template Matching) 및 원 허프 변환(Circle Hough Transform)을 이용하여 입력되는 음식사진에서 음식이 존재하는 부분만을 분할한다. 즉, 상기 방법을 이용하여 입력되는 음식사진에서 그릇 또는 식판의 음식부분을 인식한다.
상기 S240 단계는, 추출된 각 영상특징을 자동분류자에 입력하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정하는 단계이다. 자동분류자는 입력된 각 영상특징들을 학습된 각 음식종류 및 양에 대한 영상특징들과 비교 분석하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정한다.
보다 자세하게는, 분할된 음식영역 전체의 영상특징을 이용하여 음식의 종류를 추정하고, 그 후 음식종류가 추정된 음식영역의 각 관심영역의 영상특징을 이용하여 음식의 양을 추정한다. 여기에서 관심영역은 상기 음식영역을 설정된 크기로 재분할한 영역이므로 음식의 양에 대한 보다 세밀한 추정이 가능해진다.
상기 음식의 양을 추정하는 방법은 먼저, 음식의 종류가 추정된 음식영역을 복수의 설정된 크기의 관심영역으로 재분할한 후, 각 관심영역에 대한 영상특징을 이용하여 자동분류자를 통해 음식영역 중 음식이 실제로 존재하는 부분을 추정하고 추정된 관심영역의 크기를 계산하여 음식의 양을 추정한다. 즉, 음식영역의 경우 식판에서 음식이 담겨지는 부분 또는 식탁 위에 있는 그릇의 경계를 검출한 것이므로, 음식영역의 크기와 실제 음식이 존재하는 부분의 크기가 다를 수 있기 때문에 본 발명의 음식량 추정방법과 같이 음식사진상의 영상특징을 분석하여 음식이 실제로 존재하는 영역만을 추출하고 이를 바탕으로 음식의 양을 추정하는 경우 보다 정확한 음식량의 추정이 가능하다.
또한, 보다 정확하게 음식의 종류를 추정하기 위해 자동분류자를 이용한 음식종류 추정뿐만 아니라 추가로 내용기반 이미지 검색(CBIR:Content Based Image Retrieval)기법을 이용하여 음식의 종류를 추정할 수 있다.
상기 S300 단계는, 자동분류자를 이용하여 음식의 종류 및 양이 추정되면 이를 이용하여 음식의 칼로리를 계산하는 단계로써, 기준량에 대한 음식의 종류별 칼로리가 저장되어 있는 데이터베이스를 이용하여 음식의 칼로리를 계산한다.
또한, 섭취 전후의 음식사진이 입력되는 경우 상기 S240 단계에서 각 음식사진의 음식종류 및 양이 추정하고, S300 단계에서 양 음식사진의 음식량 차이를 이용하여 섭취한 칼로리를 계산할 수 있다.
또한, 본 발명은 상기 S300 단계에서 계산된 각 음식의 칼로리를 입력되는 음식사진의 해당 음식위에 시각적으로 표시할 수 있다. 상기 표시는 각 음식의 해당 칼로리뿐만 아니라 해당 음식들의 칼로리를 모두 더한 총 칼로리도 표시할 수 있으며, 섭취한 칼로리 또한 표시할 수 있다. 따라서, 사용자는 해당 음식을 모두 먹을 경우 섭취하는 총 칼로리뿐만 아니라 실제로 섭취한 칼로리를 직관적으로 확인할 수 있다.
도 11는 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템을 도시한 블럭도이며, 도 12은 본 발명에 따른 음식추정모듈의 구성을 나타낸 블럭도이다.
도 11과 도 12을 참조하면, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템(1000)은 사용자 단말(100), 데이터베이스(200), 및 음식 추정모듈(310), 칼로리 계산모듈(320) 및 식습관 관리모듈(330)을 포함하는 서버(300)를 포함한다.
상기 사용자 단말(100)은, 웹(web) 또는 앱(app) 상에 음식사진을 업로드하기 위한 것으로 스마트폰, 데스크탑 또는 노트북 등일 수 있다. 상기 사용자 단말(220)은 상기 서버(230)와 네트워크(10)를 통해 유선 또는 무선으로 통신가능하며, 사용자는 웹상에 음식사진을 업로드하거나 앱을 다운받아 설치한 후 앱 상에 음식사진을 업로드할 수 있다. 또한, 사용자는 추가적으로 자신의 나이, 체중 및 키 등을 입력할 수 있다.
상기 데이터베이스(200)는, 설정된 기준량에 대한 음식의 종류별 칼로리 데이터가 저장되어 있으며, 음식 추정부(313)에서 추정된 음식의 종류 및 양을 이용하여 음식의 칼로리를 계산하기 위해 사용된다.
상기 서버(300)의 음식 추정모듈(310)은 음식의 종류 및 양에 대한 기계학습을 통해 생성되는 자동분류자부(311), 음식사진에서 영상특징을 추출하는 영상특징 추출부(312), 추출된 영상특징 및 상기 자동분류자부를 이용하여 음식의 종류 및 양을 추정하는 음식 추정부(313)를 포함한다.
또한, 상기 영상특징 추출부(312)는 입력되는 음식사진을 전처리하는 전처리부(312a), 전처리된 입력되는 음식사진에서 음식영역 및 관심영역을 분할하는 영상 분할부(312b) 및 분할된 음식영역 및 관심영역의 영상특징을 추출하는 특징 추출부(312c)를 포함한다.
상기 자동분류자부(311)는, 학습용 음식사진을 이용하여 각 음식의 종류 및 양에 대한 자동분류자를 생성하는 곳으로, 학습자가 학습용 음식사진을 이용하여 미리 학습시켜 자동분류자를 생성한다. 학습을 위해 사용되는 영상특징들은 상기에서 설명한 S140 단계에서 사용된 영상특징과 동일하므로 이에 대한 자세한 설명은 생략한다.
상기 영상특징 추출부(312)는, 입력되는 음식사진에서 음식의 종류 및 양을 추정하기 위해 필요한 영상특징들을 추출한다.
상기 영상특징 추출부(312)의 전처리부(312a)는, 입력되는 음식사진의 영상특징 추출을 용이하게 하기 위해 전처리를 수행하며, 상기 전처리는 설정된 해상도로 입력되는 음식사진을 리사이즈(resize)하거나, 회전(rotation)하고 입력되는 음식사진에서 식판 또는 식탁부분을 분할하는 것을 포함할 수 있다. 또한, 식판 또는 식탁부분을 분할하기 위해 선 허프 변환, 영상 임계화 또는 질감 분석 기법이 사용될 수 있다.
상기 영상 분할부(312b)는, 전처리된 음식사진에서 음식이 존재하는 영역인 음식영역을 분할하고, 분할된 음식영역을 설정된 크기의 관심영역으로 재분할한다. 상기 음식영역은, 예를 들어 입력되는 음식사진이 식판에 대한 사진일 경우 식판에서 음식이 담겨지는 부분이고, 입력되는 음식사진이 식탁위에 놓여진 음식들일 경우 음식이 담겨지는 그릇부분이다. 상기 관심영역은 음식의 양을 추정하기 위해 미리 설정된 일정한 크기의 영역을 의미한다.
상기 특징 추출부(312c)는, 분할된 음식영역 및 관심영역 각각에 대해 색상, 형상 및 질감에 대한 영상특징을 추출한다.
*상기 음식 추정부(313)는 상기 영상특징 추출부(312)에서 추출된 영상특징 및 자동분류자부(311)에서 생성된 자동분류자를 이용하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정한다. 즉, 음식 추정부(313)는 각 음식영역에 대한 영상특징을 이용하여 각 음식영역이 어떤 종류의 음식인지를 먼저 추정하고, 상기 추정된 음식영역의 각 관심영역의 영상특징을 이용하여 음식의 양을 추정한다.
또한, 상기 음식 추정모듈(310)은 음식의 종류를 보다 정확하게 추정하기 위해 자동분류자뿐만 아니라 내용기반 이미지 검색기법을 추가로 이용하여 음식의 종류를 추정할 수 있다.
상기 칼로리 계산모듈(320)은 음식 추정부(313)에서 추정된 음식의 종류와 양 및 상기 데이터베이스(200)의 칼로리 데이터를 이용하여 업로드된 음식사진에 있는 각 음식들의 칼로리를 계산한다.
또한, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템(1000)은 상기 칼로리 계산모듈(320)에서 계산된 칼로리를 상기 사용자 단말(100)로부터 업로드되는 음식사진의 각 음식위에 표시할 수 있다.
상기 식습관 관리모듈(330)은, 사용자가 섭취한 음식종류, 섭취한 양 및 섭취한 칼로리를 이용하여 사용자의 식습관을 안내 및 관리한다.
상기 식습관 관리모듈(330)은 사용목적에 맞게 다양한 기능이 제공되도록 관리자에 의해 변경될 수 있다.
예를 들면, 사용자가 업로드한 음식사진에서 음식의 종류 및 양을 추정하고 추정된 음식 종류 및 양을 이용하여 사용자가 선호하는 음식종류 파악하고, 이를 이용하여 사용자의 영양소별 섭취상태를 분석할 수 있으며, 이를 이용하여 부족한 영양소를 사용자에게 안내하거나 영양소의 균형적인 섭취를 위해 사용자가 추가적으로 섭취하여야 할 음식을 안내할 수 있다.
또는, 일일, 주간 및 월별 단위로 사용자가 섭취한 칼로리를 분석하여 체중조절을 위한 음식섭취 계획을 제공할 수 있다. 상기와 같은 기능을 제공하기 위해 식습관 관리모듈(330)은 사용자가 입력한 나이, 체중 및 키에 관한 정보를 추가로 이용할 수 있다.
또는, 상기 식습관 관리모듈(330)은 다이어트를 위해 개인별 맞춤 컨설팅용도 또는 병원에서 환자의 식습관 및 질환의 특성에 맞는 식습관을 컨설팅하는 용도로 사용될 수 있다.
본 발명에 따른 방법을 이용한 식습관 관리 시스템(1000)에 의하면, 사용자는 자신이 섭취한 음식의 칼로리를 실시간으로 확인할 수 있으며, 섭취한 음식의 종류 및 양과 칼로리를 바탕으로 사용자의 상황에 맞는 다양한 컨설팅을 제공받을 수 있는 효과가 있다.
이상, 전술한 본 발명의 실시예는, 예시의 목적을 위해 개시된 것으로, 통상의 기술자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
100: 사용자 단말 200: 데이터베이스
300: 서버 310: 음식 추정모듈
311: 자동분류자부 312: 영상특징 추출부
312a: 전처리부 312b: 영상 분할부
312c: 특징 추출부 313: 음식 추정부
320: 칼로리 계산모듈 330: 식습관 관리모듈
1000: 식습관 관리 시스템

Claims (12)

  1. 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말과, 음식의 종류별 칼로리 데이터가 저장된 데이터베이스와 음식추정모듈, 칼로리 계산모듈 및 식습관 관리모듈을 구비하는 서버를 포함하는 식습관 관리 시스템을 이용하여 음식사진을 이용한 칼로리 자동 계산 방법을 제공하는 것으로, 상기 식습관 관리 시스템의 서버는,
    (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계;
    (b) 계산된 영상특징값들을 기초로 기계학습을 통해 상기 학습용 음식사진에 대한 음식의 종류 및 양이 학습된 자동분류자를 생성하는 단계;
    (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하고, 입력된 음식사진으로부터 추출된 영상특징을 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및
    (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계; 를 포함하되,
    상기 (c) 단계는
    (c1) 입력되는 음식사진을 전처리 하는 단계;
    (c2) 상기 전처리된 음식사진에서 음식이 존재하는 음식영역을 분할하고 분할된 각 음식영역을 크기가 미리 설정된 복수의 관심영역으로 재분할하는 단계;
    (c3) 상기 분할된 음식영역 및 상기 관심영역을 영상처리하여 색상, 형상 및 질감에 대한 영상특징을 추출하는 단계;
    (c4) 상기 분할된 음식영역 전체에 대한 영상특징을 상기 자동분류자에 입력하여 음식의 종류를 추정하는 단계; 및
    (c5) 음식종류가 추정된 음식영역에 대한 관심영역의 영상특징을 상기 자동분류자에 입력하여 종류가 추정된 음식에 대한 양을 추정하는 단계로 이루어지며,
    상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은, 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  2. 제 1항에 있어서,
    상기 (c1) 단계에서 입력되는 음식사진을 전처리하는 것은,
    입력되는 음식사진을 설정된 해상도로 변경하고, 상기 음식사진에서 식탁 또는 식판을 분할하여 수행되는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  3. 제 2항에 있어서,
    상기 (c1) 단계에서 식습관 관리 시스템의 서버는 선 허프 변환, 영상 임계화 및 질감 분석 중 적어도 하나 이상을 이용하여 식탁 또는 식판을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  4. 제 1항에 있어서,
    상기 (c2) 단계에서 식습관 관리 시스템의 서버는 템플릿 매칭 및 원 허프 변환을 이용하여 음식영역을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  5. 제 1항 내지 제4항 중 어느 한 항에 있어서,
    상기 (c) 단계에서 식습관 관리 시스템의 서버는 내용기반 이미지 검색을 추가로 이용하여 음식의 종류를 추정하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  6. 제 5항에 있어서,
    상기 (d) 단계에서 상기 식습관 관리 시스템의 서버는 음식 섭취 전후의 사진을 통해 섭취한 음식의 칼로리를 계산하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  7. 제 6항에 있어서,
    상기 (d) 단계에서 상기 식습관 관리 시스템의 서버는 계산된 칼로리를 입력되는 음식사진의 각 음식위에 시각적으로 표시하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  8. 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말;
    음식의 종류별 칼로리 데이터가 저장된 데이터베이스; 및
    상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;를 포함하되,
    상기 음식 추정모듈은 학습용 음식사진에서 추출한 색상, 질감 및 형상에 대한 영상특징을 기초로 음식의 종류 및 양을 기계학습하는 자동분류자부, 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하는 영상특징 추출부, 및 상기 추출한 색상, 질감 및 형상에 대한 영상특징을 상기 자동분류자부에 입력하여 음식의 종류 및 양을 추정하는 음식 추정부를 구비하고,
    상기 영상특징 추출부는 입력되는 음식사진을 전처리하는 전처리부, 상기 전처리부에 의해 전처리된 음식사진에서 음식이 존재하는 음식영역을 분할하고 분할된 각 음식영역을 크기가 미리 설정된 복수의 관심영역으로 재분할하는 영상 분할부, 및 상기 음식영역 및 관심영역에서 색감, 질감 및 형상에 대한 영상특징을 추출하는 특징 추출부를 구비하며,
    상기 음식 추정부는 상기 분할된 음식영역 전체에 대한 영상특징을 상기 자동분류자에 입력하여 음식의 종류를 추정한 후, 음식종류가 추정된 음식영역에 대한 관심영역의 영상특징을 상기 자동분류자에 입력하여 종류가 추정된 음식에 대한 양을 추정하고,
    상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  9. 제 8항에 있어서,
    상기 전처리부는 입력되는 음식사진을 설정된 해상도로 변경하고 선 허프 변환, 영상 임계화 및 질감 분석 중 적어도 하나 이상을 이용하여 음식사진에서 식판 또는 식탁을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  10. 제 8항에 있어서,
    상기 영상 분할부는 템플릿 매칭 및 원 허프 변환을 이용하여 음식영역을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  11. 제 8항 내지 제10항 중 어느 한 항에 있어서,
    상기 음식 추정모듈은 내용기반 이미지 검색을 추가로 이용하여 음식의 종류를 추정하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  12. 제 11항에 있어서,
    상기 칼로리 계산모듈에서 계산된 음식의 칼로리를 상기 사용자 단말로부터 입력되는 음식사진의 각 음식위에 표시하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
KR1020140192660A 2014-12-29 2014-12-29 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 KR101562364B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140192660A KR101562364B1 (ko) 2014-12-29 2014-12-29 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140192660A KR101562364B1 (ko) 2014-12-29 2014-12-29 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001504A Division KR20140089729A (ko) 2013-01-07 2013-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Publications (2)

Publication Number Publication Date
KR20150018759A true KR20150018759A (ko) 2015-02-24
KR101562364B1 KR101562364B1 (ko) 2015-10-23

Family

ID=52578153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140192660A KR101562364B1 (ko) 2014-12-29 2014-12-29 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Country Status (1)

Country Link
KR (1) KR101562364B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091024A1 (en) * 2015-11-25 2017-06-01 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
KR20180026252A (ko) * 2016-09-02 2018-03-12 변규리 딥러닝 알고리즘을 이용한 사물인식을 사용하여 칼로리 측정 및 소비를 위한 o2o 방식의 칼로리 관리시스템
US9972080B2 (en) 2016-01-14 2018-05-15 Electronics And Telecommunications Research Institute Apparatus and method for food search service
KR20180059629A (ko) * 2016-11-25 2018-06-05 (주)이오아시스 식사일기를 위한 영양 분석 시스템
KR102024722B1 (ko) * 2018-10-31 2019-11-04 이승보 인공지능 추천을 이용한 ｏ２ｏ 마케팅을 위한 시스템 및 방법
KR20200003590A (ko) * 2018-07-02 2020-01-10 이화여자대학교 산학협력단 혈액투석 환자의 식생활 관리 방법 및 장치
KR20200036314A (ko) * 2018-09-28 2020-04-07 가천대학교 산학협력단 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
WO2021071081A1 (ko) * 2019-10-08 2021-04-15 삼성전자주식회사 3차원 형상 추정 장치를 포함하는 조리 기기 및 그 제어 방법
JP2022068282A (ja) * 2017-07-05 2022-05-09 キヤノン株式会社 ホワイトバランス調整装置、フォーカス制御装置、露出制御装置、ホワイトバランス調整方法、フォーカス制御方法、露出制御方法、及びプログラム
US12002259B2 (en) 2017-07-05 2024-06-04 Canon Kabushiki Kaisha Image processing apparatus, training apparatus, image processing method, training method, and storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102082042B1 (ko) * 2018-04-06 2020-02-26 김정인 쿠킹키트를 이용한 교육 시스템
KR20210040495A (ko) 2019-10-04 2021-04-14 김준연 영상 기반 열량 측정방법 및 장치
KR20230139184A (ko) 2022-03-25 2023-10-05 주식회사 누비랩 인공지능 기반 식사 모니터링 방법 및 장치
KR102615747B1 (ko) 2023-07-24 2023-12-19 주식회사 쏘렐라 인공지능 모델을 활용한 음식의 칼로리 추정 및 사용자 맞춤형 신체 변화 정보 시각화 서비스 제공 방법, 장치 및 시스템

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861153B2 (en) 2015-11-25 2020-12-08 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
KR20170060972A (ko) * 2015-11-25 2017-06-02 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN108292420A (zh) * 2015-11-25 2018-07-17 三星电子株式会社 用户终端设备及其控制方法
US11568981B2 (en) 2015-11-25 2023-01-31 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US10521903B2 (en) 2015-11-25 2019-12-31 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
WO2017091024A1 (en) * 2015-11-25 2017-06-01 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
CN112215191A (zh) * 2015-11-25 2021-01-12 三星电子株式会社 用户终端设备及其控制方法
US9972080B2 (en) 2016-01-14 2018-05-15 Electronics And Telecommunications Research Institute Apparatus and method for food search service
KR20180026252A (ko) * 2016-09-02 2018-03-12 변규리 딥러닝 알고리즘을 이용한 사물인식을 사용하여 칼로리 측정 및 소비를 위한 o2o 방식의 칼로리 관리시스템
KR20180059629A (ko) * 2016-11-25 2018-06-05 (주)이오아시스 식사일기를 위한 영양 분석 시스템
US12002259B2 (en) 2017-07-05 2024-06-04 Canon Kabushiki Kaisha Image processing apparatus, training apparatus, image processing method, training method, and storage medium
JP7350208B2 (ja) 2017-07-05 2023-09-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7300027B2 (ja) 2017-07-05 2023-06-28 キヤノン株式会社 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP2022068282A (ja) * 2017-07-05 2022-05-09 キヤノン株式会社 ホワイトバランス調整装置、フォーカス制御装置、露出制御装置、ホワイトバランス調整方法、フォーカス制御方法、露出制御方法、及びプログラム
KR20200003590A (ko) * 2018-07-02 2020-01-10 이화여자대학교 산학협력단 혈액투석 환자의 식생활 관리 방법 및 장치
KR20200036314A (ko) * 2018-09-28 2020-04-07 가천대학교 산학협력단 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
KR102024722B1 (ko) * 2018-10-31 2019-11-04 이승보 인공지능 추천을 이용한 ｏ２ｏ 마케팅을 위한 시스템 및 방법
WO2021071081A1 (ko) * 2019-10-08 2021-04-15 삼성전자주식회사 3차원 형상 추정 장치를 포함하는 조리 기기 및 그 제어 방법

Also Published As

Publication number Publication date
KR101562364B1 (ko) 2015-10-23

Similar Documents

Publication Publication Date Title
KR101562364B1 (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
KR20140089729A (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
US20220359058A1 (en) Meal service management system and operating method therefor
US11615559B2 (en) Methods and systems for human imperceptible computerized color transfer
US9916520B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
US9721183B2 (en) Intelligent determination of aesthetic preferences based on user history and properties
US9122958B1 (en) Object recognition or detection based on verification tests
Aizawa et al. Food balance estimation by using personal dietary tendencies in a multimedia food log
CA2788145C (en) System and method for creating a collection of images
Miyazaki et al. Image-based calorie content estimation for dietary assessment
Martin et al. Quantification of food intake using food image analysis
US20050152613A1 (en) Image processing apparatus, image processing method and program product therefore
KR20170060972A (ko) 사용자 단말 장치 및 그 제어 방법
GB2609723A (en) Exposure defects classification of images using a neural network
US10331953B2 (en) Image processing apparatus
US10701220B2 (en) Image print proposal device, method, and program
CN104751406A (zh) 一种用于对图像进行虚化的方法和装置
KR102130772B1 (ko) 딥러닝을 이용한 음식인식 및 식단관리 시스템
JP5691533B2 (ja) 情報処理装置、方法及びプログラム
US20230297646A1 (en) System and methods for classifying magnetic resonance imaging (mri) image characteristics
Minija et al. Food recognition using neural network classifier and multiple hypotheses image segmentation
KR20190104980A (ko) 급식관리 시스템 및 이의 운영방법
JP2018049584A (ja) 食事量推定プログラム、食事量推定方法及び食事量推定装置
US20200092484A1 (en) Image display control apparatus, image display control method, program, and recording medium
KR20220089258A (ko) 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191111

Year of fee payment: 5