KR20140089729A - 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 - Google Patents

음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 Download PDF

Info

Publication number
KR20140089729A
KR20140089729A KR1020130001504A KR20130001504A KR20140089729A KR 20140089729 A KR20140089729 A KR 20140089729A KR 1020130001504 A KR1020130001504 A KR 1020130001504A KR 20130001504 A KR20130001504 A KR 20130001504A KR 20140089729 A KR20140089729 A KR 20140089729A
Authority
KR
South Korea
Prior art keywords
food
image
calorie
type
photograph
Prior art date
Application number
KR1020130001504A
Other languages
English (en)
Inventor
김남국
Original Assignee
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020130001504A priority Critical patent/KR20140089729A/ko
Priority to PCT/KR2014/000125 priority patent/WO2014107081A1/ko
Publication of KR20140089729A publication Critical patent/KR20140089729A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Nutrition Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 음식사진을 이용한 칼로리 자동 계산 방법에 관한 것으로, (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계; (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계; (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및 (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명은 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템에 관한 것으로, 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말; 음식의 종류별 칼로리 데이터가 저장되어 있는 데이터베이스; 및 상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 음식사진의 색상, 형상 및 질감에 대한 영상특징을 이용하여 음식의 종류 및 양을 추정하고 추정된 음식의 종류 및 양을 이용하여 칼로리를 자동으로 계산함으로써, 사용자가 음식의 종류 및 양을 수동으로 입력할 필요가 없어 편리하며, 웹 또는 앱 기반으로 사용자가 음식사진을 업로드하면 실시간으로 섭취한 칼로리를 계산하고 이를 바탕으로 사용자 각각에 알맞는 식습관 컨설팅이 제공되는 효과가 있다.

Description

음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템{Automatic calorie caculation method using food image and feeding behavior managing system using thereof}
본 발명은 음식사진을 이용한 칼로리 자동 계산 방법 및 그 방법을 이용한 식습관 관리시스템에 관한 것으로, 보다 자세하게는 음식사진의 영상 특징을 분석하여 학습된 자동 분류자를 이용하여 음식의 종류 및 양을 추정하여 자동으로 음식의 칼로리를 계산하고 이를 이용하여 사용자의 식습관을 관리하는 시스템에 관한 것이다.
현대 사회가 점차 서구화 및 산업화됨에 따라 과체중이나 비만으로 고통받는 사람들이 점차 증가하고 있다. 이러한 과체중이나 비만은 개인에게 있어서도 성인병 등 각동 질환의 원인이 되는 심각한 문제지만, 사회적으로도 그에 따른 엄청난 사회적 비용을 발생시키므로 현대의 심각한 사회 문제 중 하나가 되고 있다.
따라서, 이와 같은 과체중이나 비만을 해결하기 위한 다이어트가 현대인들에게는 필수라고 할 만큼 광범위하게 실시되고 있다. 또한, 최근에는 사람들의 아름다움에 대한 욕구가 증가됨에 따라 다이어트가 단순한 건강을 위한 과체중이나 비만 해결 방법이 아닌 아름다운 몸매와 건강을 유지하기 위한 수단으로 각광받고 있다.
상기와 같은 다이어트를 위해서는 자신의 식습관을 분석하는 것이 선행되어야 하며, 이는 자신이 섭취하는 칼로리를 인지하는 것이 기본이 된다.
한국 공개 특허 10-2005-0045190호는 종래의 칼로리 계산 방법에 관한 기술이 개시되어 있으며, 상기 공개 특허는 이동통신 단말기에서 각각의 음식물에 대한 칼로리 계산 정보를 제공하고, 사용자의 수치 입력에 따라 전체 칼로리양을 계산하는 방법을 제공한다.
보다 구체적으로는, 사용자가 이동통신 단말기 상의 칼로리 계산 메뉴를 선택하면, 음식 각각에 대한 칼로리 계산 정보가 표시된 화면을 제공하는 제1단계와, 상기 음식물 각각에 대한 칼로리 계산 정보에 섭취한 음식물의 양에 해당하는 수치를 입력하면, 이에 따라 전체 칼로리를 계산하는 제2단계와, 계산된 전체 칼로리양을 디스플레이하는 제3단계를 구비한다.
상기와 같은 종래의 방법은 언제 어디서나 칼로리의 계산이 가능하고 간단한 수치의 입력만으로 비교적 간단하게 칼로리를 계산할 수 있다는 효과가 있다.
하지만, 상기와 같은 종래의 칼로리 계산 방법의 경우 여전히 사용자가 일일이 자신이 섭취한 음식물의 종류를 검색한 후 섭취한 양을 입력해야 하기 때문에 수동적인 입력에 따른 불편함과 잘못된 입력으로 인해 계산된 칼로리가 부정확해지는 문제점이 있었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 칼로리 계산을 위해 사용자가 직접 섭취한 음식물의 종류 및 양을 입력하지 않고, 섭취할 또는 섭취한 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 음식의 종류 및 양을 추정하고, 이를 바탕으로 자동으로 칼로리를 계산하는 방법과 그 장치 및 이를 이용한 식습관 관리 시스템을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계; (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계; (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및 (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계;를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말; 음식의 종류별 칼로리 데이터가 저장되어 있는 데이터베이스; 및 상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 음식사진의 색상, 형상 및 질감에 대한 영상특징을 이용하여 음식의 종류 및 양을 추정하고 추정된 음식의 종류 및 양을 이용하여 칼로리를 자동으로 계산함으로써, 사용자가 음식의 종류 및 양을 수동으로 입력할 필요가 없어 편리하며, 웹 또는 앱 기반으로 사용자가 음식사진을 업로드하면 실시간으로 섭취한 칼로리를 계산하고 이를 바탕으로 사용자 각각에 알맞는 식습관 컨설팅이 제공되는 효과가 있다.
도 1은 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 도시한 흐름도이다.
도 2는 본 발명에 따른 자동분류자 생성 과정을 설명하는 흐름도이다.
도 3은 본 발명에 따른 음식사진의 전처리 및 분할 방법을 설명하는 참고도이다.
도 4는 본 발명의 자동분류자를 이용하여 음식의 종류를 추정하는 방법을 설명하는 참고도이다.
도 5는 본 발명의 자동분류자를 이용하여 음식의 양을 추정하는 방법을 설명하는 참고도이다.
도 6은 본 발명에 사용되는 데이터베이스의 칼로리 데이터를 나타낸 도면이다.
도 7은 본 발명에 따른 방법을 이용하여 칼로리을 계산하여 음식사진에 시각적으로 표시한 도면이다.
도 8은 본 발명에 따른 방법을 이용하여 섭취한 칼로리을 계산하여 음식사진에 시각적으로 표시한 도면이다.
도 9은 본 발명에 따른 밥(백미)의 영상특징을 추출한 예시표이다.
도 10는 본 발명에 따른 김치의 영상특징을 추출한 예시표이다.
도 11는 본 발명의 방법을 이용한 식습관 관리 시스템을 도시한 블럭도이다.
도 12은 본 발명에 따른 음식추정모듈의 구성을 나타낸 블럭도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 도시한 흐름도이며, 도 2는 본 발명에 따른 자동분류자 생성과정을 설명하는 흐름도이며, 도 3 내지 도 10은 본 발명에 따른 음식사진을 이용한 열량 자동 계산 방법을 설명하는 참고도이다. 여기서, 도 9 및 도 10은 음식사진의 각 픽셀이 RGB 8비트의 색상을 표현하는 경우 김치 및 밥에 대한 영상특징 추출값을 나타낸 표이다.
먼저, 도 1을 참조하면, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법은 자동분류자를 생성하는 단계(S100), 자동분류자를 이용하여 음식의 종류 및 양을 추정하는 단계(S200) 및 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계(S300)를 포함하며, 상기 S200 단계는 입력되는 음식사진을 전처리하는 단계(S210), 전치리한 음식사진을 분할하는 단계(S220), 분할된 영역을 영상처리하여 영상특징을 추출하는 단계(S230) 및 추출된 영상특징을 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계(S240)를 포함한다.
상기 동분류자를 생성하는 단계(S100)는, 도 2에 도시된 바와 같이 학습용 음식사진을 획득하는 단계(S110), 획득된 학습용 음식사진을 전처리하는 단계(S120), 전처리된 학습용 음식사진을 분할하는 단계(S130), 분할된 학습용 음식사진에서 영상특징을 획득하는 단계(S140), 추출된 영상특징에 대한 음식의 종류 및 양을 입력하여 자동분류자를 생성하는 단계(S150)를 포함한다.
상기 S110 단계는, 음식의 종류 및 양에 대한 자동분류자를 생성하기 위해 학습용 음식사진을 획득하는 단계로써, 상기 학습용 음식사진은 음식이 있는 식판의 사진이나 음식이 놓여져 있는 식탁의 사진이다. 학습용 음식사진은 스마트폰의 카메라나 DSLR 등의 디지털 카메라를 이용하여 촬영한 이미지일 수 있다.
상기 S120 단계는, 학습용 음식사진에서 영상특징을 쉽게 추출하기 위해 음식사진을 전처리하는 단계로써, 학습용 음식사진을 설정된 해상도, 예를 들어 1024×768로 축소 또는 확대하고, 음식사진에서 식판 또는 식탁의 경계를 인식하는 단계를 포함할 수 있다.
한편, 식판 또는 식탁의 경계를 인식하는 방법으로 선 허프 변환(Line Hough transform), 이미지 임계화(Image Thresholding) 또는 질감 분석(Texture analysis)이 사용될 수 있다.
상기 S130 단계는, 전처리된 학습용 음식사진에서 음식이 존재하는 영역만을 분할하는 단계로서, 학습자에 의해 수동으로 분할될 수 있다. 즉, 학습용 음식사진에서 음식이 존재하는 영역을 육안으로 확인하고 분할함으로써, 보다 정확한 음식영역의 추출이 가능하다. 또한 음식 양의 학습을 위해 분할된 음식영역을 설정된 크기, 예를 들면 10×10 픽셀 단위의 원형의 관심영역으로 재분할 할 수 있다.
상기 S140 단계는, 분할된 음식영역 및 관심영역에서 영상특징을 추출하는 단계로서, 색상, 형상 및 질감에 대한 영상특징을 추출한다.
아래의 표 1은, 상기 S140 단계에서 추출하는 영상특징을 나타낸 표이며, 이를 참조하여 추출되는 색상, 형상 및 질감에 대한 영상특징을 설명한다.
영상특징 세부 영상특징
색상 색상(per R,G,B) Mean
SD
히스토그램(per R,G,B) Mean
SD
Skewness
Kurtosis
형상 Run-length SPE
LPE
질감 기울기 히스토그램 Mean
SD
GLCM ASM
Contrast
Correlation
IDM
Entropy
Inertia
여기에서, 상기 SD:Standard Deviation, SPE:Short Primitive Emphasis, LPE:Long Primitive Emphasis, GLCM:Gray Level Co-occurrence Matrix, ASM:Angular Second Moment, IDM:Inverse Differential Moment 이다.
상기 색상에 대한 영상특징은 음식영역 및 각 관심영역에 대한 RGB 색상 평균값과 편차 및 RGB 색상 히스토그램이며, 상기 히스토그램은 R,G,B 당 평균(Mean), 표준편차(Standard Deviation,SD), 비대칭도(Skewness), 첨도(Kurtoses) 히스토그램값이다.
상기 형상에 대한 영상특징은 픽셀의 갯수 및 런 렝스(Run Length)이며, 상기 런 렝스는 SPE(Short Primitive Emphasis) 및 LPE(Long Primitive Emphasis)로 구성되며, 상기 픽셀의 갯수는 음식영역의 크기를 측정하기 위해 사용된다.
상기 질감에 대한 영상특징은 상기 평균 및 표준편차의 기울기 히스토그램 및 질감 분석(texture analysis)기법 중 하나인 GLCM(Gray Level Co-occurrence matrix)의 텍스쳐 변수이다. 즉, GLCM의 ASM(Angular Second Moment), Contrast, Correlation, Entropy, IDM(Inverse Difference Moment) 및 Inertia의 6가지 텍스처 변수와 기울기 히스토그램을 구하여 이를 질감에 대한 영상특징으로 획득한다.
상기 S150 단계는, 상기 S140 단계에서 획득한 영상특징들을 가지는 음식의 종류 및 양을 자동분류자에 학습시키는 단계이다. 즉, 학습자가 이미 알고 있는 학습용 음식사진의 각 음식의 종류 및 양을 자동분류자에 입력하여 자동분류자를 생성한다.
상기 자동분류자는 Bayesian Classifier, SVM(Support Vector Machine) 또는 ANN(Artificial Neural Network)등이 사용될 수 있다. 각 자동 분류자는 고유의 원리를 이용하여 알려준 음식의 종류와 양을 영상 사진에서 자동으로 추출된 영상의 특징값을 이용하여 자동 분류 구조를 만든다. 이런 음식의 종류 및 양을 분류할 수 있는 자동 분류자를 생성하는 것이 학습의 최종 결과이다.
자동분류자의 학습시 다양한 음식종류 및 양에 대한 많은 학습용 사진을 이용하여 자동분류자를 생성하는 경우 음식의 종류 및 양에 대한 보다 정확한 추정이 가능하다.
상기와 같은 단계들(S110, S120, S130, S140, S150)을 거쳐 자동분류자가 생성되면, 입력되는 음식사진을 이용하여 음식의 종류 및 양을 추정하고 이를 바탕으로 입력되는 음식사진에 존재하는 각 음식의 칼로리를 계산한다. 여기에서 입력되는 음식사진이란 사용자가 칼로리를 계산하기 위해 입력하는 음식사진을 의미한다.
이하에서, 입력된 입력되는 음식사진의 음식 종류 및 양을 추정하고 이를 바탕으로 칼로리를 계산하는 방법을 보다 상세히 설명한다.
먼저, 입력되는 음식사진에서 영상특징을 추출하는 방법은 상기에서 설명한 자동분류자 생성 방법의 영상특징을 추출하는 방법과 거의 동일하다. 이는 음식의 종류 및 양을 추정하기 위해 자동분류자의 생성에 사용된 동일한 영상특징을 입력되는 음식사진으로부터 획득하여야 하기 때문이다. 따라서, 자동분류자의 생성방법과 동일한 방법인 전처리 단계(S210) 및 영상특징 추출 단계(S230)는 제외하고 차이점이 있는 방법인 영상분할 단계(S220), 음식종류 및 양 추정 단계(S240) 및 칼로리 계산 단계(S300)만을 설명한다.
상기 S220 단계는, 전처리된 입력되는 음식사진에서 음식이 있는 음식영역 및 관심영역을 분할하는 단계로써, 자동분류자 생성시 사용된 수동 분할이 아니 자동분할이 사용된다. 상기와 같은 자동분할을 위해 본 발명에서는 템플릿 매칭(Template Matching) 및 원 허프 변환(Circle Hough Transform)을 이용하여 입력되는 음식사진에서 음식이 존재하는 부분만을 분할한다. 즉, 상기 방법을 이용하여 입력되는 음식사진에서 그릇 또는 식판의 음식부분을 인식한다.
상기 S240 단계는, 추출된 각 영상특징을 자동분류자에 입력하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정하는 단계이다. 자동분류자는 입력된 각 영상특징들을 학습된 각 음식종류 및 양에 대한 영상특징들과 비교 분석하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정한다.
보다 자세하게는, 분할된 음식영역 전체의 영상특징을 이용하여 음식의 종류를 추정하고, 그 후 음식종류가 추정된 음식영역의 각 관심영역의 영상특징을 이용하여 음식의 양을 추정한다. 여기에서 관심영역은 상기 음식영역을 설정된 크기로 재분할한 영역이므로 음식의 양에 대한 보다 세밀한 추정이 가능해진다.
상기 음식의 양을 추정하는 방법은 먼저, 음식의 종류가 추정된 음식영역을 복수의 설정된 크기의 관심영역으로 재분할한 후, 각 관심영역에 대한 영상특징을 이용하여 자동분류자를 통해 음식영역 중 음식이 실제로 존재하는 부분을 추정하고 추정된 관심영역의 크기를 계산하여 음식의 양을 추정한다. 즉, 음식영역의 경우 식판에서 음식이 담겨지는 부분 또는 식탁 위에 있는 그릇의 경계를 검출한 것이므로, 음식영역의 크기와 실제 음식이 존재하는 부분의 크기가 다를 수 있기 때문에 본 발명의 음식량 추정방법과 같이 음식사진상의 영상특징을 분석하여 음식이 실제로 존재하는 영역만을 추출하고 이를 바탕으로 음식의 양을 추정하는 경우 보다 정확한 음식량의 추정이 가능하다.
또한, 보다 정확하게 음식의 종류를 추정하기 위해 자동분류자를 이용한 음식종류 추정뿐만 아니라 추가로 내용기반 이미지 검색(CBIR:Content Based Image Retrieval)기법을 이용하여 음식의 종류를 추정할 수 있다.
상기 S300 단계는, 자동분류자를 이용하여 음식의 종류 및 양이 추정되면 이를 이용하여 음식의 칼로리를 계산하는 단계로써, 기준량에 대한 음식의 종류별 칼로리가 저장되어 있는 데이터베이스를 이용하여 음식의 칼로리를 계산한다.
또한, 섭취 전후의 음식사진이 입력되는 경우 상기 S240 단계에서 각 음식사진의 음식종류 및 양이 추정하고, S300 단계에서 양 음식사진의 음식량 차이를 이용하여 섭취한 칼로리를 계산할 수 있다.
또한, 본 발명은 상기 S300 단계에서 계산된 각 음식의 칼로리를 입력되는 음식사진의 해당 음식위에 시각적으로 표시할 수 있다. 상기 표시는 각 음식의 해당 칼로리뿐만 아니라 해당 음식들의 칼로리를 모두 더한 총 칼로리도 표시할 수 있으며, 섭취한 칼로리 또한 표시할 수 있다. 따라서, 사용자는 해당 음식을 모두 먹을 경우 섭취하는 총 칼로리뿐만 아니라 실제로 섭취한 칼로리를 직관적으로 확인할 수 있다.
도 11는 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템을 도시한 블럭도이며, 도 12은 본 발명에 따른 음식추정모듈의 구성을 나타낸 블럭도이다.
도 11과 도 12을 참조하면, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템(1000)은 사용자 단말(100), 데이터베이스(200), 및 음식 추정모듈(310), 칼로리 계산모듈(320) 및 식습관 관리모듈(330)을 포함하는 서버(300)를 포함한다.
상기 사용자 단말(100)은, 웹(web) 또는 앱(app) 상에 음식사진을 업로드하기 위한 것으로 스마트폰, 데스크탑 또는 노트북 등일 수 있다. 상기 사용자 단말(220)은 상기 서버(230)와 네트워크(10)를 통해 유선 또는 무선으로 통신가능하며, 사용자는 웹상에 음식사진을 업로드하거나 앱을 다운받아 설치한 후 앱 상에 음식사진을 업로드할 수 있다. 또한, 사용자는 추가적으로 자신의 나이, 체중 및 키 등을 입력할 수 있다.
상기 데이터베이스(200)는, 설정된 기준량에 대한 음식의 종류별 칼로리 데이터가 저장되어 있으며, 음식 추정부(313)에서 추정된 음식의 종류 및 양을 이용하여 음식의 칼로리를 계산하기 위해 사용된다.
상기 서버(300)의 음식 추정모듈(310)은 음식의 종류 및 양에 대한 기계학습을 통해 생성되는 자동분류자부(311), 음식사진에서 영상특징을 추출하는 영상특징 추출부(312), 추출된 영상특징 및 상기 자동분류자부를 이용하여 음식의 종류 및 양을 추정하는 음식 추정부(313)를 포함한다.
또한, 상기 영상특징 추출부(312)는 입력되는 음식사진을 전처리하는 전처리부(312a), 전처리된 입력되는 음식사진에서 음식영역 및 관심영역을 분할하는 영상 분할부(312b) 및 분할된 음식영역 및 관심영역의 영상특징을 추출하는 특징 추출부(312c)를 포함한다.
상기 자동분류자부(311)는, 학습용 음식사진을 이용하여 각 음식의 종류 및 양에 대한 자동분류자를 생성하는 곳으로, 학습자가 학습용 음식사진을 이용하여 미리 학습시켜 자동분류자를 생성한다. 학습을 위해 사용되는 영상특징들은 상기에서 설명한 S140 단계에서 사용된 영상특징과 동일하므로 이에 대한 자세한 설명은 생략한다.
상기 영상특징 추출부(312)는, 입력되는 음식사진에서 음식의 종류 및 양을 추정하기 위해 필요한 영상특징들을 추출한다.
상기 영상특징 추출부(312)의 전처리부(312a)는, 입력되는 음식사진의 영상특징 추출을 용이하게 하기 위해 전처리를 수행하며, 상기 전처리는 설정된 해상도로 입력되는 음식사진을 리사이즈(resize)하거나, 회전(rotation)하고 입력되는 음식사진에서 식판 또는 식탁부분을 분할하는 것을 포함할 수 있다. 또한, 식판 또는 식탁부분을 분할하기 위해 선 허프 변환, 영상 임계화 또는 질감 분석 기법이 사용될 수 있다.
상기 영상 분할부(312b)는, 전처리된 음식사진에서 음식이 존재하는 영역인 음식영역을 분할하고, 분할된 음식영역을 설정된 크기의 관심영역으로 재분할한다. 상기 음식영역은, 예를 들어 입력되는 음식사진이 식판에 대한 사진일 경우 식판에서 음식이 담겨지는 부분이고, 입력되는 음식사진이 식탁위에 놓여진 음식들일 경우 음식이 담겨지는 그릇부분이다. 상기 관심영역은 음식의 양을 추정하기 위해 미리 설정된 일정한 크기의 영역을 의미한다.
상기 특징 추출부(312c)는, 분할된 음식영역 및 관심영역 각각에 대해 색상, 형상 및 질감에 대한 영상특징을 추출한다.
상기 음식 추정부(313)는 상기 영상특징 추출부(312)에서 추출된 영상특징 및 자동분류자부(311)에서 생성된 자동분류자를 이용하여 입력되는 음식사진에 존재하는 음식의 종류 및 양을 추정한다. 즉, 음식 추정부(313)는 각 음식영역에 대한 영상특징을 이용하여 각 음식영역이 어떤 종류의 음식인지를 먼저 추정하고, 상기 추정된 음식영역의 각 관심영역의 영상특징을 이용하여 음식의 양을 추정한다.
또한, 상기 음식 추정모듈(310)은 음식의 종류를 보다 정확하게 추정하기 위해 자동분류자뿐만 아니라 내용기반 이미지 검색기법을 추가로 이용하여 음식의 종류를 추정할 수 있다.
상기 칼로리 계산모듈(320)은 음식 추정부(313)에서 추정된 음식의 종류와 양 및 상기 데이터베이스(200)의 칼로리 데이터를 이용하여 업로드된 음식사진에 있는 각 음식들의 칼로리를 계산한다.
또한, 본 발명에 따른 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템(1000)은 상기 칼로리 계산모듈(320)에서 계산된 칼로리를 상기 사용자 단말(100)로부터 업로드되는 음식사진의 각 음식위에 표시할 수 있다.
상기 식습관 관리모듈(330)은, 사용자가 섭취한 음식종류, 섭취한 양 및 섭취한 칼로리를 이용하여 사용자의 식습관을 안내 및 관리한다.
상기 식습관 관리모듈(330)은 사용목적에 맞게 다양한 기능이 제공되도록 관리자에 의해 변경될 수 있다.
예를 들면, 사용자가 업로드한 음식사진에서 음식의 종류 및 양을 추정하고 추정된 음식 종류 및 양을 이용하여 사용자가 선호하는 음식종류 파악하고, 이를 이용하여 사용자의 영양소별 섭취상태를 분석할 수 있으며, 이를 이용하여 부족한 영양소를 사용자에게 안내하거나 영양소의 균형적인 섭취를 위해 사용자가 추가적으로 섭취하여야 할 음식을 안내할 수 있다.
또는, 일일, 주간 및 월별 단위로 사용자가 섭취한 칼로리를 분석하여 체중조절을 위한 음식섭취 계획을 제공할 수 있다. 상기와 같은 기능을 제공하기 위해 식습관 관리모듈(330)은 사용자가 입력한 나이, 체중 및 키에 관한 정보를 추가로 이용할 수 있다.
또는, 상기 식습관 관리모듈(330)은 다이어트를 위해 개인별 맞춤 컨설팅용도 또는 병원에서 환자의 식습관 및 질환의 특성에 맞는 식습관을 컨설팅하는 용도로 사용될 수 있다.
본 발명에 따른 방법을 이용한 식습관 관리 시스템(1000)에 의하면, 사용자는 자신이 섭취한 음식의 칼로리를 실시간으로 확인할 수 있으며, 섭취한 음식의 종류 및 양과 칼로리를 바탕으로 사용자의 상황에 맞는 다양한 컨설팅을 제공받을 수 있는 효과가 있다.
이상, 전술한 본 발명의 실시예는, 예시의 목적을 위해 개시된 것으로, 통상의 기술자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
100: 사용자 단말 200: 데이터베이스
300: 서버 310: 음식 추정모듈
311: 자동분류자부 312: 영상특징 추출부
312a: 전처리부 312b: 영상 분할부
312c: 특징 추출부 313: 음식 추정부
320: 칼로리 계산모듈 330: 식습관 관리모듈
1000: 식습관 관리 시스템

Claims (17)

  1. (a) 학습용 음식사진의 색상, 질감 및 형상에 대한 영상특징을 계산하는 단계;
    (b) 계산된 영상특징값들을 기초로 기계학습을 통해 자동분류자를 생성하는 단계;
    (c) 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하여 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계; 및
    (d) 상기 추정된 음식의 종류 및 양을 이용하여 칼로리를 계산하는 단계;
    를 포함하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  2. 제 1항에 있어서, 상기 단계 (c)는
    (c1) 입력되는 음식사진을 전처리 하는 단계;
    (c2) 상기 전처리한 음식사진에서 음식이 존재하는 음식영역을 분할하고 분할된 각 음식영역을 설정된 크기의 관심영역으로 재분할하는 단계;
    (c3) 상기 분할된 음식영역 및 관심영역을 영상처리하여 색상, 형상 및 질감에 대한 영상특징을 추출하는 단계;
    (c4) 상기 추출된 영상특징을 상기 자동분류자에 입력하여 음식의 종류 및 양을 추정하는 단계;
    를 포함하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  3. 제 2항에 있어서,
    상기 (c1) 단계는 입력되는 음식사진을 설정된 해상도로 변경하고, 상기 음식사진에서 식탁 또는 식판을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  4. 제 3항에 있어서,
    상기 (c1) 단계는 선 허프 변환, 영상 임계화 및 질감 분석 중 적어도 하나 이상을 이용하여 식탁 또는 식판을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  5. 제 2항에 있어서,
    상기 (c2) 단계는 템플릿 매칭 및 원 허프 변환을 이용하여 음식영역을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  6. 제 1항 내지 제 5항 중 한 항에 있어서,
    상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은, 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  7. 제 6항에 있어서,
    상기 (c) 단계는 내용기반 이미지 검색을 추가로 이용하여 음식의 종류를 추정하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  8. 제 7항에 있어서,
    상기 (d) 단계는 음식 섭취 전후의 사진을 통해 섭취한 음식의 칼로리를 계산하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  9. 제 8항에 있어서,
    상기 (d) 단계에서 계산된 칼로리를 입력되는 음식사진의 각 음식위에 시각적으로 표시하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법.
  10. 웹(web) 또는 앱(app) 상에 음식 섭취 전후의 음식사진을 업로드 하는 사용자 단말;
    음식의 종류별 칼로리 데이터가 저장되어 있는 데이터베이스; 및
    상기 사용자 단말로부터 업로드된 음식 섭취 전후의 음식사진에서 영상특징을 추출하여 음식의 종류 및 양에 대해 미리 학습된 자동분류자에 입력하여 상기 음식사진들의 음식종류 및 양을 추정하는 음식 추정모듈, 상기 추정된 음식종류와 섭취 전후 음식량의 차이 및 데이터베이스의 칼로리 데이터를 이용하여 섭취 칼로리를 계산하는 칼로리 계산모듈 및 상기 계산된 섭취 칼로리를 이용하여 사용자의 식습관을 안내 및 관리하는 식습관 관리모듈을 구비하는 서버;
    를 포함하는 것을 특징으로 하는 음식사진을 이용한 열량 자동 계산 방법을 이용한 식습관 관리 시스템.
  11. 제 10항에 있어서,
    상기 음식 추정모듈은,
    학습용 음식사진에서 추출한 색상, 질감 및 형상에 대한 영상특징을 기초로 음식의 종류 및 양을 기계학습하는 자동분류자부, 입력되는 음식사진에서 색상, 질감 및 형상에 대한 영상특징을 추출하는 영상특징 추출부 및 상기 추출한 색상, 질감 및 형상에 대한 영상특징을 상기 자동분류자부에 입력하여 음식의 종류 및 양을 추정하는 음식 추정부를 포함하는 것을 특징으로 하는 음식사진을 이용한 열량 자동 계산 방법을 이용한 식습관 관리 시스템.
  12. 제 11항에 있어서,
    상기 영상특징 추출부는,
    입력되는 음식사진을 전처리하는 전처리부, 전처리된 음식사진에서 음식영역을 분할하고 분할된 음식영역을 관심영역으로 재분할하는 영상 분할부 및 상기 음식영역 및 관심영역에서 색감, 질감 및 형상에 대한 영상특징을 추출하는 특징 추출부를 포함하는 것을 특징으로 하는 음식사진을 이용한 열량 자동 계산 방법을 이용한 식습관 관리 시스템.
  13. 제 12항에 있어서,
    상기 전처리부는 입력되는 음식사진을 설정된 해상도로 변경하고 선 허프 변환, 영상 임계화 및 질감 분석 중 적어도 하나 이상을 이용하여 음식사진에서 식판 또는 식탁을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  14. 제 12항에 있어서,
    상기 영상 분할부는 템플릿 매칭 및 원 허프 변환을 이용하여 음식영역을 분할하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  15. 제 10항 내지 제 14항 중 한 항에 있어서,
    상기 색상 영상특징은 RGB 색상 히스토그램이고, 상기 형상 영상특징은 픽셀 숫자 및 런 렝스(run length)이며, 상기 질감 영상특징은 기울기 히스토그램 및 GLCM(gray-level co-occurrence matrix)의 텍스처 변수인 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  16. 제 15항에 있어서,
    상기 음식 추정모듈은 내용기반 이미지 검색을 추가로 이용하여 음식의 종류를 추정하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
  17. 제 16항에 있어서,
    상기 칼로리 계산모듈에서 계산된 음식의 칼로리를 상기 사용자 단말로부터 입력되는 음식사진의 각 음식위에 표시하는 것을 특징으로 하는 음식사진을 이용한 칼로리 자동 계산 방법을 이용한 식습관 관리 시스템.
KR1020130001504A 2013-01-07 2013-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 KR20140089729A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130001504A KR20140089729A (ko) 2013-01-07 2013-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
PCT/KR2014/000125 WO2014107081A1 (ko) 2013-01-07 2014-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001504A KR20140089729A (ko) 2013-01-07 2013-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140192660A Division KR101562364B1 (ko) 2014-12-29 2014-12-29 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Publications (1)

Publication Number Publication Date
KR20140089729A true KR20140089729A (ko) 2014-07-16

Family

ID=51062352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001504A KR20140089729A (ko) 2013-01-07 2013-01-07 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템

Country Status (2)

Country Link
KR (1) KR20140089729A (ko)
WO (1) WO2014107081A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160017483A (ko) * 2014-08-06 2016-02-16 주식회사 브로멜리아드 사물인터넷 기반의 헬스케어 시스템 및 그 방법
WO2017043686A1 (ko) * 2015-09-11 2017-03-16 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN107861408A (zh) * 2016-09-22 2018-03-30 九阳股份有限公司 一种智能料理平台管理料理机配件的方法和智能料理平台
KR101876147B1 (ko) * 2017-11-30 2018-07-06 김대웅 잔반 감소유도 시스템
KR20180116779A (ko) * 2017-04-17 2018-10-26 가천대학교 산학협력단 인공 지능 기반 영상 및 음성 인식 영양 평가 방법
KR20190091774A (ko) 2018-01-29 2019-08-07 건양대학교산학협력단 딥러닝을 이용한 음식인식 및 식단관리 시스템
KR20210044551A (ko) * 2019-10-15 2021-04-23 손종희 전자영수증 기반의 인공지능 칼로리 검출 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224802B (zh) * 2015-10-08 2018-12-11 广东欧珀移动通信有限公司 一种提醒方法及移动终端
KR102359359B1 (ko) 2015-11-25 2022-02-08 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN115530773B (zh) * 2022-10-17 2024-01-05 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100892612B1 (ko) * 2006-12-04 2009-04-08 한국전자통신연구원 다중 센서를 이용한 식습관 관리 장치 및 그 방법
KR20090046991A (ko) * 2007-11-07 2009-05-12 주식회사 휴민텍 패턴 인식 기법을 통한 식단 인식
KR20120039102A (ko) * 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160017483A (ko) * 2014-08-06 2016-02-16 주식회사 브로멜리아드 사물인터넷 기반의 헬스케어 시스템 및 그 방법
WO2017043686A1 (ko) * 2015-09-11 2017-03-16 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN107861408A (zh) * 2016-09-22 2018-03-30 九阳股份有限公司 一种智能料理平台管理料理机配件的方法和智能料理平台
KR20180116779A (ko) * 2017-04-17 2018-10-26 가천대학교 산학협력단 인공 지능 기반 영상 및 음성 인식 영양 평가 방법
KR101876147B1 (ko) * 2017-11-30 2018-07-06 김대웅 잔반 감소유도 시스템
KR20190091774A (ko) 2018-01-29 2019-08-07 건양대학교산학협력단 딥러닝을 이용한 음식인식 및 식단관리 시스템
KR20210044551A (ko) * 2019-10-15 2021-04-23 손종희 전자영수증 기반의 인공지능 칼로리 검출 장치 및 방법

Also Published As

Publication number Publication date
WO2014107081A1 (ko) 2014-07-10

Similar Documents

Publication Publication Date Title
KR101562364B1 (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
KR20140089729A (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
US20220359058A1 (en) Meal service management system and operating method therefor
US11615559B2 (en) Methods and systems for human imperceptible computerized color transfer
US11568981B2 (en) User terminal apparatus and control method thereof
US9734426B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
US9721183B2 (en) Intelligent determination of aesthetic preferences based on user history and properties
US10110868B2 (en) Image processing to determine center of balance in a digital image
US20150235110A1 (en) Object recognition or detection based on verification tests
US20050152613A1 (en) Image processing apparatus, image processing method and program product therefore
WO2005114577A1 (en) Method for determining image quality
GB2609723A (en) Exposure defects classification of images using a neural network
US10331953B2 (en) Image processing apparatus
CN107016648A (zh) 电子设备及其控制方法
KR20190066361A (ko) 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법
KR20190091774A (ko) 딥러닝을 이용한 음식인식 및 식단관리 시스템
KR20190104980A (ko) 급식관리 시스템 및 이의 운영방법
US20230297646A1 (en) System and methods for classifying magnetic resonance imaging (mri) image characteristics
Minija et al. Food recognition using neural network classifier and multiple hypotheses image segmentation
JP2018049584A (ja) 食事量推定プログラム、食事量推定方法及び食事量推定装置
KR20220089258A (ko) 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법
US20200092484A1 (en) Image display control apparatus, image display control method, program, and recording medium
CN114556444A (zh) 联合模型的训练方法和对象信息处理方法、装置及系统
JP2005070908A (ja) 院内用食事摂取量の計測方法と計測システム
KR20210040495A (ko) 영상 기반 열량 측정방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent