KR102457237B1 - 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법 - Google Patents

칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법 Download PDF

Info

Publication number
KR102457237B1
KR102457237B1 KR1020200179719A KR20200179719A KR102457237B1 KR 102457237 B1 KR102457237 B1 KR 102457237B1 KR 1020200179719 A KR1020200179719 A KR 1020200179719A KR 20200179719 A KR20200179719 A KR 20200179719A KR 102457237 B1 KR102457237 B1 KR 102457237B1
Authority
KR
South Korea
Prior art keywords
food
volume
area
image
calorie
Prior art date
Application number
KR1020200179719A
Other languages
English (en)
Other versions
KR20220089258A (ko
Inventor
김덕수
노유찬
박명우
박윤기
장진우
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020200179719A priority Critical patent/KR102457237B1/ko
Publication of KR20220089258A publication Critical patent/KR20220089258A/ko
Application granted granted Critical
Publication of KR102457237B1 publication Critical patent/KR102457237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4146—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling caloric intake, e.g. diet control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/618—Specific applications or type of materials food

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 칼로리 측정용 휴대디바이스는, 촬영부를 구비하여 음식을 대상으로 음식 이미지를 획득 가능한 휴대디바이스에 있어서, 상기 획득된 음식 이미지에서 인공지능 알고리즘 기반의 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 클래시피케이션을 이용하여 음식영역의 음식 종류를 판단하며, 판단된 해당 음식에 대해 부피(음식량)를 산출하여, 기저장된 해당 음식의 부피당 칼로리정보를 이용하여 부피에 따른 칼로리정보를 산출하는 것을 특징으로 한다.

Description

칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법{Portable device for calorie measurement, calorie measurement system and method}
본 발명은 칼로리 측정 시스템 및 방법에 관한 것으로, 더욱 상세하게는 깊이카메라를 이용하여 깊이정보를 계산하고, 깊이정보로 음식의 부피를 산출하여 부피에 따른 음식 칼로리를 측정하는 칼로리 측정 시스템 및 방법에 관한 것이다.
현재, 건강 관리에 대한 관심도가 증가하는 추세에서 음식 촬영을 통한 칼로리 측정이 이루어지며, 음식의 인식 및 분류에 의해 칼로리를 측정하는 어플리케이션이 사용되고 있다.
또한, 음식물의 정량은 카메라와 음식물 간의 거리를 카메라가 초점을 맞출 때 사용되는 데이터를 기반으로 측정하며, 식단 관리하는데 활용될 수 있으며, 당뇨병 환자들의 식단 관리에 초점을 맞추어 섭식 기록 기능 등을 제공한다.
그러나, 기존의 음식 촬영을 통한 칼로리 측정 방식은 음식의 분류 기능만을 제공하고, 음식의 부피 측량의 경우 사용자의 직접 입력, 카메라의 렌즈 포커스 데이터 활용 등의 방법이 사용되었으나, 부피 측정의 정확도가 떨어지고, 사용하기 불편한 문제점 등이 있었으므로, 기존 메커니즘과는 다른 새로운 부피 산출 알고리즘에 대한 방법이 제시될 필요성이 있다.
따라서, 최근 스마트폰 시장의 깊이 카메라 탑재 동향을 고려하여 이러한 깊이 카메라 기술을 활용한 부피 측량 방식을 활용하고,'측정 자동화'에 초점을 두고, 기존 칼로리 측정 어플리케이션들과 같이 음식 분류를 위한 AI 모델 설계와 상기한 깊이 카메라를 활용하기 위한 추가적인 세그멘테이션 및 깊이정보를 이용한 부피 산출 방식을 활용한 칼로리 측정 시스템 및 방법에 대한 연구가 필요하게 되었다.
한국공개특허 제10-2014-0077009호(2014년06월23일 공개)
본 발명의 목적은 3차원 공간의 정보를 얻어내는 깊이 카메라의 메커니즘과 AI를 통한 대상의 분리 및 식별을 활용하여 음식 종류를 특정하고, 깊이정보를 활용하여 해당 음식에 대한 부피를 계산한 다음, 음식의 부피에 따른 칼로리를 산출할 수 있는 칼로리 측정 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 칼로리 측정용 휴대디바이스는, 촬영부를 구비하여 음식을 대상으로 음식 이미지를 획득 가능한 휴대디바이스에 있어서, 상기 획득된 음식 이미지에서 인공지능 알고리즘 기반의 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 클래시피케이션을 이용하여 음식영역의 음식 종류를 판단하며, 판단된 해당 음식에 대해 부피(음식량)를 산출하여, 기저장된 해당 음식의 부피당 칼로리정보를 이용하여 부피에 따른 칼로리정보를 산출하는 것을 특징으로 한다.
상기 휴대디바이스는 음식을 촬영하여 음식 이미지를 획득하고, 음식의 깊이정보를 계산하기 위한 깊이 카메라를 포함하는 촬영부; 상기 음식 이미지로부터 인공지능 학습 알고리즘 기반의 세그멘테이션의 영역 구분 학습 데이터셋을 이용하여 학습하고, 학습결과로 음식영역과 비음식영역을 구분하며, 이미지 클래시피케이션의 음식 분류 학습 데이터셋을 이용하여 학습하고 학습결과로 상기 음식영역에 위치한 해당 음식의 음식 종류를 판단하는 분석부; 상기 깊이정보를 이용하여 음식의 부피를 계산할 수 있으며, 계산된 음식의 부피와 기저장된 해당 음식의 단위부피당 칼로리를 이용하여 해당 음식의 부피(음식량)에 따른 칼로리 정보를 산출하는 산출부; 상기 촬영부로부터 획득된 음식 이미지를 분석부에 제공하여, 음식 이미지로부터 인공지능 학습 알고리즘을 이용하여 특정 음식을 판단하고, 음식에 대한 깊이정보를 활용하여 부피 계산이 가능하도록 분석부에 명령하거나, 상기 산출부에서 부피정보를 기반으로 해당 음식에 대한 칼로리를 산출하도록 명령하는 제어부를 포함한다.
상기 휴대디바이스는, 통신망을 통하여 연결된 관리서버와 데이터를 송수신하는 통신부; 상기 산출부에 의해 계산된 음식의 부피에 따른 칼로리 정보를 표시하여 사용자에게 제공하는 표시부;를 더 포함한다.
상기 영역 구분 학습 데이터셋, 음식 분류 학습 데이터셋 및 단위부피당 칼로리 정보는 상기 관리서버에 저장되고, 상기 통신부에 의해 전송받는 것을 특징으로 한다.
상기 산출부는 상기 깊이정보와 상기 구분된 음식영역을 이용하여 음식 픽셀 높이, 가로 길이, 깊이 비율 및 픽셀 영역 넓이를 산출하고, 음식 픽셀 높이, 가로 길이, 깊이 비율 및 픽셀 영역 넓이를 이용하여 해당 음식 픽셀 부피를 계산하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 칼로리 측정 시스템은, 음식을 촬영하여 음식 이미지를 획득하고, 음식 이미지를 전송하는 휴대디바이스; 통신망을 통하여 상기 휴대디바이스와 연결되어 상기 음식 이미지를 전송받고, 상기 획득된 음식 이미지에서 인공지능 알고리즘 기반의 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 클래시피케이션을 이용하여 음식영역의 음식 종류를 판단하며, 판단된 해당 음식에 대해 부피(음식량)를 산출하여, 기저장된 해당 음식의 부피당 칼로리정보를 이용하여 부피에 따른 칼로리정보를 산출하는 관리서버;를 포함한다.
상기 관리서버는 상기 음식 이미지를 상기 휴대디바이스로부터 전송받는 수집부; 상기 음식 이미지로부터 이미지 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 음식영역에 위치한 해당 음식이 어떤 음식인지 판단하도록 하는 음식 종류를 판단하는 음식분석부; 깊이 카메라 또는 깊이정보 산출 알고리즘을 이용하여 음식 이미지로부터 깊이정보를 산출하고, 산출된 깊이정보를 이용하여 음식의 부피를 계산하고, 부피에 따른 음식 칼로리정보가 계산하는 칼로리산출부; 상기 휴대디바이스를 통하여 사용자가 요청한 음식에 대한 음식 부피에 따른 칼로리 정보를 수집하여 통계정보로서, 데이터베이스에 음식별, 사용자별로 카테고리화하여 분류되어 저장할 수 있으며, 휴대디바이스에서 사용자 요청시 해당 통계정보를 제공하는 통계학습부를 더 포함한다.
본 발명의 일 실시예에 따른 칼로리 측정 방법은, 촬영부(110)를 구비하여 음식 이미지를 획득하는 휴대디바이스와 통신망을 통하여 연결되는 관리서버를 이용한 칼로리 측정 방법에 있어서, 상기 휴대디바이스의 촬영부(110)를 통하여 음식 이미지를 촬영하여 획득하고, 상기 관리서버로 전송하는 단계; 상기 휴대디바이스 또는 관리서버는 세그멘테이션의 영역 구분 학습 데이터셋을 이용하여 학습하고, 학습결과로 음식 이미지의 음식영역과 비음식 영역을 구분하는 단계; 상기 휴대디바이스 또는 관리서버는 음식 이미지로부터 이미지 클래시피케이션의 음식 분류 학습 데이터셋을 이용하여 학습하고 학습결과로 상기 음식영역에 위치한 해당 음식의 음식 종류를 판단하는 단계; 상기 휴대디바이스 또는 관리서버는 해당 음식의 부피를 계산하기 위해 깊이 카메라를 사용하여 입력 이미지 픽셀별 깊이 정보 산출하는 단계; 상기 휴대디바이스 또는 관리서버는 세그멘테이션 결과와 깊이 정보를 이용하여 부피 측정 알고리즘을 통해 음식의 부피를 계산하는 단계; 상기 휴대디바이스 또는 관리서버는 클래시피케이션 결과와 부피 그리고 부피당 칼로리 정보를 이용해 음식의 칼로리를 계산하는 단계; 를 포함한다.
상기에 있어서, 상기 관리서버는 계산된 칼로리정보를 휴대디바이스로 전송하는 단계; 상기 휴대디바이스의 표시부를 통해 사용자가 확인 가능하도록 표시되는 단계;를 더 포함한다.
본 발명의 칼로리 측정 시스템은 깊이 카메라와, 인공지능 학습 알고리즘을 통한 대상의 분리 및 식별을 활용하여 이를 음식의 칼로리 산출에 적용할 수 있다.
또한, 기존 2차원적인 이미지와 사용자의 직접적인 용량의 입력으로만 칼로리를 산출해내던 음식 칼로리 측정 방식에 비해, 세그멘테이션에 의한 음식 영역 구분 및 깊이정보에 기반하여 부피를 측정하며, 부피별 음식 칼로리를 측정하므로 더 정확하고 편리한 측정이 가능한 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 칼로리 측정 시스템의 구성을 보인 블록도이다.
도 2는 도 1에 도시된 휴대디바이스의 세부 구성을 보인 블록도이다.
도 3은 도 1의 관리서버의 세부 구성을 보인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 칼로리 측정 방법의 순서도이다.
도 5는 인공지능 학습 모델을 통한 세그멘테이션(Segmentation)화 한 예시를 보여주는 도면이다.
도 6은 깊이카메라를 이용한 음식 이미지에서 부피 계산하는 방법을 설명하기 위한 도면이다.
도 7은 칼로리 관리 앱을 이용한 측정결과 화면을 예시적으로 보여주는 도면이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 칼로리 측정 시스템의 구성을 보인 블록도이며, 도 2는 도 1에 도시된 휴대디바이스의 세부 구성을 보인 블록도이며, 도 3은 도 1의 관리서버의 세부 구성을 보인 블록도이다.
본 발명의 일 실시예에 따른 휴대디바이스(100)는 음식을 촬영하여, 음식 이미지를 획득하고, 획득된 음식 이미지에서 인공지능 알고리즘 기반의 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 클래시피케이션(Classification)을 이용하여 음식영역의 음식 종류를 판단하며, 판단된 해당 음식에 대해 부피(음식량)를 산출하여, 부피에 따른 칼로리정보를 산출할 수 있다. 이를 위해 음식 종류를 판단 및 분류하기 위한 학습 데이터셋이 저장될 수 있다.
이를 위해 휴대디바이스(100)는 도 2에 도시된 바와 같이, 촬영부(110), 제어부(120), 분석부(130), 산출부(140), 통신부(150), 표시부(160)를 더 포함한다.
촬영부(110)는 음식을 대상으로 촬영하여 RGB 영상 형태의 음식이미지를 촬영하며, 부피 산출을 위한 깊이정보를 계산하기 위해 깊이 카메라를 더 포함하며, 예컨대 RGB-D(Depth) 카메라, 3D-Depth 카메라 등이 될 수 있다.
즉, 휴대디바이스(100)는 깊이 카메라를 내장할 수 있으며, 내장된 깊이 카메라를 이용하여 자체적으로 음식 이미지로부터 깊이 정보를 추출하여 부피별 칼로리 측정이 가능하도록 구현할 수도 있다. 이를 위해 휴대디바이스(100) 내에는 깊이 카메라가 내장되거나, 깊이 정보 추출 알고리즘이 프로그래밍되어 내장될 수 있으며, 상술한 칼로리 관리 앱 내에서 구현될 수도 있다.
또한 음식 이미지에서 특정 음식을 구분하게 되면 해당 음식에 대한 칼로리 정보를 알기 위해 관리서버(200)에 기저장된 음식별 칼로리 정보를 제공받아 해당 음식의 부피별 칼로리를 산출할 수 있다. 부피에 따른 칼로리 산출에 대해서는 후술하여 자세히 설명하기로 한다.
제어부(120)는 디바이스에 수행되는 기능들을 제어하기 위한 명령을 하달할 수 있으며, 구체적으로 촬영부(110)로부터 획득된 음식 이미지를 분석부(130)에 제공하여, 음식 이미지로부터 인공지능 학습 알고리즘을 이용하여 특정 음식을 판단하고, 음식에 대한 깊이정보를 활용하여 부피 계산이 가능하도록 분석부(130)에 명령하거나, 산출부(140)에서 부피정보를 기반으로 해당 음식에 대한 칼로리 산출하도록 명령하거나, 산출된 음식 칼로리를 표시부(160)에 표시하도록 명령할 수 있다. 제어부(120)는 예컨대, 아두이노보드, 라즈베리 파이 등과 같은 통합 MCU가 될 수 있다.
분석부(130)는 음식 이미지로부터 이미지 클래시피케이션을 이용하여 음식영역에 위치한 해당 음식이 어떤 음식인지 판단하도록 하는 음식종류 판단 기능을 수행할 수 있다.
여기서, 음식 종류 판단을 위해 사용되는 클래시피케이션은 입력변수에 대해 하나의 레이블을 예측하는 것으로 입력된 데이터가 이미지가 될 경우, 해당 이미지가 어떤 클래스에 속하는 지를 판별할 수 있는 인공지능 기반 학습 알고리즘이며, 이를 위한 학습 데이터로서, 미리 음식 종류별 기준 음식 이미지에 대한 음식 분류 학습 데이터셋이 별도의 데이터베이스에 저장되어 관리될 수 있다.
또한, 음식영역과 비음식영역(예: 배경이나 접시와 같은 부분)을 구분하기 위해 CNN과 같은 인공지능 기반 학습 알고리즘을 이용한 세그멘테이션 기법을 활용할 수 있으며, 세그멘테이션은 사진 이미지를 구성하고 있는 모든 픽셀들을 미리 지정된 개수의 class 레이블로 분류하는 AI 기법으로 이를 통해 영역 구분 학습 데이터셋이 저장되어 학습된 후, 촬영된 이미지 안에 있는 대상들을 음식 영역을 구분하여 분류해낼 수 있으며, 이와 같은 세그멘테이션 과정을 거쳐 영역을 구분한 예시를 도 6에 도시하고 있다.
나아가 음식영역과 비음식영역을 구분하기 위해 R-CNN, FAST-CNN, YOLO, SSD와 같은 객체 인식 알고리즘이 적용될 수 있으며, 이 또한 비음식영역을 구분하도록 학습을 위한 영역 구분 학습 데이터셋(기준 이미지 데이터)을 데이터베이스에 저장하여 학습시킬 수도 있다.
또한, 분석부(130)는 깊이 카메라를 사용하거나, 깊이 카메라에 의해 수행되는 깊이정보 산출 과정과 유사한 깊이정보 산출 알고리즘에 의해 촬영된 음식 이미지로부터 깊이정보를 산출할 수 있다.
여기서 깊이(Depth) 카메라는 사용자가 촬영하는 이미지의 깊이를 지각하여 3D공간 그 자체를 인지할 수 있는 기술이 적용되어 촬영 대상의 깊이감, 거리감, 크기감과 같은 3차원 깊이 정보를 얻어낼 수 있는 카메라이다.
또한 깊이카메라는 촬영되는 음식 이미지에서의 깊이 정보를 산출하기 위해 예를 들어, 스테레오 방식, 다수 카메라 배열 방식, 구조광 방식, TOF 방식, 라이다 방식, 레이저 방식 및 초음파 방식 중 적어도 하나의 방식을 이용하여 음식 이미지로부터 깊이 정보를 획득할 수 있다.
또한 다양한 환경에서 깊이 정보를 획득할 수 있는데, 예컨대 대상물로부터 근거리에 위치한 센서를 이용하여 깊이 정보를 획득하거나, 대상물로부터 원거리에 위치한 센서를 이용하여 깊이 정보를 획득할 수도 있다.
또한 산출부(140)는 깊이정보를 이용하여 음식의 부피를 계산할 수 있으며, 도 6을 참조하면, 깊이정보에 포함될 수 있는 음식 픽셀당 높이, 픽셀의 깊이 비율, 픽셀 영역 넓이 등을 이용하여 해당 음식 픽셀 부피를 계산할 수 있는 것이다.
즉, 촬영된 음식 이미지 상에 음식에 해당하는 음식 영역의 픽셀 길이(Hi)를 측정하고, 특정 음식 픽셀 영역에 대해서 넓이(PixelAreai)를 계산할 수 있다.
구체적으로 음식 픽셀 높이는 다음 수학식 1에 의해 구할 수 있다.
Figure 112020138842114-pat00001
여기서, Hi는 음식 픽셀 높이이고, D는 깊이 카메라에 의해 획득된 전체 깊이(높이)이고, Fi는 비음식 영역에 대한 높이이다.
또한 상기 D와 Fi를 이용하여 각 픽셀의 깊이 비율(Ratei)은 다음 수학식 2에 의해 구할 수 있다.
Figure 112020138842114-pat00002
또한 각 픽셀의 넓이(PixelAreai)는 다음 수학식 3에 의해 구할 수 있다.
Figure 112020138842114-pat00003
여기서 Ai 는 음식 영역의 가로 길이에 해당한다.
마지막으로, 각 음식 픽셀의 부피(V)는 다음 수학식 4에 의해 구할 수 있다.
Figure 112020138842114-pat00004
또한, 산출부(140)는 상기 수학식 4에 의해 계산된 음식 픽셀의 부피와 기저장된 해당 음식의 단위부피당 칼로리를 이용하여 해당 음식의 부피(음식량)에 따른 칼로리 정보를 산출할 수 있다. 여기서 단위부피당 칼로리 정보는 내부 메모리에 저장되거나 관리서버(200)의 데이터베이스에 저장될 수 있다.
통신부(150)는 통신망으로 통하여 관리서버(200)와 연계할 수 있으며, 관리서버(200)에 구축된 데이터베이스에 모든 음식에 대한 단위부피당 칼로리를 저장하는 경우, 이를 통신망을 통하여 전송받아 상기 산출부(140)에 제공할 수 있다.
표시부(160)는 산출부(140)에 의해 계산된 음식의 부피에 따른 칼로리 정보를 표시하여 사용자에게 제공할 수 있다.
또한 휴대디바이스(100)는 상술한 기능들을 제공하기 위해 관리서버(200)에서 제공되거나 웹 상의 컨텐츠제공서버(CP)에서 제공될 수 있는 칼로리 관리 앱을 통하여 관리서버(200)와 연동하여 칼로리 정보를 제공받을 수 있다.
특히 표시부(160)에는 도 7에 도시된 바와 같이, 음식을 촬영하고(촬영 버튼), 사용자가 촬영한 음식이미지를 입력하고, 그 결과인 해당 음식의 부피별 칼로리정보를 표시할 수 있는 GUI(GRAPHIC USER INTERFACE)를 통하여 사용자에게 해당 칼로리정보를 제공할 수 있다.
본 발명의 일 실시예에 따른 칼로리 측정 시스템은, 상술한 칼로리 측정을 위한 휴대디바이스(100)와, 휴대디바이스(100)가 통신망을 통하여 접속되는 관리서버(200)를 포함한다.
칼로리 측정 시스템에서 휴대디바이스(100)는 음식 이미지를 촬영하고, 분석된 칼로리 정보를 표시하는 기능만을 제공하고, 관리서버(200)에 의해 음식 이미지로부터 음식 종류 판단 및 해당 음식의 부피에 따른 칼로리 분석이 수행될 수 있다.
이를 위해 휴대디바이스(100)에는 음식 이미지를 획득할 수 있는 카메라 형태의 촬영부(110)와, 음식 이미지를 관리서버(200)로 전송하고, 이미지 분석에 의해 칼로리가 산출되면 해당 칼로리 정보를 전송받기 위해 상술한 제어부(120), 통신부(150) 및 표시부(160) 만을 포함할 수 있다.
관리서버(200)에는 휴대디바이스(100)로 제공되어 연동되는 모바일용 칼로리 관리 앱(application)을 통해, 음식 이미지를 제공받아 음식 이미지 분석 결과로 해당 음식의 칼로리 정보를 계산하여 제공하도록 구현될 수 있다.
관리서버(200)는 휴대디바이스(100)로부터 음식 이미지를 제공받아 음식 이미지의 분석을 통해 음식영역과 비음식영역(배경)을 구분하고, 음식영역에 대해 특정 음식을 판단하고, 특정 음식에 대한 부피를 산출하여 부피에 따른 해당 음식의 칼로리를 산출하고, 해당 음식의 칼로리 정보를 휴대디바이스(100)로 전송할 수 있다.
이를 위해 관리서버(200)는 도 2에 도시된 바와 같이, 수집부(210), 음식분석부(220), 칼로리산출부(230), 통계학습부(240) 및 데이터베이스(250)를 더 포함한다.
수집부(210)는 통신망을 통하여 상기 휴대디바이스(100)로부터 촬영된 음식 이미지를 전송받으며, 음식 이미지 학습이나 통계 자료로 활용하기 위해 데이터베이스(250)에 저장할 수 있다.
음식분석부(220)는 음식 이미지로부터 이미지 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 음식영역에 위치한 해당 음식이 어떤 음식인지 판단하도록 하는 음식종류 판단 기능을 수행할 수 있다.
나아가 음식영역과 비음식영역을 구분하기 위해 상술한 바와 같이 R-CNN, FAST-CNN, YOLO, SSD와 같은 객체 인식 알고리즘이 적용될 수 있으며, 이 또한 비음식영역을 구분하도록 학습을 위한 학습 데이터 셋(기준 데이터)을 데이터베이스(250)에 저장하여 학습시킬 수도 있다.
또한 칼로리산출부(230)는 깊이 카메라를 사용하거나, 깊이 카메라와 같은 깊이정보 산출 알고리즘에 의해 음식 이미지로부터 깊이정보를 산출할 수 있다. 또한 깊이정보를 이용하여 음식의 부피를 계산하고, 부피에 따른 음식 칼로리정보가 계산될 수 있으며, 상술한 바와 같이, 네트워크상에 구현될 뿐 휴대디바이스(100)의 산출부(140)의 기능과 같이 동일하게 수행되므로, 중복되는 구체적 설명은 생략하기로 한다.
또한 칼로리산출부(230)에서 산출된 부피(음식 중량)별 음식 칼로리 정보는 통신망을 통하여 휴대디바이스(100)에 전송되어 사용자가 확인할 수 있도록 제공된다.
통계학습부(240)는 휴대디바이스(100)를 통하여 사용자가 요청한 음식에 대한 음식 부피에 따른 칼로리 정보를 수집하여 통계정보로서, 데이터베이스(250)에 음식별, 사용자별로 카테고리화하여 분류되어 저장할 수 있으며, 휴대디바이스(100)에서 사용자 요청시 해당 통계정보를 제공할 수 있도록 한다.
또한, 통계학습부(240)는 수집된 통계정보를 기반으로 인공지능 학습 알고리즘을 이용하여 사용자 패턴을 학습시킬 수 있다.
또한 사용자가 요청한 음식 이미지 칼로리 정보 요청 패턴에 따라 특정 음식을 비추천하거나 대체 음식을 추천하는 데 활용될 수 있다.
예컨대 사용자가 제공한 음식 이미지 중에서 특정 음식에 대한 이미지에 대한 칼로리 정보가 많이 요청된 경우, 해당 음식의 칼로리가 높은 경우, 비슷한 종류의 칼로리가 낮은 음식을 추천해주거나, 균형있는 식사를 위한 다른 음식을 추천하는 등 학습된 데이터를 기반으로 해당 사용자에게 음식 추천 자료로 활용시킬 수 있다.
이를 통해 단순히 사용자가 요청한 칼로리 정보들에 대한 통계만을 제공하는 것이 아니라, 특정 음식의 소비를 억제하거나 권장하기 위한 추천 자료로 제공할 수 있으며, 이때 사용되는 인공지능 학습 알고리즘은 예컨대 서포트벡터머신(SVM), 합성곱신경망(CNN), 순환신경망(RNN) 등이 사용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 칼로리 측정 방법의 순서도이다.
먼저 휴대디바이스(100)의 촬영부(110)를 통하여 음식 이미지를 촬영한다(S100).
촬영된 음식 이미지는 상술한 두 실시예에서와 같이, 휴대디바이스(100) 또는 관리서버(200)에서 클래시피케이션 및 세그멘테이션 과정을 통해 부피에 따른 음식 칼로리 정보를 산출할 수 있다(S102).
휴대디바이스(100) 또는 관리서버(200)는, 음식 이미지로부터 이미지 클래시피케이션을 이용하여 음식영역에 위치한 해당 음식이 어떤 음식인지 판단하도록 하는 음식종류 판단하고, 자동 음식 분류를 수행한다(S104).
다음, 세그멘테이션을 이용한 데이터셋을 통해 음식 이미지의 음식(foreground) 영역과 비음식(background) 영역을 구분한다(S106).
해당 음식의 부피를 계산하기 위해 깊이카메라를 사용하여 입력 이미지 픽셀별 실제 깊이 정보 산출한다(S108).
이제 상기 S106 단계의 세그멘테이션 결과와 S108 단계의 깊이 정보를 이용하여 부피 측정 알고리즘을 통해 음식의 부피를 계산한다(S110).
또한, S104 단계의 클래시피케이션 결과와 S110 단계에서 얻은 부피 그리고 부피 당 칼로리 정보를 이용해 음식의 칼로리를 계산한다(S112).
계산된 칼로리정보는 휴대디바이스(100)로 전송되어 휴대디바이스(100)의 표시부(160)를 통해 사용자가 확인 가능하도록 표시된다.
본 명세서에서 ‘휴대디바이스’는 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘휴대디바이스’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다.
또한, 통신망은 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
100 ; 휴대디바이스
110 ; 촬영부
120 ; 제어부
130 ; 분석부
140 ; 산출부
150 ; 통신부
160 ; 표시부
200 ; 관리서버
210 ; 수집부
220 ; 음식분석부
230 ; 칼로리산출부
240 ; 통계학습부
250 ; 데이터베이스

Claims (10)

  1. 촬영부를 구비하여 음식을 대상으로 음식 이미지를 획득 가능한 휴대디바이스에 있어서,
    상기 획득된 음식 이미지에서 인공지능 알고리즘 기반의 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 클래시피케이션을 이용하여 음식영역의 음식 종류를 판단하며, 판단된 해당 음식에 대해 부피(음식량)를 산출하여, 기저장된 해당 음식의 부피당 칼로리정보를 이용하여 부피에 따른 칼로리정보를 산출하는 것을 특징으로 하며,
    상기 휴대디바이스는
    음식을 촬영하여 음식 이미지를 획득하고, 음식의 깊이정보를 계산하기 위한 깊이 카메라를 포함하는 촬영부;
    상기 음식 이미지로부터 인공지능 학습 알고리즘 기반의 세그멘테이션의 영역 구분 학습 데이터셋을 이용하여 학습하고, 학습결과로 음식영역과 비음식영역을 구분하며, 이미지 클래시피케이션의 음식 분류 학습 데이터셋을 이용하여 학습하고 학습결과로 상기 음식영역에 위치한 해당 음식의 음식 종류를 판단하는 분석부;
    상기 깊이정보를 이용하여 음식의 부피를 계산할 수 있으며, 계산된 음식의 부피와 기저장된 해당 음식의 단위부피당 칼로리를 이용하여 해당 음식의 부피(음식량)에 따른 칼로리 정보를 산출하는 산출부;
    상기 촬영부로부터 획득된 음식 이미지를 분석부에 제공하여, 음식 이미지로부터 인공지능 학습 알고리즘을 이용하여 특정 음식을 판단하고, 음식에 대한 깊이정보를 활용하여 부피 계산이 가능하도록 분석부에 명령하거나, 상기 산출부에서 부피정보를 기반으로 해당 음식에 대한 칼로리를 산출하도록 명령하는 제어부;를 포함하며,
    상기 산출부는
    상기 깊이정보와 상기 구분된 음식영역을 이용하여 음식 픽셀 높이, 가로 길이, 깊이 비율 및 픽셀 영역 넓이를 산출하고, 음식 픽셀 높이, 가로 길이, 깊이 비율 및 픽셀 영역 넓이를 이용하여 해당 음식 픽셀 부피를 계산하는 것을 특징으로 하며,
    상기 산출부는 다음 수학식 1에 의해 음식 픽셀 높이를 산출하며,
    Figure 112022038306345-pat00012
    (수학식 1)
    (여기서, Hi는 음식 픽셀 높이이고, D는 깊이 카메라에 의해 획득된 전체 깊이(높이)이고, Fi는 비음식 영역에 대한 높이이다.)
    다음 수학식 2에 의해 상기 D와 Fi를 이용하여 각 픽셀의 깊이 비율(Ratei)을 산출하며,
    Figure 112022038306345-pat00013
    (수학식 2)
    다음 수학식 3에 의해 각 픽셀의 넓이(PixelAreai)를 산출하며,
    Figure 112022038306345-pat00014
    (수학식 3)
    (여기서 Ai 는 음식 영역의 가로 길이에 해당한다.)
    다음 수학식 4에 의해 각 음식 픽셀의 부피(V)를 산출하며,
    Figure 112022038306345-pat00015
    (수학식 4)
    산출부는 상기 수학식 4에 의해 계산된 음식 픽셀의 부피와 기저장된 해당 음식의 단위부피당 칼로리를 이용하여 해당 음식의 부피에 따른 칼로리 정보를 산출하는 것을 특징으로 하는 휴대디바이스.
  2. 삭제
  3. 제1항에 있어서,
    통신망을 통하여 연결된 관리서버와 데이터를 송수신하는 통신부;
    상기 산출부에 의해 계산된 음식의 부피에 따른 칼로리 정보를 표시하여 사용자에게 제공하는 표시부;
    를 더 포함하는 휴대디바이스.
  4. 제3항에 있어서,
    상기 영역 구분 학습 데이터셋, 음식 분류 학습 데이터셋 및 단위부피당 칼로리 정보는
    상기 관리서버에 저장되고, 상기 통신부에 의해 전송받는 것을 특징으로 하는 휴대디바이스.
  5. 삭제
  6. 음식을 촬영하여 음식 이미지를 획득하고, 음식 이미지를 전송하는 청구항 제1항, 제3항 내지 제4항 중 어느 한 항의 휴대디바이스;
    통신망을 통하여 상기 휴대디바이스와 연결되어 상기 음식 이미지를 전송받고, 상기 획득된 음식 이미지에서 인공지능 알고리즘 기반의 세그멘테이션을 이용하여 음식영역과 비음식영역을 구분하고, 클래시피케이션을 이용하여 음식영역의 음식 종류를 판단하며, 판단된 해당 음식에 대해 부피(음식량)를 산출하여, 기저장된 해당 음식의 부피당 칼로리정보를 이용하여 부피에 따른 칼로리정보를 산출하는 관리서버;
    를 포함하는 칼로리 측정 시스템.
  7. 제6항에 있어서,
    상기 관리서버는
    상기 음식 이미지를 상기 휴대디바이스로부터 전송받는 수집부;
    상기 음식 이미지로부터 이미지 클래시피케이션을 이용하여 음식영역과 비음식영역을 구분하고, 음식영역에 위치한 해당 음식이 어떤 음식인지 판단하도록 하는 음식 종류를 판단하는 음식분석부;
    깊이 카메라 또는 깊이정보 산출 알고리즘을 이용하여 음식 이미지로부터 깊이정보를 산출하고, 산출된 깊이정보를 이용하여 음식의 부피를 계산하고, 부피에 따른 음식 칼로리정보가 계산하는 칼로리산출부;
    상기 휴대디바이스를 통하여 사용자가 요청한 음식에 대한 음식 부피에 따른 칼로리 정보를 수집하여 통계정보로서, 데이터베이스에 음식별, 사용자별로 카테고리화하여 분류되어 저장할 수 있으며, 휴대디바이스에서 사용자 요청시 해당 통계정보를 제공하는 통계학습부
    를 더 포함하는 칼로리 측정 시스템.
  8. 촬영부를 구비하여 음식 이미지를 획득하는 청구항 제1항, 제3항 내지 제4항 중 어느 한 항의 휴대디바이스와 통신망을 통하여 연결되는 관리서버를 이용한 칼로리 측정 방법에 있어서,
    상기 휴대디바이스의 촬영부를 통하여 음식 이미지를 촬영하여 획득하고, 상기 관리서버로 전송하는 단계;
    상기 휴대디바이스 또는 관리서버는 세그멘테이션의 영역 구분 학습 데이터셋을 이용하여 학습하고, 학습결과로 음식 이미지의 음식영역과 비음식 영역을 구분하는 단계;
    상기 휴대디바이스 또는 관리서버는 음식 이미지로부터 이미지 클래시피케이션의 음식 분류 학습 데이터셋을 이용하여 학습하고 학습결과로 상기 음식영역에 위치한 해당 음식의 음식 종류를 판단하는 단계;
    상기 휴대디바이스 또는 관리서버는 해당 음식의 부피를 계산하기 위해 깊이 카메라를 사용하여 입력 이미지 픽셀별 깊이 정보 산출하는 단계;
    상기 휴대디바이스 또는 관리서버는 세그멘테이션 결과와 깊이 정보를 이용하여 부피 측정 알고리즘을 통해 음식의 부피를 계산하는 단계;
    상기 휴대디바이스 또는 관리서버는 클래시피케이션 결과와 부피 그리고 부피당 칼로리 정보를 이용해 음식의 칼로리를 계산하는 단계;
    를 포함하는 칼로리 측정 방법.
  9. 제8항에 있어서,
    상기 관리서버는 계산된 칼로리정보를 휴대디바이스로 전송하는 단계;
    상기 휴대디바이스의 표시부를 통해 사용자가 확인 가능하도록 표시되는 단계;
    를 더 포함하는 칼로리 측정 방법.
  10. 제8항의 칼로리 측정 방법을 수행하는 컴퓨터에서 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020200179719A 2020-12-21 2020-12-21 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법 KR102457237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200179719A KR102457237B1 (ko) 2020-12-21 2020-12-21 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200179719A KR102457237B1 (ko) 2020-12-21 2020-12-21 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220089258A KR20220089258A (ko) 2022-06-28
KR102457237B1 true KR102457237B1 (ko) 2022-10-19

Family

ID=82268436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179719A KR102457237B1 (ko) 2020-12-21 2020-12-21 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102457237B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200497967Y1 (ko) 2023-04-17 2024-04-30 (주)일신시큐리티 잔반량 모니터링을 통한 통합 식수 관리 시스템
KR102710513B1 (ko) 2023-11-29 2024-09-25 조형기 인공지능을 이용한 음식의 칼로리 및 영양성분 섭취량 측정 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375018B1 (ko) 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180110443A (ko) * 2017-03-29 2018-10-10 서울대학교산학협력단 열량 정보 제공 장치 및 방법
KR102488997B1 (ko) * 2019-04-29 2023-01-16 주식회사 누비랩 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375018B1 (ko) 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이은창, et al. "다양한 머신 러닝 기법들을 활용한 음식 사진의 분류 방안." 한국정보과학회 학술발표논문집 (2019): 1486-1488.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200497967Y1 (ko) 2023-04-17 2024-04-30 (주)일신시큐리티 잔반량 모니터링을 통한 통합 식수 관리 시스템
KR102710513B1 (ko) 2023-11-29 2024-09-25 조형기 인공지능을 이용한 음식의 칼로리 및 영양성분 섭취량 측정 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20220089258A (ko) 2022-06-28

Similar Documents

Publication Publication Date Title
WO2020192471A1 (zh) 一种图像分类模型训练的方法、图像处理的方法及装置
JP6431231B1 (ja) 撮像システム、学習装置、および撮像装置
KR101457284B1 (ko) 콘텐츠 기반 이미지 검색을 가능하게 하는 방법 및 장치
US10110868B2 (en) Image processing to determine center of balance in a digital image
AU2021201933B2 (en) Hierarchical multiclass exposure defects classification in images
US8953895B2 (en) Image classification apparatus, image classification method, program, recording medium, integrated circuit, and model creation apparatus
KR102457237B1 (ko) 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법
KR101074678B1 (ko) 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109117760B (zh) 图像处理方法、装置、电子设备和计算机可读介质
Yin et al. Socialized mobile photography: Learning to photograph with social context via mobile devices
KR100956159B1 (ko) 라이프로그 장치 및 정보 자동 태그 입력 방법
CN108009588A (zh) 定位方法及装置、移动终端
US20210012503A1 (en) Apparatus and method for generating image
CN103530649A (zh) 一种适用于移动终端的视觉搜索方法
Wang et al. Multi-spectral dataset and its application in saliency detection
CN108229289B (zh) 目标检索方法、装置和电子设备
KR20140089729A (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
CN111699478A (zh) 图像检索装置、图像检索方法、电子设备及其控制方法
Liu et al. Recognizable or not: Towards image semantic quality assessment for compression
US20220159177A1 (en) Imaging system, server, communication terminal, imaging method, program, and recording medium
WO2018192244A1 (zh) 一种智能设备的拍摄引导方法
US20200092484A1 (en) Image display control apparatus, image display control method, program, and recording medium
KR102505705B1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant