KR20180110443A - 열량 정보 제공 장치 및 방법 - Google Patents

열량 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR20180110443A
KR20180110443A KR1020170039986A KR20170039986A KR20180110443A KR 20180110443 A KR20180110443 A KR 20180110443A KR 1020170039986 A KR1020170039986 A KR 1020170039986A KR 20170039986 A KR20170039986 A KR 20170039986A KR 20180110443 A KR20180110443 A KR 20180110443A
Authority
KR
South Korea
Prior art keywords
image
partial
food
dimensional image
calorie
Prior art date
Application number
KR1020170039986A
Other languages
English (en)
Inventor
이동헌
김희찬
윤형진
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020170039986A priority Critical patent/KR20180110443A/ko
Publication of KR20180110443A publication Critical patent/KR20180110443A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 열량 정보 제공 장치 및 방법에 관한 것이다. 이미지 내의 요리에 복수의 음식이 존재하는 경우에 각각 종류를 판별하고 판별된 종류에 따라 부피를 추정하여 음식별로 칼로리를 계산한 후 합산하여 요리의 총 칼로리를 계산한다. 그러므로, 이미지 내에 복수의 음식이 존재하는 경우에도 칼로리를 정확히 측정할 수 있다. 더욱이, 3차원 이미지를 이용하여 음식의 부피를 추정하고 판별된 음식의 종류에 따라 음식의 무게를 계산한 후에 칼로리를 계산함으로써, 칼로리를 더욱 정확히 측정할 수 있다.

Description

열량 정보 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING CALORIE INFORMATION}
본 발명은 요리의 칼로리 정보를 제공하거나 이를 이용하여 에너지 대사에 대한 정보를 제공하는 열량 정보 제공 장치 및 방법에 관한 것이다.
종래 기술로서, 공개특허공보 제10-2010-0087551에 개시된 "사용자의 행동 분류에 따른 칼로리 균형 계산 장치"는 가속도 센서로 측정한 가속도 데이터를 통해 사용자의 행동을 인식하여 사용자의 칼로리 소비량을 측정하고, 카메라로 촬영한 음식물의 영상을 통해 음식물을 인식하여 사용자의 칼로리 섭취량을 측정하여, 칼로리 균형을 계산한다.
그러나, 촬영된 이미지 내에 복수의 음식이 존재하는 경우에 대한 고려가 없었을 뿐만 아니라 음식의 부피를 추정하지 못하기 때문에 칼로리를 정확히 측정할 수 없는 문제점이 있었다.
본 발명은 이미지 내의 요리에 복수의 음식이 존재하는 경우에 음식별로 종류를 판별하고 판별된 종류에 따라 부피를 추정하여 음식별로 칼로리를 계산한 후 합산한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점으로서 열량 정보 제공 장치에서 수행되는 열량 정보 제공 방법은, 요리를 포함하는 이미지를 획득하는 단계와, 상기 이미지와 사전에 학습된 음식 이미지를 비교해 상기 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별하는 단계와, 상기 복수의 음식별로 상기 이미지를 구획하여 복수의 부분 이미지를 획득하는 단계와, 상기 복수의 부분 이미지에 포함된 상기 복수의 음식 각각에 대해 부피를 추정하는 단계와, 상기 판별된 종류와 상기 추정된 부피를 기초로 하여 상기 복수의 음식 각각에 대해 무게를 계산하는 단계와, 상기 계산된 무게와 상기 판별된 종류를 기초로 상기 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 상기 요리의 총 칼로리를 계산하는 단계와, 상기 계산된 총 칼로리를 이용한 정보를 제공하는 단계를 포함할 수 있다.
상기 열량 정보 제공 방법은 상기 열량 정보 제공 장치를 착용한 사용자의 운동량에 대응한 칼로리 소모량을 계산하는 단계를 더 포함할 수 있으며, 상기 정보를 제공하는 단계는, 상기 요리의 총 칼로리와 상기 칼로리 소모량을 이용하여 에너지 대사에 대한 정보를 제공할 수 있다.
상기 열량 정보 제공 방법의 상기 이미지를 획득하는 단계는, 상기 요리를 촬영하여 3차원 이미지를 획득하는 단계를 더 포함할 수 있으며, 상기 부분 이미지를 획득하는 단계는, 상기 3차원 이미지를 2차원 이미지로 변환한 후에 상기 2차원 이미지를 구획하여 부분 2차원 이미지를 획득할 수 있다.
상기 열량 정보 제공 방법의 상기 부피를 추정하는 단계는, 상기 부분 2차원 이미지에 대응하는 상기 3차원 이미지의 부분 영역을 이용할 수 있다.
상기 열량 정보 제공 방법의 상기 이미지를 획득하는 단계는, 상기 요리를 여러 각도에서 촬영하여 복수의 2차원 이미지를 획득하는 단계를 더 포함할 수 있으며, 상기 부분 이미지를 획득하는 단계는, 상기 복수의 2차원 이미지를 각각 구획하여 복수의 부분 2차원 이미지를 획득할 수 있다.
상기 열량 정보 제공 방법의 상기 부피를 추정하는 단계는, 상기 복수의 부분 2차원 이미지에서 상기 음식의 윤곽선을 추출하는 단계와, 상기 추출된 윤곽선을 이용해 상기 복수의 부분 2차원 이미지로부터 상기 음식의 부분 3차원 이미지를 생성하여 상기 부분 3차원 이미지를 이용해 상기 음식의 부피를 추정하는 단계를 포함할 수 있다.
본 발명의 다른 관점으로서 열량 정보를 제공하는 장치는, 제어부와, 상기 제어부에 의한 실행시에, 단계들을 수행하는 컴퓨터 실행가능 명령어가 저장된 저장부와, 상기 제어부의 제어에 따라 정보를 출력하는 출력부를 포함하되, 상기 단계들은, 요리를 포함하는 이미지를 획득하는 단계와, 상기 이미지와 사전에 학습된 음식 이미지를 비교해 상기 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별하는 단계와, 상기 복수의 음식별로 상기 이미지를 구획하여 복수의 부분 이미지를 획득하는 단계와, 상기 복수의 부분 이미지에 포함된 상기 복수의 음식 각각에 대해 부피를 추정하는 단계와, 상기 판별된 종류와 상기 추정된 부피를 기초로 하여 상기 복수의 음식 각각에 대해 무게를 계산하는 단계와, 상기 계산된 무게와 상기 판별된 종류를 기초로 상기 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 상기 요리의 총 칼로리를 계산하는 단계와, 상기 계산된 총 칼로리를 이용한 정보가 상기 출력부를 통해 출력되도록 하는 단계를 포함할 수 있다.
상기 컴퓨터 실행가능 명령어가 수행하는 단계들은, 상기 열량 정보를 제공하는 장치를 착용한 사용자의 운동량에 대응한 칼로리 소모량을 계산하는 단계를 더 포함할 수 있으며, 상기 출력부로는, 상기 요리의 총 칼로리와 상기 칼로리 소모량을 이용한 에너지 대사에 대한 정보가 출력될 수 있다.
상기 열량 정보 제공 장치는 상기 요리를 촬영하여 3차원 이미지를 획득하는 촬영부를 더 포함할 수 있으며, 상기 부분 이미지를 획득하는 단계는, 상기 3차원 이미지를 2차원 이미지로 변환한 후에 상기 2차원 이미지를 구획하여 부분 2차원 이미지를 획득할 수 있다.
상기 부피를 추정하는 단계는, 상기 부분 2차원 이미지에 대응하는 상기 3차원 이미지의 부분 영역을 이용할 수 있다.
상기 열량 정보 제공 장치는 상기 요리를 여러 각도에서 촬영하여 복수의 2차원 이미지를 획득하는 촬영부를 더 포함할 수 있으며, 상기 부분 이미지를 획득하는 단계는, 상기 복수의 2차원 이미지를 각각 구획하여 복수의 부분 2차원 이미지를 획득할 수 있다.
상기 부피를 추정하는 단계는, 상기 복수의 부분 2차원 이미지에서 상기 음식의 윤곽선을 추출하는 단계와, 상기 추출된 윤곽선을 이용해 상기 복수의 부분 2차원 이미지로부터 상기 음식의 부분 3차원 이미지를 생성하여 상기 부분 3차원 이미지를 이용해 상기 음식의 부피를 추정하는 단계를 포함할 수 있다.
본 발명의 실시예에 의하면, 이미지 내의 요리에 복수의 음식이 존재하는 경우에 각각 종류를 판별하고 판별된 종류에 따라 부피를 추정한 후에 음식별로 칼로리를 계산 및 합산하여 요리의 총 칼로리를 계산한다. 그러므로, 이미지 내에 복수의 음식이 존재하는 경우에도 칼로리를 정확히 측정할 수 있다.
더욱이, 3차원 이미지를 이용하여 음식의 부피를 추정하고 판별된 음식의 종류에 따라 음식의 무게를 계산한 후에 칼로리를 계산함으로써, 칼로리를 더욱 정확히 측정할 수 있다.
또한, 칼로리를 계산하기 전에 음식의 종류를 판별할 때에는 3차원 이미지가 아닌 2차원 이미지를 이용함으로써, 음식 종류의 판별을 위한 영상 분석에 소요되는 시간이 불필요하게 증가되지 않도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 열량 정보 제공 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 열량 정보 제공 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 요리의 칼로리를 계산하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따라 요리의 칼로리를 계산하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명에서 요리의 칼로리를 계산하기 위해 수행되는 영상 분석 과정을 설명하기 위한 예시도이다.
도 6은 본 발명에서 요리의 칼로리 정보를 제공하기 위한 표시 화면의 예시도이다.
도 7은 본 발명에서 에너지 대사 정보를 제공하기 위한 표시 화면의 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용여들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아울러, 본 발명의 실시예들을 설명함에 있어서 이미지들을 비교한다는 것은 이미지 자체를 비교하는 것일 수도 있고, 이미지들의 특징값을 비교한다는 것일 수도 있고, 이미지들로부터 추출되거나 가공된 각종 정보를 비교하는 것일 수도 있다. 이러한 다양한 실시예들에 대해 이하에는 이미지를 비교하는 것이라고 대표적으로 기재하기로 한다. 즉, 본 발명의 실시예에서 이미지를 비교한다는 것은 이미지 자체를 비교하는 것일 수도 있고, 이미지의 특징값을 비교하는 것일 수도 있다.
도 1은 본 발명의 일 실시예에 따른 열량 정보 제공 장치의 구성도이다. 이에 나타낸 바와 같이 열량 정보 제공 장치(100)는 운동량 측정부(110), 촬영부(120), 거리 측정부(130), 제어부(140), 저장부(150), 출력부(160)를 포함한다.
운동량 측정부(110)는 생체 신호 및 움직임을 측정한다. 이러한 운동량 측정부(110)는 생체 신호 및 움직임을 측정하기 위해 손목시계 형태의 웨어러블(wearable) 기기의 형태로 설계 및 제작될 수 있으며, 운동량 측정부(110)를 포함하는 열량 정보 제공 장치(100)의 전체 또는 일부를 웨어러블 기기로 설계 및 제작할 수 있다. 이러한 운동량 측정부(110)는 열량 정보 제공 장치(100)를 착용한 사용자의 운동량을 측정할 수 있다. 운동량 측정부(110)는 심박수를 생체 신호로서 측정하며, 2축 가속도 또는 3축 가속도를 움직임 신호로서 측정할 수 있다. 심박수 측정을 위해 심전도(Electrocardiogram, ECG) 측정기, 심탄도(Ballistocardiogram, BCG) 측정기, 광용적맥파(Photoplethysmogram, PPG) 측정기 등이 이용될 수 있다.
촬영부(120)는 요리를 촬영하여 3차원의 이미지를 획득하거나 요리를 여러 각도에서 촬영하여 동일 요리에 대한 복수의 2차원 이미지를 획득한다. 이러한 촬영부(120)는 3차원 스캐너나 카메라 등으로 구현할 수 있다.
거리 측정부(130)는 촬영부(120)에 의해 촬영되는 요리와의 이격거리를 측정한다. 이러한 거리 측정부(130)는 초음파 거리 측정 센서나 적외선 거리 측정 센서 등으로 구현할 수 있다.
제어부(140)는 촬영부(120)에 의해 획득된 2차원 이미지 또는 3차원 이미지와 사전에 학습된 음식 이미지를 비교해 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별한다. 여기서, 제어부(140)는 사전에 학습된 음식 이미지를 데이터베이스 형태로 저장하고 있는 음식 영상 학습 데이터베이스를 이용할 수 있다. 이 경우에, 제어부(140)는 촬영부(120)에 의해 획득된 이미지의 전체와 음식 영상 학습 데이터베이스 내의 음식 이미지들을 비교할 수 있으며, 촬영부(120)에 의해 획득된 이미지의 전체 중 일부 영역을 바꿔가면서 음식 영상 학습 데이터베이스 내의 음식 이미지들을 비교할 수 있다. 이때, 이미지 비교에 따라 계산된 유사도가 기 설정된 임계값 이상이면 요리 내에 해당 음식이 포함되어 있는 것으로 판별하고, 이러한 판별을 반복적으로 수행하여 요리를 구성하는 복수의 음식 각각에 대해 모두 종류를 판별한다. 그리고, 제어부(140)는 촬영부(120)가 요리를 촬영하여 3차원 이미지를 획득한 경우에, 3차원 이미지를 2차원 이미지로 변환한 후에 음식의 종류를 판별할 때에 이용되도록 함으로써, 음식 종류의 판별을 위한 영상 분석에 소요되는 시간이 불필요하게 증가되지 않도록 한다.
또, 제어부(140)는 촬영부(120)에 의해 획득된 이미지 내에서 판별된 복수의 음식별로 2차원 이미지(501)를 구획하여 복수의 부분 2차원 이미지(511, 512, 513)를 획득하고, 복수의 부분 2차원 이미지에 포함된 복수의 음식 각각에 대해 부피를 추정하며, 판별된 음식의 종류와 추정된 부피를 기초로 하여 복수의 음식 각각에 대해 무게를 계산하고, 계산된 무게와 판별된 음식의 종류를 기초로 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 요리의 총 칼로리를 계산한다. 여기서, 제어부(140)는 음식의 부피를 추정할 때에 거리 측정부(130)에 의해 측정된 요리와의 이격거리를 이용할 수 있으며, 만약 음식이 담긴 접시 등의 그릇을 항상 기 약속된 크기의 것을 사용하는 조건이라면 요리와의 이격거리를 이용하지 않더라도 음식의 부피를 정확히 추정할 수 있다. 제어부(140)는 음식의 무게를 계산할 때에 기 구축된 음식 밀도 데이터베이스를 이용할 수 있으며, 음식의 칼로리를 계산할 때에는 기 구축된 음식 칼로리 데이터베이스를 이용할 수도 있다.
한편, 제어부(140)는 음식의 부피를 추정할 때에는 부분 2차원 이미지에 대응하는 3차원 이미지의 부분 영역을 이용한다. 그러므로, 제어부(140)는 촬영부(120)가 요리를 촬영하여 3차원 이미지를 획득한 경우에는 음식 종류의 판별을 위해 이용하였던 부분 2차원 이미지에 대응하는 3차원 이미지의 부분 영역을 이용하여 음식의 부피를 추정할 수 있다. 그리고, 촬영부(120)가 요리를 여러 각도에서 촬영하여 복수의 2차원 이미지를 획득한 경우에 제어부(140)는 촬영된 복수의 2차원 이미지를 각각 구획하여 복수의 부분 2차원 이미지를 획득하며, 복수의 부분 2차원 이미지에서 음식의 윤곽선을 추출하고, 추출된 윤곽선을 이용해 복수의 부분 2차원 이미지로부터 음식의 부분 3차원 이미지를 생성하여 부분 3차원 이미지를 이용해 음식의 부피를 추정할 수 있다.
또, 제어부(140)는 촬영부(120)에 의해 획득된 이미지를 이용해 계산된 요리의 총 칼로리를 이용한 정보를 제공하도록 출력부(160)를 제어할 수 있다. 또는, 제어부(140)는 운동량 측정부(110)에 의해 측정된 생체 신호 및 움직임 신호를 기초로 하여 운동량을 추정한 후에 추정된 운동량에 대응한 칼로리 소모량을 계산하고, 계산된 요리의 총 칼로리와 칼로리 소모량을 이용하여 에너지 대사에 대한 정보를 제공하도록 출력부(160)를 제어할 수 있다. 여기서, 제어부(140)는 움직임 신호가 발생된 경우라도 생체 신호가 기 설정된 조건을 만족하는 경우에만 운동량을 추정할 수 있다. 예컨대, 생체 신호로서 심박수를 측정한 경우에, 심박수가 기 설정된 임계값을 초과하는 조건에서 발생된 움직임 신호에 대해서만 운동량을 추정할 수 있다. 이러한 제어부(140)는 CPU(Central Processing Unit) 등과 같은 프로세서로 구현할 수 있다.
저장부(150)에는 제어부(140)에 의해 이용되는 음식 영상 학습 데이터베이스, 음식 밀도 데이터베이스, 음식 칼로리 데이터베이스 등이 저장될 수 있다. 이러한 저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
출력부(160)는 제어부(140)의 제어에 따라 요리의 총 칼로리를 이용한 정보나 요리의 총 칼로리와 칼로리 소모량을 이용한 에너지 대사에 대한 정보를 출력한다. 이러한 출력부(160)는 각종 정보를 시각적으로 출력하는 디스플레이나 각종 정보를 청각적으로 출력하는 스피커 중에서 적어도 하나 이상을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 열량 정보 제공 방법을 설명하기 위한 흐름도이다.
이에 나타낸 바와 같이 일 실시예에 따른 열량 정보 제공 방법은, 생체 신호 및 움직임을 측정하여 운동량을 추정한 후에 추정된 운동량을 기초로 하여 칼로리 소모량을 계산하는 단계(S211 내지 S215)를 포함한다. 열량 정보 제공 장치(100)의 운동량 측정부(110)는 생체 신호 및 움직임을 측정한다. 운동량 측정부(110)는 심박수를 생체 신호로서 측정하며, 2축 가속도 또는 3축 가속도를 움직임 신호로서 측정할 수 있다. 그러면, 제어부(140)는 운동량 측정부(110)에 의해 측정된 생체 신호 및 움직임 신호를 기초로 하여 운동량을 추정한 후에 추정된 운동량에 대응한 칼로리 소모량을 계산한다. 여기서, 제어부(140)는 움직임 신호가 발생된 경우라도 생체 신호가 기 설정된 조건을 만족하는 경우에만 운동량을 추정하여 칼로리 소모량을 계산할 수 있다.
아울러, 일 실시예에 따른 열량 정보 제공 방법은 열량 정보 제공 장치(100)의 제어부(140)가 촬영부(120)에 의해 획득된 요리의 2차원 이미지 또는 3차원 이미지를 이용하여 이미지 내의 요리를 대상으로 하여 총 칼로리를 계산하는 단계(S220)를 더 포함한다. 여기서, 촬영부(120)는 도 5에 예시한 요리 이미지(501)를 획득하고, 제어부(140)는 요리 이미지(501) 내의 요리에 대한 총 칼로리를 계산한다. 이때, 총 칼로리를 계산할 때에 요리의 2차원 이미지나 3차원 이미지가 이용된다. 이러한 실시예들에 대해서는 도 3 및 도 4를 참조하여 아래에서 다시 설명하기로 한다.
그리고, 일 실시예에 따른 열량 정보 제공 방법은 열량 정보 제공 장치(100)의 제어부(140)가 계산된 운동량 칼로리 소모량에 대한 정보와 계산된 요리의 총 칼로리에 대한 정보를 이용하여 출력부(160)를 통해 에너지 대사에 대한 정보를 제공하는 단계(S230)를 더 포함한다. 여기서, 열량 정보 제공 장치(100)의 제어부(140)는 촬영부(120)에 의해 획득된 이미지를 이용해 계산된 요리의 총 칼로리를 이용한 정보를 제공하도록 출력부(160)를 제어할 수 있다. 예컨대, 출력부(160)는 도 6에 예시한 바와 같이 음식명(종류), 무게, 칼로리, 요리 내의 모든 음식에 대한 총 칼로리에 대한 정보를 제공할 수 있다. 또는, 열량 정보 제공 장치(100)의 제어부(140)는 운동량 측정부(110)에 의해 측정된 생체 신호 및 움직임 신호를 기초로 하여 운동량을 추정한 후에 추정된 운동량에 대응한 칼로리 소모량을 계산하고, 계산된 요리의 총 칼로리와 칼로리 소모량을 이용하여 에너지 대사에 대한 정보를 제공하도록 출력부(160)를 제어할 수 있다. 예컨대, 출력부(160)는 도 7에 예시한 바와 같이 음식명(종류), 음식 칼로리, 섭취한 시간, 운동 칼로리, 오늘의 칼로리 등을 포함하는 에너지 대사에 대한 정보를 제공하도록 출력부(160)를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따라 요리의 칼로리를 계산하는 방법을 설명하기 위한 흐름도이다.
먼저, 열량 정보 제공 장치(100)의 거리 측정부(130)는 촬영부(120)에 의해 촬영되는 요리와의 이격거리를 측정하며, 측정된 이격거리 정보를 제어부(140)에게 제공한다(S310).
아울러, 열량 정보 제공 장치(100)의 촬영부(120)는 요리를 촬영하여 3차원의 이미지를 획득하며, 획득된 3차원 이미지를 제어부(140)에게 제공한다(S320).
그러면, 열량 정보 제공 장치(100)의 제어부(140)는 촬영부(120)에 의해 획득된 3차원 이미지를 2차원 이미지(501)로 변환한 후에 2차원 이미지(501)와 사전에 학습된 음식 이미지를 비교해 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별하고(S330), 판별된 복수의 음식별로 2차원 이미지(501)를 구획하여 복수의 부분 2차원 이미지(511, 512, 513)를 획득한다(S340). 여기서, 제어부(140)는 사전에 학습된 음식 이미지를 데이터베이스 형태로 저장하고 있는 음식 영상 학습 데이터베이스를 이용할 수 있다.
제어부(140)는 이미지 내에 포함된 요리를 구성하는 복수의 음식 각각에 대해 종류를 판별할 때에, 촬영부(120)에 의해 획득된 이미지의 전체와 음식 영상 학습 데이터베이스 내의 음식 이미지들을 비교할 수 있으며, 촬영부(120)에 의해 획득된 이미지의 전체 중 일부 영역을 바꿔가면서 음식 영상 학습 데이터베이스 내의 음식 이미지들을 비교할 수 있다. 이때, 이미지 비교에 따라 계산된 유사도가 기 설정된 임계값 이상이면 요리 내에 해당 음식이 포함되어 있는 것으로 판별하고, 이러한 판별을 반복적으로 수행하여 요리를 구성하는 복수의 음식 각각에 대해 모두 종류를 판별한다.
이처럼, 제어부(140)는 촬영부(120)가 요리를 촬영하여 3차원 이미지를 획득한 경우에, 3차원 이미지를 2차원 이미지로 변환한 후에 변환된 2차원 이미지를 기초로 하여 음식의 종류를 판별함으로써, 음식 종류의 판별을 위한 영상 분석에 소요되는 시간이 불필요하게 증가되지 않도록 한다.
한편, 단계 S330에서 음식 종류가 판별된 후에 단계 S340에서 획득된 부분 2차원 이미지(511, 512, 513)는 음식 영상 학습 데이터베이스에 저장함으로써, 이후 또 다시 음식 종류를 판별될 때에 이용하게 된다. 이러한 단계 S340의 반복 수행을 통해 정보가 축적되면 기계 학습(machine learning)을 통해 음식 종류에 대한 판별 정확도가 지속적으로 향상된다.
또, 제어부(140)는 복수의 부분 2차원 이미지(511, 512, 513)에 포함된 복수의 음식에 대해 부피를 추정한다. 이때, 제어부(140)는 복수의 부분 2차원 이미지(511, 512, 513)를 대상으로 음식의 윤곽선을 추출하여 2차원 음식 이미지(521, 522, 523)를 획득하며, 윤곽선 추출을 통해 획득한 2차원 음식 이미지(521, 522, 523)에 대응하는 3차원 이미지의 부분 영역을 이용한다. 즉, 제어부(140)는 단계 S320에서 획득된 3차원 이미지 중에서 2차원 음식 이미지(521, 522, 523)에 대응하는 3차원 이미지의 부분 영역을 추출하고, 추출된 부분 영역을 이용하여 음식의 부피를 추정한다. 여기서, 이미지 내에 포함된 화소 중에서 음식에 해당하는 화소가 많으면 많을수록 부피 또한 크다고 추정하여야 하지만 요리와의 거리에 따라 음식에 해당하는 화소의 크기가 변화될 것이기에 요리와의 거리를 감안할 필요가 있다. 따라서, 제어부(140)는 거리 측정부(130)에 의해 측정된 요리와의 이격거리를 고려하여 음식의 부피를 추정한다. 또는, 음식이 담긴 접시 등의 그릇을 항상 기 약속된 크기의 것을 사용하는 조건이라면 요리와의 이격거리를 이용하지 않더라도 이미지 내에 포함된 그릇에 해당하는 화소의 크기를 고려하여 음식의 부피를 정확히 추정할 수 있다(S350).
다음으로, 제어부(140)는 단계 S330에서 판별된 음식 종류와 단계 S350에서 추정된 음식 부피를 기초로 하여 음식의 무게를 계산한다. 이때, 기 구축된 음식 밀도 데이터베이스를 이용하여 음식 부피에 따른 무게를 계산할 수 있다(S360).
그리고, 제어부(140)는 단계 S360에서 계산된 음식 무게와 단계 S330에서 판별된 음식의 종류를 기초로 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 요리의 총 칼로리를 계산한다(S370).
도 4는 본 발명의 다른 실시예에 따라 요리의 칼로리를 계산하는 방법을 설명하기 위한 흐름도이다.
먼저, 열량 정보 제공 장치(100)의 거리 측정부(130)는 촬영부(120)에 의해 촬영되는 요리와의 이격거리를 측정하며, 측정된 이격거리 정보를 제어부(140)에게 제공한다(S410).
아울러, 열량 정보 제공 장치(100)의 촬영부(120)는 여러 각도에서 요리를 촬영하여 복수의 2차원 이미지(501)를 획득하며, 획득된 복수의 2차원 이미지(501)를 제어부(140)에게 제공한다(S420).
그러면, 열량 정보 제공 장치(100)의 제어부(140)는 촬영부(120)에 의해 획득된 2차원 이미지(501)와 사전에 학습된 음식 이미지를 비교해 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별하고(S430), 판별된 복수의 음식별로 2차원 이미지(501)를 구획하여 복수의 부분 2차원 이미지(511, 512, 513)를 획득한다(S440). 여기서, 제어부(140)는 사전에 학습된 음식 이미지를 데이터베이스 형태로 저장하고 있는 음식 영상 학습 데이터베이스를 이용할 수 있다.
제어부(140)는 이미지 내에 포함된 요리를 구성하는 복수의 음식 각각에 대해 종류를 판별할 때에, 촬영부(120)에 의해 획득된 이미지의 전체와 음식 영상 학습 데이터베이스 내의 음식 이미지들을 비교할 수 있으며, 촬영부(120)에 의해 획득된 이미지의 전체 중 일부 영역을 바꿔가면서 음식 영상 학습 데이터베이스 내의 음식 이미지들을 비교할 수 있다. 이때, 이미지 비교에 따라 계산된 유사도가 기 설정된 임계값 이상이면 요리 내에 해당 음식이 포함되어 있는 것으로 판별하고, 이러한 판별을 반복적으로 수행하여 요리를 구성하는 복수의 음식 각각에 대해 모두 종류를 판별한다.
한편, 단계 S430에서 음식 종류가 판별된 후에 단계 S440에서 획득된 부분 2차원 이미지(511, 512, 513)는 음식 영상 학습 데이터베이스에 저장함으로써, 이후 또 다시 음식 종류를 판별될 때에 이용하게 된다. 이러한 기계 학습을 통해 정보가 축적되어 음식 종류에 대한 판별 정확도가 지속적으로 향상된다.
또, 제어부(140)는 복수의 부분 2차원 이미지(511, 512, 513)에 포함된 복수의 음식에 대해 부피를 추정한다. 이때, 제어부(140)는 촬영부(120)가 요리를 여러 각도에서 촬영하여 복수의 2차원 이미지를 획득한 경우에, 복수의 2차원 이미지를 각각 구획하여 2차원 이미지마다 복수의 부분 2차원 이미지를 획득하며, 모든 부분 2차원 이미지에서 음식의 윤곽선을 추출하고(S451), 추출된 윤곽선을 이용한 모자이크 스티칭(mosaic stitching) 등을 통해 각 음식별 복수의 부분 2차원 이미지로부터 음식의 부분 3차원 이미지를 생성하며(S453), 생성된 부분 3차원 이미지를 이용해 음식의 부피를 추정한다(S455). 여기서, 이미지 내에 포함된 화소 중에서 음식에 해당하는 화소가 많으면 많을수록 부피 또한 크다고 추정하여야 하지만 요리와의 거리에 따라 음식에 해당하는 화소의 크기가 변화될 것이기에 요리와의 거리를 감안할 필요가 있다. 따라서, 제어부(140)는 거리 측정부(130)에 의해 측정된 요리와의 이격거리를 고려하여 음식의 부피를 추정한다. 또는, 음식이 담긴 접시 등의 그릇을 항상 기 약속된 크기의 것을 사용하는 조건이라면 요리와의 이격거리를 이용하지 않더라도 이미지 내에 포함된 그릇에 해당하는 화소의 크기를 고려하여 음식의 부피를 정확히 추정할 수 있다.
다음으로, 제어부(140)는 단계 S430에서 판별된 음식 종류와 단계 S455에서 추정된 음식 부피를 기초로 하여 음식의 무게를 계산한다. 이때, 기 구축된 음식 밀도 데이터베이스를 이용하여 음식 부피에 따른 무게를 계산할 수 있다(S460).
그리고, 제어부(140)는 단계 S460에서 계산된 음식 무게와 단계 S430에서 판별된 음식의 종류를 기초로 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 요리의 총 칼로리를 계산한다(S470).
지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 이미지 내의 요리에 복수의 음식이 존재하는 경우에 각각 종류를 판별하고 판별된 종류에 따라 부피를 추정하여 음식별로 칼로리를 계산한 후 합산하여 요리의 총 칼로리를 계산한다. 그러므로, 이미지 내에 복수의 음식이 존재하는 경우에도 칼로리를 정확히 측정할 수 있다.
더욱이, 3차원 이미지를 이용하여 음식의 부피를 추정하고 판별된 음식의 종류에 따라 음식의 무게를 계산한 후에 칼로리를 계산함으로써, 칼로리를 더욱 정확히 측정할 수 있다.
또한, 칼로리를 계산하기 전에 음식의 종류를 판별할 때에는 3차원 이미지가 아닌 2차원 이미지를 이용함으로써, 음식 종류의 판별을 위한 영상 분석에 소요되는 시간이 불필요하게 증가되지 않도록 한다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 열량 정보 제공 장치 110 : 운동량 측정부
120 : 촬영부 130 : 거리 측정부
140 : 제어부 150 : 저장부
160 : 출력부

Claims (14)

  1. 열량 정보 제공 장치에서 수행되는 정보 제공 방법으로서,
    요리를 포함하는 이미지를 획득하는 단계와,
    상기 이미지와 사전에 학습된 음식 이미지를 비교해 상기 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별하는 단계와,
    상기 복수의 음식별로 상기 이미지를 구획하여 복수의 부분 이미지를 획득하는 단계와,
    상기 복수의 부분 이미지에 포함된 상기 복수의 음식 각각에 대해 부피를 추정하는 단계와,
    상기 판별된 종류와 상기 추정된 부피를 기초로 하여 상기 복수의 음식 각각에 대해 무게를 계산하는 단계와,
    상기 계산된 무게와 상기 판별된 종류를 기초로 상기 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 상기 요리의 총 칼로리를 계산하는 단계와,
    상기 계산된 총 칼로리를 이용한 정보를 제공하는 단계를 포함하는
    열량 정보 제공 방법.
  2. 제 1 항에 있어서,
    상기 열량 정보 제공 장치를 착용한 사용자의 운동량에 대응한 칼로리 소모량을 계산하는 단계를 더 포함하며,
    상기 정보를 제공하는 단계는, 상기 요리의 총 칼로리와 상기 칼로리 소모량을 이용하여 에너지 대사에 대한 정보를 제공하는
    열량 정보 제공 방법.
  3. 제 1 항에 있어서,
    상기 이미지를 획득하는 단계는, 상기 요리를 촬영하여 3차원 이미지를 획득하는 단계를 더 포함하며,
    상기 부분 이미지를 획득하는 단계는, 상기 3차원 이미지를 2차원 이미지로 변환한 후에 상기 2차원 이미지를 구획하여 부분 2차원 이미지를 획득하는
    열량 정보 제공 방법.
  4. 제 3 항에 있어서,
    상기 부피를 추정하는 단계는, 상기 부분 2차원 이미지에 대응하는 상기 3차원 이미지의 부분 영역을 이용하는
    열량 정보 제공 방법.
  5. 제 1 항에 있어서,
    상기 이미지를 획득하는 단계는, 상기 요리를 여러 각도에서 촬영하여 복수의 2차원 이미지를 획득하는 단계를 더 포함하며,
    상기 부분 이미지를 획득하는 단계는, 상기 복수의 2차원 이미지를 각각 구획하여 복수의 부분 2차원 이미지를 획득하는
    열량 정보 제공 방법.
  6. 제 5 항에 있어서,
    상기 부피를 추정하는 단계는,
    상기 복수의 부분 2차원 이미지에서 상기 음식의 윤곽선을 추출하는 단계와,
    상기 추출된 윤곽선을 이용해 상기 복수의 부분 2차원 이미지로부터 상기 음식의 부분 3차원 이미지를 생성하여 상기 부분 3차원 이미지를 이용해 상기 음식의 부피를 추정하는 단계를 포함하는
    열량 정보 제공 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 기재된 열량 정보 제공 방법을 프로세서가 수행하도록 하는 프로그램을 기록한
    컴퓨터로 읽을 수 있는 기록매체.
  8. 제 1 항 내지 제 6 항 중 어느 한 항에 기재된 열량 정보 제공 방법을 프로세서가 수행하도록 하기 위하여
    컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 열량 정보를 제공하는 장치로서,
    제어부와,
    상기 제어부에 의한 실행시에, 단계들을 수행하는 컴퓨터 실행가능 명령어가 저장된 저장부와,
    상기 제어부의 제어에 따라 정보를 출력하는 출력부를 포함하되,
    상기 단계들은,
    요리를 포함하는 이미지를 획득하는 단계와,
    상기 이미지와 사전에 학습된 음식 이미지를 비교해 상기 요리를 구성하는 복수의 음식을 구분하여 각각 종류를 판별하는 단계와,
    상기 복수의 음식별로 상기 이미지를 구획하여 복수의 부분 이미지를 획득하는 단계와,
    상기 복수의 부분 이미지에 포함된 상기 복수의 음식 각각에 대해 부피를 추정하는 단계와,
    상기 판별된 종류와 상기 추정된 부피를 기초로 하여 상기 복수의 음식 각각에 대해 무게를 계산하는 단계와,
    상기 계산된 무게와 상기 판별된 종류를 기초로 상기 복수의 음식에 대해 칼로리를 각각 계산한 후 합산하여 상기 요리의 총 칼로리를 계산하는 단계와,
    상기 계산된 총 칼로리를 이용한 정보가 상기 출력부를 통해 출력되도록 하는 단계를 포함하는
    열량 정보 제공 장치.
  10. 제 9 항에 있어서,
    상기 컴퓨터 실행가능 명령어가 수행하는 단계들은, 상기 열량 정보를 제공하는 장치를 착용한 사용자의 운동량에 대응한 칼로리 소모량을 계산하는 단계를 더 포함하며,
    상기 출력부로는, 상기 요리의 총 칼로리와 상기 칼로리 소모량을 이용한 에너지 대사에 대한 정보가 출력되는
    열량 정보 제공 장치.
  11. 제 9 항에 있어서,
    상기 요리를 촬영하여 3차원 이미지를 획득하는 촬영부를 더 포함하며,
    상기 부분 이미지를 획득하는 단계는, 상기 3차원 이미지를 2차원 이미지로 변환한 후에 상기 2차원 이미지를 구획하여 부분 2차원 이미지를 획득하는
    열량 정보 제공 장치.
  12. 제 11 항에 있어서,
    상기 부피를 추정하는 단계는, 상기 부분 2차원 이미지에 대응하는 상기 3차원 이미지의 부분 영역을 이용하는
    열량 정보 제공 장치.
  13. 제 9 항에 있어서,
    상기 요리를 여러 각도에서 촬영하여 복수의 2차원 이미지를 획득하는 촬영부를 더 포함하며,
    상기 부분 이미지를 획득하는 단계는, 상기 복수의 2차원 이미지를 각각 구획하여 복수의 부분 2차원 이미지를 획득하는
    열량 정보 제공 장치.
  14. 제 13 항에 있어서,
    상기 부피를 추정하는 단계는,
    상기 복수의 부분 2차원 이미지에서 상기 음식의 윤곽선을 추출하는 단계와,
    상기 추출된 윤곽선을 이용해 상기 복수의 부분 2차원 이미지로부터 상기 음식의 부분 3차원 이미지를 생성하여 상기 부분 3차원 이미지를 이용해 상기 음식의 부피를 추정하는 단계를 포함하는
    열량 정보 제공 장치.
KR1020170039986A 2017-03-29 2017-03-29 열량 정보 제공 장치 및 방법 KR20180110443A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039986A KR20180110443A (ko) 2017-03-29 2017-03-29 열량 정보 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039986A KR20180110443A (ko) 2017-03-29 2017-03-29 열량 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180110443A true KR20180110443A (ko) 2018-10-10

Family

ID=63875988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039986A KR20180110443A (ko) 2017-03-29 2017-03-29 열량 정보 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180110443A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092708A (ko) * 2019-01-25 2020-08-04 양승보 건강식품 제조 모니터링 서비스 제공 시스템
KR20200126288A (ko) * 2019-04-29 2020-11-06 주식회사 누비랩 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램
KR20200126576A (ko) * 2019-04-30 2020-11-09 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR20210072491A (ko) 2019-12-09 2021-06-17 충남대학교병원 Vr/ar을 활용한 식생활 모의체험 시스템
KR20220014598A (ko) * 2020-07-29 2022-02-07 이병희 대전 게임 방식을 이용한 칼로리 관리 서비스 제공 장치 및 방법
CN114565662A (zh) * 2022-02-28 2022-05-31 上海交通大学医学院 固体食物体积的计算方法和系统及设备
KR20220089258A (ko) * 2020-12-21 2022-06-28 한국기술교육대학교 산학협력단 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092708A (ko) * 2019-01-25 2020-08-04 양승보 건강식품 제조 모니터링 서비스 제공 시스템
KR20200126288A (ko) * 2019-04-29 2020-11-06 주식회사 누비랩 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램
KR20200126576A (ko) * 2019-04-30 2020-11-09 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR20210072491A (ko) 2019-12-09 2021-06-17 충남대학교병원 Vr/ar을 활용한 식생활 모의체험 시스템
KR20220014598A (ko) * 2020-07-29 2022-02-07 이병희 대전 게임 방식을 이용한 칼로리 관리 서비스 제공 장치 및 방법
KR20220089258A (ko) * 2020-12-21 2022-06-28 한국기술교육대학교 산학협력단 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법
CN114565662A (zh) * 2022-02-28 2022-05-31 上海交通大学医学院 固体食物体积的计算方法和系统及设备

Similar Documents

Publication Publication Date Title
KR20180110443A (ko) 열량 정보 제공 장치 및 방법
JP7057959B2 (ja) 動作解析装置
CN103717124B (zh) 用于获得并处理生物的测量读数的设备与方法
JP5848551B2 (ja) 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム
US11281896B2 (en) Physical activity quantification and monitoring
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
CN104361321A (zh) 一种判断老年人摔倒行为及身体平衡能力的方法
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
US20210059569A1 (en) Fall risk evaluation method, fall risk evaluation device, and non-transitory computer-readable recording medium in which fall risk evaluation program is recorded
CN102227697B (zh) 操作识别系统、操作识别装置及操作识别方法
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
KR20180020123A (ko) 비동기 신호 처리 방법
CN108898108B (zh) 一种基于扫地机器人的用户异常行为监测系统及方法
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
Liu et al. Automatic fall risk detection based on imbalanced data
US20240070854A1 (en) Tracking, analysing and assessment of huamn body movements using a subject-specific digital twin model of the human body
Andrić et al. Sensor-based activity recognition and performance assessment in climbing: A review
KR101779840B1 (ko) 미소 검출 기반 얼굴 분석 장치 및 방법
JP2019185421A (ja) 対象数特定装置
KR20190139591A (ko) 셀프 다이어트 목표달성 장치
JP5864231B2 (ja) 移動方向識別装置
Lau et al. Cost-benefit analysis reference framework for human motion capture and analysis systems
Jos et al. Yoga Posture Recognition Using Image Processing
US20220051021A1 (en) Augmented reality system and method for real-time monitoring of user activities through egocentric vision

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170329

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171116

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180528

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171116

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180528

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180115

Comment text: Amendment to Specification, etc.

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180731

Patent event code: PE09021S01D

PG1501 Laying open of application
PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20190227

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20180731

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20180628

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20180528

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20180115

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20171116