KR20190047296A - 음식 영상을 이용한 영양관리 및 질병관리 방법 - Google Patents

음식 영상을 이용한 영양관리 및 질병관리 방법 Download PDF

Info

Publication number
KR20190047296A
KR20190047296A KR1020170141013A KR20170141013A KR20190047296A KR 20190047296 A KR20190047296 A KR 20190047296A KR 1020170141013 A KR1020170141013 A KR 1020170141013A KR 20170141013 A KR20170141013 A KR 20170141013A KR 20190047296 A KR20190047296 A KR 20190047296A
Authority
KR
South Korea
Prior art keywords
food
image
user
candidate
foods
Prior art date
Application number
KR1020170141013A
Other languages
English (en)
Other versions
KR102268102B1 (ko
Inventor
진송백
이현석
Original Assignee
주식회사 두잉랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 두잉랩 filed Critical 주식회사 두잉랩
Priority to KR1020170141013A priority Critical patent/KR102268102B1/ko
Publication of KR20190047296A publication Critical patent/KR20190047296A/ko
Priority to KR1020210078221A priority patent/KR102326540B1/ko
Application granted granted Critical
Publication of KR102268102B1 publication Critical patent/KR102268102B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Child & Adolescent Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

실시 예는, 음식물 정보가 포함된 영상을 획득하는 단계; 상기 영상에 포함된 음식물을 판별하는 단계; 및 상기 음식물에 따른 관리 정보를 생성하는 단계를 포함하고, 상기 판별하는 단계는, 상기 음식물의 종류를 판별할 수 없는 경우, 미리 정해진 유사도 값 이상을 획득한 복수 개의 항목을 사용자 클라이언트로 전송하고, 상기 복수 개의 항목 중에서 상기 사용자 클라이언트에 의해 선택된 항목을 사용자가 선택한 음식물로 판단하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법을 개시한다.

Description

음식 영상을 이용한 영양관리 및 질병관리 방법{Methods for management of nutrition and disease using food images}
본 발명의 실시예들은 음식 영상을 이용한 영양관리 및 질병관리 방법에 관한 것이다.
사람들의 삶의 질이 향상됨에 따라 평균 신장이 커지고, 평균 수명이 늘어나고 있다. 하지만 일부는 영양섭취가 권장량보다 과다한 경우가 발생하고 있고, 이에 따른 비만, 당뇨, 고혈압 및 고지혈증과 같은 질병들의 발생 빈도가 증가하고 있다.
이러한 문제점을 해결하기 위하여 사람들은 식이요법 등을 이용하여 체중을 조절하고 있다. 또한 식이요법 등을 도와주기 위하여 다양한 서비스(어플) 등이 출시되었지만, 입력 방식의 어려움으로 인하여 사용률이 저조한 문제가 있다. 이러한 서비스의 사용률을 높이기 위해서는 입력방식의 단순화가 필요하다.
또한, 영양관리에 있어서 목적에 따른 차별화된 정보제공이 필요하지만 현재 서비스들은 단편화된 정보만을 기반으로 하고 있다.
기존 건강관리(다이어트) 서비스들의 입력 방식은 텍스트 위주 입력 방식이다. 따라서, 나이가 많은 분들의 경우 입력의 어려움을 많이 겪게 된다. 이러한 문제를 해결하기 위하여 최근 영상을 이용하여 음식영상을 입력하는 방법이 개발되고 있다. 그러나, 다음과 같은 문제점이 있다.
먼저, 종래 영상을 이용한 기술은 영상을 분석하여 최종 음식물 후보 하나만을 표시하므로 표시된 음식물 후보가 실제 음식물과 맞지 않는 경우 사용자는 다시 수동으로 섭취할 음식물의 명칭을 입력하여야 하는 문제가 있다.
또한, 촬영한 영상의 음식이 여러 가지인 경우 원하는 음식이 선택되지 않는 문제가 발생하는 문제가 있다.
또한, 주요 구성물이 외부에서 관찰되지 않는 경우(예: 김밥)에는 사용자가 섭취할 음식물을 구체적으로 특정하기 어려운 문제가 있다.
또한, 하나의 영상을 이용하여 한 가지 음식만 입력 받는 경우, 음식이 여러 개일 때 여러 번 사진을 촬영해야 하는 문제가 있다.
본 발명의 실시예들은 확률에 따라 복수 개의 음식 후보를 추출하고 이를 사용자에게 제공하는 음식영상을 이용한 영양관리 및 질병관리 방법을 제공한다.
또한, 영상 내에서 음식의 위치를 표시하고 원하지 않는 음식이 선택된 경우 원하는 음식을 다시 선택할 수 있는 음식 영상을 이용한 영양관리 및 질병관리 방법을 제공한다.
또한, 음식 영상으로 세부 분류를 판단할 수 없는 경우 가장 유사한 세부 분류를 제시할 수 있는 음식영상을 이용한 영양관리 및 질병관리 방법을 제공한다.
또한, 한 번에 여러 개의 음식 영상을 한 번에 인식하고 처리할 수 있는 음식영상을 이용한 영양관리 및 질병관리 방법을 제공한다.
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.
본 발명의 일 실시 예에 따른 음식 영상을 이용한 영영 관리 및 질병 관리 방법은, 음식물 정보가 포함된 영상을 획득하는 단계; 상기 영상에 포함된 음식물을 판별하는 단계; 및 상기 음식물에 따른 관리 정보를 생성하는 단계를 포함하고, 상기 판별하는 단계는, 상기 음식물의 종류를 판별할 수 없는 경우, 미리 정해진 유사도 값 이상을 획득한 복수 개의 항목을 사용자 클라이언트로 전송하고, 상기 복수 개의 항목 중에서 상기 사용자 클라이언트에 의해 선택된 항목을 사용자가 선택한 음식물로 판단한다.
상기 판별하는 단계에서, 상기 영상이 복수 개의 음식물을 포함하고 있는 경우, 상기 영상에서 인식 가능한 음식물을 추출하고, 상기 인식된 음식물 영상에 선택 영역 이미지를 오버랩시켜 상기 사용자 클라이언트로 전송할 수 있다.
상기 판별하는 단계에서, 상기 사용자 클라이언트에서 상기 선택 영역 이미지가 이동된 경우, 상기 선택 영역 이미지가 이동한 지점의 음식물을 사용자가 선택한 음식물로 판단할 수 있다.
상기 판별하는 단계에서, 상기 선택 영역 이미지가 이동한 부분의 음식물을 인식할 수 없는 경우 나머지 인식 가능한 음식과 가장 연관성이 높은 음식물 리스트를 제공할 수 있다.
상기 선택 영역 이미지는 상기 인식 가능한 음식물의 에지 형상과 매칭되게 설정될 수 있다.
상기 판별하는 단계에서, 상기 영상에서 상기 음식물의 세부 분류를 판단할 수 없는 경우, 상기 음식물과 관련하여 미리 저장된 후보 세부 리스트를 제공할 수 있다.
상기 후보 세부 리스트는 사용자의 선호도가 가장 높은 순으로 제공할 수 있다.
상기 판별하는 단계에서, 상기 영상이 복수 개의 음식물을 포함하고 있는 경우, 상기 영상에서 상기 음식물이 담긴 음식용기의 에지 형상을 추출하고, 상기 추출된 음식용기의 내측에 배치된 음식물을 분석할 수 있다.
상기 판별하는 단계와 관리 정보를 생성하는 단계 사이에 음식물 양을 측정하는 단계를 포함하고, 상기 음식물 양을 측정하는 단계는, 상기 영상에 포함된 집기의 에지 영역을 검출하고, 상기 집기의 길이를 기준으로 음식물의 양을 추정할 수 있다.
상기 관리 정보를 생성하는 단계는, 상기 사용자가 선택한 프로그램에 따라 상기 음식물의 섭취 가능 여부, 섭취량, 또는 대체 가능 음식 정보 중 적어도 하나를 출력할 수 있다.
본 발명의 실시예들에 따르면, 확률에 따라 영상의 음식물과 유사도가 높은 음식 후보를 사용자에게 제공할 수 있다. 따라서, 실제 사용자가 섭취할 음식이 음식 후보에 표시될 확률이 높아지므로 사용자가 수작업으로 섭취할 음식을 입력하는 불편함이 개선될 수 있다.
또한, 영상 내에서 사용자가 실제 섭취할 음식을 다시 지정할 수 있으므로 사용자가 사진을 다시 찍거나 텍스트를 입력하는 불편함을 개선할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영영 관리 및 질병 관리 시스템의 개념도이고,
도 2는 음식 영상에 의해 사용자가 섭취할 음식물을 판별하고, 그에 따른 영양 관리 정보를 전송하는 과정을 보여주는 도면이고,
도 3은 음식 영상과 가장 유사한 후보 음식들이 출력된 사용자 단말을 보여주는 도면이고,
도 4는 99.5%의 임계값을 적용한 딥러닝 분석에 의해 추출된 후보 음식 리스트를 보여주는 표이고,
도 5는 사용자가 선택한 음식의 세부 분류가 표시된 사용자 단말을 보여주는 도면이고,
도 6은 사용자가 자신이 섭취한 음식물의 양을 입력할 수 있는 사용자 단말의 인터페이스를 보여주는 도면이고,
도 7은 사용자가 선택한 관리 프로그램상 해당 음식물이 적합하지 않은 경우 다른 대체 음식을 추천하는 중재 메시지를 보여주는 도면이고,
도 8은 사용자가 선택한 관리 프로그램상 미리 설정된 나트륨 섭취량을 초과하였는지를 보여주는 중재 메시지를 보여주는 도면이고,
도 9는 사용자의 음식물 섭취 이력을 보여주는 도면이고,
도 10은 본 발명의 일 실시예에 따른 영영 관리 및 질병 관리 방법의 순서를 보여주는 흐름도이고,
도 11은 영상에 복수의 음식 정보가 있는 경우 인식된 음식을 표시한 도면이고,
도 12 및 도 13은 선택된 음식을 사용자가 변경하는 도면이고,
도 14는 영상의 음식에 대한 세부 분류를 알 수 없는 경우 미리 저장된 정보를 이용하여 세부 분류를 표시한 도면이고,
도 15는 복수의 음식을 인식하는 방법을 설명하기 위한 도면이고,
도 16은 복수의 음식에 확률에 따른 음식 후보를 표시하는 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영영 관리 및 질병 관리 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영양 관리 및 질병 관리 시스템은 영양 관리 서버(20, 이하 '서버'라 함), 사용자 클라이언트(10, 이하 '사용자 단말'이라 함) 및 이들을 연결하는 통신망을 포함할 수 있다.
본 발명에서 사용자 단말(10)은 음식(Food) 영상을 서버(20)로 전송하고, 서버(20)로부터 분석된 음식 리스트 등을 수신할 수 있는 다양한 장치를 의미할 수 있다. 이때 단말은 휴대용 단말을 예시하였으나 반드시 이에 한정하는 것은 아니고 퍼스널 컴퓨터일 수도 있다.
사용자 단말(10)은 콘텐츠 등을 표시하기 위한 표시수단, 이러한 콘텐츠에 대한 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 이때, 입력수단 및 표시수단은 다양하게 구성될 수 있다. 예시적으로 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다.
통신망은 서버(20) 및 사용자 단말(10) 간에 데이터를 송수신할 수 있는 경로를 제공하는 역할을 수행할 수 있다. 예를 들어, 통신망은 사용자 단말(10)이 서버(20)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공한다. 통신망은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 반드시 이에 한정되는 것은 아니다.
서버(20)는 네트워크 인터페이스(21), 영양 관리부(22), 영상 인식부(26)를 포함할 수 있다. 네트워크 인터페이스(21)는 서버(20)가 사용자 단말(10) 및/또는 외부장치와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
영양 관리부(22) 및 영상 인식부(26)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 그래픽 처리 장치(GPU), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.
영상 인식부(26)는 회선 신경망(Convolutional Neural Network) 기반의 영상 인식 모델(27)을 이용하여 영상에서 음식 이미지를 추출하고, 가장 유사도가 높은 후보 음식들을 선별할 수 있다. 그러나, 반드시 이에 한정하는 것은 아니고 영상 인식 모델은 Support vector machine (SVM), Bayesian network (BN), decision tree (DT), k-th nearest neighbor (kNN)등 기존 분류모델을 이용할 수도 있다.
영양 관리부(22)는 사용자가 섭취한 음식의 종류 및 양에 따라 사용자의 영양 상태를 관리하거나 질병을 관리할 수 있다. 예시적으로, 사용자가 다이어트 프로그램을 선택한 경우 사용자가 섭취할 음식의 칼로리를 계산하여 사용자 단말(10)로 경고 메시지를 출력하거나, 대체 음식을 제시할 수도 있다.
영양 관리부(22)는 사용자 영양 DB(23), 음식 영양 DB(24), 및 영양 콘텐츠 DB(25) 등으로 필요한 정보를 추출할 수 있다. 사용자 영양 DB(23)는 사용자가 섭취한 식사 정보를 기록하고 관리하는 데이터베이스이고, 음식 영양 DB(24)는 각 음식의 영양소를 기록 관리하는 데이터베이스이고, 영양 콘텐츠 DB(25)는 사용자의 영양 섭취 기록을 기반으로 사용자에게 중재 메시지 등을 전송하기 위한 데이터베이스일 수 있다.
도 2는 음식 영상에 의해 사용자가 섭취할 음식물을 판별하고, 그에 따른 영양 관리 정보를 전송하는 과정을 보여주는 도면이다.
도 2를 참조하면, 사용자가 섭취할 음식의 영상을 전송하면, 서버(20)의 영상 인식부(26)는 해당 영상이 어떤 음식에 관한 것인지 분석한다. 이때, 회선 신경망(Convolutional Neural Network) 기반의 영상 인식 모델을 이용하여 가장 유사도가 높은 후보 음식들을 선별할 수 있다. 실시 예에 따르면, 확률론적으로 소정 유사도 값 이상을 갖는 복수의 후보 음식을 추출하여 사용자에게 제공할 수 있다. 따라서, 후보 리스트 안에는 실제 사용자가 섭취할 음식이 포함될 확률이 높으므로 인식 오류 문제를 해소할 수 있다. 또한, 직접 텍스트를 입력해야 하는 사용자의 불편함도 해소할 수 있다. 그러나, 반드시 이에 한정하는 것은 아니고 분석결과 어느 하나의 음식이 100%의 확률로 추출된 경우에는 그 음식을 단일의 후보로 하여 사용자 단말(10)에 전송할 수도 있다.
이후, 사용자가 단말의 표시부에 출력된 후보 음식 중 어느 하나를 선택하면, 영양 관리부(22)는 음식 영양 DB(24)에서 해당 음식의 영양 정보를 불러와 분석할 수 있다. 이후, 현재 사용자의 상태에 따라 섭취할 음식이 사용자에게 적합한지를 판단하여 사용자에게 영영 정보를 전송하거나 식단을 추천할 수 있다.
예시적으로 영상의 음식이 미역국인 경우 영상 인식부(26)는 확률적으로 유사도가 높은 후보 음식들을 제공하고, 사용자가 선택한 음식의 영양 성분을 검출할 수 있다.
도 3은 음식 영상과 가장 유사한 후보 음식들이 출력된 사용자 단말을 보여주는 도면이고, 도 4는 99.5%의 임계값을 적용한 딥러닝 분석에 의해 추출된 후보 음식 리스트를 보여주는 표이고, 도 5는 사용자가 선택한 음식의 세부 분류가 표시된 사용자 단말을 보여주는 도면이다.
도 3을 참조하면, 서버(20)는 사용자 단말(10)에 후보 음식들(11, 12, 13)을 전송할 수 있다. 예시적으로 도 4와 같이 해당 영상(I11)이 햄버거 영상일 확률이 93.2%이고, 핫도그 영상일 확률이 4.5%이고, 팬케이크 영상일 확률이 1.2%이고, 빵(bread) 영상일 확률이 0.3%이고, 초밥 영상일 확률이 0.003%로 분석될 수 있다.
이 중에서 유사도 값이 90%이상인 후보 음식만을 전송하는 경우에는 햄버거만을 전송할 수 있다. 그러나, 소정 유사도 값 이상인 후보 리스트를 모두 전송할 수 있다. 예시적으로 후보 리스트로 햄버거, 핫도그, 팬케이크를 표시할 수 있다.
이때, 사용자가 햄버거를 선택하는 경우 서버(20)는 영상(I11)의 음식이 햄버거인 것으로 최종 확정할 수 있다. 또한, 서버(20)는 도 5와 같이 햄버거의 세부 분류(111, 112, 113)를 다시 사용자 단말(10)로 전송할 수 있다. 여기서 세부 분류는 대분류의 하위 개념으로 정의할 수 있다. 예시적으로 햄버거가 대분류인 경우 세부 분류는 햄버거의 종류에 따른 분류일 수 있다.
이때, 누적 정보가 충분한 경우 세부 분류의 순위는 학습에 의해 사용자가 선호하는 순위로 배치할 수 있다. 예시적으로 사용자가 치즈 버거(111)를 가장 선호하는 경우 세부 분류에서 치즈 버거(111)를 1순위로 배치할 수 있다.
만약, 누적 정보가 충분하지 않은 경우 미리 메모리(도시되지 않음)에 저장된 세부 분류를 불러와 전송할 수 있다. 이때, 세부 분류는 미리 순위가 정해져 있을 수 있다. 따라서, 서버(20)는 최초 사용시 메모리에 저장된 순위대로 전송할 수 있다. 그러나, 사용자가 특정 세부 음식을 자주 선택하는 경우 서버(20)는 해당 특정 세부 음식을 1순위로 배치하도록 테이블 정보를 갱신할 수 있다.
실시 예에 따르면, 확률에 따라 유사도가 높은 후보 음식들을 제시하므로 인식 오류에 의해 사용자가 텍스트로 입력해야 하는 불편함을 개선할 수 있다. 또한, 음식이 특정되는 경우 세부 분류를 제공하여 더욱 정확한 음식 정보를 얻을 수 있다. 따라서, 정확한 칼로리 계산 및 영양 관리가 가능해질 수 있다.
도 6은 사용자가 자신이 섭취한 음식물의 양을 입력할 수 있는 사용자 단말의 인터페이스를 보여주는 도면이다.
도 6을 참조하면, 사용자는 자신이 직업 섭취한 음식물의 양을 입력할 수 있다. 사용자 단말(10)의 표시부에는 음식물의 섭취량을 입력할 수 있는 인터페이스가 제공될 수 있다.
이때, 섭취량은 그릇, 공기, 접시 등의 단위로 표시되어 사용자가 일반적인 양을 정확하게 인지할 수 있다. 또한, 정확한 양을 알 수 있도록 표준 단위인 그램(g)을 동시에 표시할 수도 있다. 또한, 1과 1/2, 1과 1/3, 0과 2/3등으로 표시하여 정확한 섭취량을 입력할 수 있다.
서버(20)는 섭취 전과 후의 음식량을 계산할 수 있다. 전술한 바와 같이 사용자가 직접 섭취한 음식의 양을 계산하여 입력하면, 서버(20)는 해당 결과를 사용자 단말(10)에 전송하여 사용자의 확인을 받을 수 있다. 이때, 사용자는 섭취량 정보를 수정 및 보완할 수도 있다.
도 7은 사용자가 선택한 관리 프로그램상 해당 음식물이 적합하지 않은 경우 다른 대체 음식을 추천하는 중재 메시지를 보여주는 도면이고, 도 8은 사용자가 선택한 관리 프로그램상 미리 설정된 나트륨 섭취량을 초과하였는지를 보여주는 중재 메시지를 보여주는 도면이고, 도 9는 사용자의 음식물 섭취 이력을 보여주는 도면이다.
서버(20)는 사용자 단말(10)에 영양 프로그램 리스트를 제공하고, 사용자는 본인이 원하는 프로그램을 선택할 수 있다. 예시적으로 사용자는 다이어트 프로그램, 당뇨 프로그램, 또는 고지혈 프로그램 등에서 하나 이상의 프로그램을 선택할 수 있다.
서버(20)는 사용자가 음식을 섭취하는 경우, 사용자가 선택한 프로그램을 확인하고 사용자의 과거 섭취 이력을 확인할 수 있다. 이후, 해당 프로그램의 기준을 검토하여 중재 결과를 사용자에게 알려줄 수 있다.
예시적으로, 서버(20)는 해당 음식을 사용자가 섭취 가능한지 여부를 판단하여 사용자 단말(10)에 전송할 수 있다. 또한, 음식을 먹을 수 있다면 얼마의 양을 먹을 수 있는지를 판단하여 사용자 단말(10)에 전송할 수도 있다. 또한, 도 7과 같이 사용자가 섭취할 수 없거나 추천되지 않는 경우에는 대체 음식을 추천할 수도 있다.
또한, 도 8과 같이 사용자가 선택한 프로그램상 일정 성분의 섭취량이 정해지는 경우, 해당 음식을 섭취함으로써 목표 섭취량에 근접하는지 판단하여 경고 메시지를 출력할 수도 있다.
도 9를 참조하면, 영영 관리 서버(20)는 사용자의 섭취 이력을 일/주/월/분기/년 등으로 누적하여 저장 및 출력할 수 있다. 예시적으로 사용자의 몸무게(P11), 칼로리(P12), 및 지방(P13)등을 측정하여 표시할 수 있다. 이때, 사용자는 원하는 항목만 선택하여 볼 수 있다. 예시적으로 사용자는 단말에서 자신이 관심이 있는 항목(예: 몸무게 변화, 섭취 칼로리, 섭취 당수치, 섭취 콜레스테롤 등)만을 선택하여 해당 항목에 관한 누적 정보만을 제공받을 수 있다.
또한, 서버(20)는 사용자의 과거 섭취 패턴을 분석하여 향후 예측 값을 제공할 수 있다. 예시적으로 서버(20)는 과거 섭취 패턴에 의할 때 가까운 시일 내에 나트륨 섭취량을 초과할 수 있다는 경고 메시지를 전송할 수 있다. 서버(20)는 사용자가 설정한 프로그램 별로 중요 지표의 우선 순위를 조정하여 제공할 수도 있다.
추가적으로, 서버(20)는 맞춤식단 및/또는 맞춤 운동을 제시할 수도 있다.
맞춤 식단의 경우 과거 섭취 이력을 기준으로 일/주/월별로 소요 영양정보를 계산하고, 사용자 설정 프로그램에 따른 맞춤 식단을 제공할 수 있다. 이때, 사용자가 주로 섭취하는 음식을 우선순위로 하여 식단을 제공할 수 있다. 또한, 사용자가 사용할 수 있는 재료만을 이용하여 식단을 제공할 수도 있다. 이를 위해 서버(20)는 사용자가 맞춤 식단 프로그램을 선택하는 경우 식단의 선호도 및/또는 현재 사용할 수 있는 재료 리스트를 요청할 수 있다.
맞춤 운동의 경우 사용자의 연령, 성별, 선호 운동, 과거 운동 이력, 선택 프로그램에 따라 운동 프로그램을 자동 생성할 수 있다. 서버(20)는 프로그램을 사용자에게 제공하고, 수행여부를 입력 받을 수 있다.
도 10은 본 발명의 일 실시예에 따른 영영 관리 및 질병 관리 방법의 순서를 보여주는 흐름도이다.
도 10을 참조하면, 서버(20)는 사용자 단말(10)로부터 음식의 영상을 수신한다(S11). 이후, 서버(20)는 회선 신경망(Convolutional Neural Network) 기반의 영상 인식 모델을 이용하여 영상의 음식물과 가장 유사도가 높은 후보 음식들을 추출할 수 있다(S12).
서버(20)는 유사도 값이 미리 설정된 값보다 높은 후보 음식만을 사용자 단말(10)에 전송할 수 있다(S13). 사용자는 사용자 단말(10)에서 자신이 섭취할 음식이 리스트에 있는지 찾아 선택할 수 있다(S14). 예시적으로 가장 유사하다고 판단된 제1 후보 음식이 영상의 음식과 다른 경우에도 나머지 제2 후보 음식 내지 제N 후보 음식이 매칭될 가능성이 높다. 따라서, 사용자는 텍스트를 입력하는 등의 추가 노력 없이도 손쉽게 음식을 검색 및 선택할 수 있다.
서버(20)는 사용자로부터 섭취량 정보를 입력 받아 섭취 음식량을 설정할 수 있다(S15). 또한, 섭취된 음식의 종류 및 양을 기초로 영양 분석을 수행할 수 있다(S16). 그 결과, 중재가 필요한 경우 사용자 단말(10)에 경고 및/또는 가이드 메시지를 출력할 수 있다(S18).
이후, 사용자가 중재의 수용 여부에 따라 중재 결과를 반영하고(S19), 설정된 정보를 섭취 이력으로 저장할 수 있다(S20).
도 11은 영상에 복수의 음식 정보가 있는 경우 인식된 음식을 표시한 도면이다.
전술한 바와 같이 실시 예에 따르면, 음식 영상을 분석하여 가장 유사한 후보 음식을 사용자 단말(10)에 전송할 수 있다. 그러나, 음식 영상에서 복수의 음식이 인식되는 경우 실제 사용자가 어떤 음식을 섭취할 것인지 판단할 필요가 있다.
도 11을 참조하면, 서버(20)는 해당 영상에서 인식 가능한 음식을 추출하고, 인식 가능한 음식이 위치한 영역에 선택 이미지를 표시하여 사용자 단말(10)에 전송할 수 있다. 인식 가능한 음식이 복수인 경우 서버(20)는 선택 이미지에 순번을 부여하여 사용자 단말(10)에 전송할 수 있다.
사용자는 실제 섭취할 음식에 해당하는 선택 이미지를 선택할 수 있다. 서버(20)는 선택된 이미지의 음식만을 특정하여 섭취 음식량을 계산할 수 있다. 이러한 구성에 의하면 섭취할 음식이 복수 개인 경우에도 하나의 영상을 이용하여 분석할 수 있는 장점이 있다.
도 12 및 도 13은 선택된 음식을 사용자가 변경하는 과정을 보여주는 도면이다.
음식 영상에서 복수의 음식이 인식되는 경우 원칙적으로 복수의 음식 모두가 인식될 수 있으나, 이미지 프로세싱의 기술적 한계 등을 이유로 복수의 음식 중 두드러지는 음식(141)만이 선택될 수 있다.
따라서, 도 12와 같이 영상 내에서 점유 면적이 큰 음식(141)이 우선적으로 선택된 경우, 사용자는 실제 자신이 섭취할 음식(142)으로 선택 영역 이미지(143)를 드래그할 수 있다. 이 경우 서버(20)는 선택 영역 이미지(143)에 배치된 음식(142)을 판별하여 후보 음식들을 사용자 단말(10)에 전송할 수 있다.
그러나, 사용자가 지정한 영역에서 음식 이미지가 인식되지 않을 수도 있다. 사용자가 지정한 영역은 음식 이미지가 존재할 가능성이 높으므로 해당 영역을 다시 분석할 필요가 있다. 필요에 따라 최초 분석한 영상 인식 모델과 다른 분석 방법을 적용할 수도 있다.
사용자가 지정한 음식(142)의 이미지를 판별할 수 없는 경우 서버(20)는 인식된 음식과 유사도가 높은 후보 음식을 추출하고, 추출한 후보 음식 중에서 유사도가 높은 순위를 사용자 단말(10)에 전송할 수 있다. 예시적으로 영상에서 인식된 음식들이 인스턴트 음식들인 햄버거와 콜라인 경우 인식되지 않은 음식은 인스턴트 매장에서 판매하는 음식 중에서 추출할 수 있다 (예: 감자 튀김).
도 14는 영상의 음식에 대한 세부 분류를 알 수 없는 경우 미리 저장된 정보를 이용하여 세부 분류를 표시한 도면이다.
도 14를 참조하면, 외부에서 내용물이 보이지 않는 김밥이나 국물 요리들은 해당 영상만으로 상세 분류를 제시하기 어려운 문제가 있다. 따라서 사용자는 세밀한 영양관리를 하기 어려운 문제가 있다.
서버(20)는 음식 영상을 판별한 결과 음식의 세부 분류를 제공하기 어렵다고 판단되는 경우, 대분류에 따라 미리 선호도가 반영되어 정의된 세부 분류를 사용자 단말(10)에 전송할 수 있다. 즉, 대분류가 김밥으로 판단되었으나 어떤 종류인지 알기 어려운 경우 미리 정해진 세부 분류표에 따라 세부 분류를 사용자 단말(10)에 전송할 수 있다.
예시적으로 가장 유사하다고 판단된 후보 음식이 매우 높은 유사도를 갖는 반면 세부 분류가 어려운 경우, 나머지 후보 음식은 제거하고 가장 확률이 높은 음식의 세부 음식들만 사용자에게 제공할 수 있다. 예시적으로 가장 유사하다고 판단된 음식이 A로 판단된 경우 확률이 낮은 B, C 등은 제거하고 A의 세부 분류만을 제시할 수 있다.
또한, 판단된 후보 음식들이 모두 일정 확률 이하일 경우 각각의 후보 음식들의 세부 분류를 사용자에게 제공할 수 있다.
또한, 최초 예측 결과에서 세부분류를 할 수 없는 후보 음식이 1개 이상인 경우, 세부 분류들을 제1 후보 음식 내지 제N 후보 음식까지의 가중치를 가지고 리스트를 생성할 수 있다.
예시적으로, 가장 유사하다고 판단된 제1 후보 음식의 세부 분류는 5개까지 제공하고, 제2 후보 음식의 세부 분류는 3개까지 제공하고, 제3 후보 음식의 세부 분류는 2개까지 제공하고, 제4 후보 음식은 세부 분류를 1개만 제공할 수 있다. 그러나 반드시 이에 한정하는 것은 아니고 해당 확률 및 세부 분류 제공 방법 등은 사용자 및 프로그램에 의해 수정될 수 있다. 이때, 세부 분류는 일반적으로 사람들이 많이 섭취하는 음식의 우선순위에 따라 순위가 부여될 수 있다.
서버(20)는 미리 정의된 분류표를 이용하여 표시한 이후, 사용자가 세부 분류 중 어느 하나를 선택한 정보를 누적하여 모을 수 있다. 이후, 반복적인 사용에 의해 사용자의 선택 정보가 충분히 누적된 경우에는 사용자가 많이 선택한 항목을 우선적으로 표시할 수 있다.
예시적으로, 김밥의 세부 분류가 어려운 경우 사용자가 자주 선택한 순서대로 우선 순위를 부여할 수 있다. 예시적으로 사용자가 치즈 김밥(121), 소고기 김밥(122), 참치 김밥(123) 순으로 선호하였다면 이 순서대로 세부 분류를 표시할 수 있다.
도 15는 복수의 음식을 인식하는 방법을 설명하기 위한 도면이고, 도 16은 복수의 음식에 확률에 따른 음식 후보를 표시하는 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 서버(20)는 그릇과 같은 음식 용기의 에지 형상(E13 내지 E16)을 추출할 수 있다. 에지 형상을 추출하는 방법은 특별히 한정하지 않는다.
이후, 각 음식 용기의 에지(E13 내지 E16)를 기준으로 내부에 배치된 음식을 인식할 수 있다. 이때, 숟가락, 젓가락, 포크, 나이프 등의 집기(131)가 있는 경우 음식량을 측정하기 위한 기준을 삼을 수 있다. 일반적으로 집기의 규격은 대체로 일정하므로 이를 기준으로 음식량을 산정할 수 있다. 따라서, 사용자가 섭취한 음식물의 양을 정확하게 측정할 수 있다.
또한, 집기의 전체 길이가 나타나지 않은 경우 집기의 특징적인 부분을 이용하여 음식량을 산정할 수도 있다. 예시적으로 숟가락의 타원 부분(131a)의 면적을 기준으로 각 음식의 양을 비례적으로 산정할 수 있다. 또한, 식판(132)의 사각형 에지를 추출하여 비례적으로 음식량을 산정할 수도 있다.
도 16을 참조하면, 복수의 음식의 중앙에 유사도 값이 가장 높은 후보 음식을 표시할 수 있다. 유사도가 낮은 항목은 아래 부분에 작게 표시할 수 있다. 그러나, 반드시 이에 한정하는 것은 아니고 사용자가 해당 음식을 터치하면 확률에 따른 전체 리스트를 화면에 표시할 수도 있다.
텍스트는 영상의 색을 반영하여 눈에 잘 띄는 색상을 선정하여 표시할 수 있다. 예시적으로 음식이 하얀색일 경우 검정 글씨로 표시할 수 있고, 어두운 음식일 경우에는 흰색 또는 노란색 글씨로 표시할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 사용자 단말
20: 영양 관리 서버
22: 영양 관리부
26: 영상 인식부

Claims (10)

  1. 음식물 정보가 포함된 영상을 획득하는 단계;
    상기 영상에 포함된 음식물을 판별하는 단계; 및
    상기 음식물에 따른 관리 정보를 생성하는 단계를 포함하고,
    상기 판별하는 단계는,
    상기 음식물의 종류를 판별할 수 없는 경우, 미리 정해진 유사도 값 이상을 획득한 복수 개의 항목을 사용자 클라이언트로 전송하고,
    상기 복수 개의 항목 중에서 상기 사용자 클라이언트에 의해 선택된 항목을 사용자가 선택한 음식물로 판단하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  2. 제1항에 있어서,
    상기 판별하는 단계에서,
    상기 영상이 복수 개의 음식물을 포함하고 있는 경우,
    상기 영상에서 인식 가능한 음식물을 추출하고, 상기 인식된 음식물 영상에 선택 영역 이미지를 오버랩시켜 상기 사용자 클라이언트로 전송하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  3. 제2항에 있어서,
    상기 판별하는 단계에서,
    상기 사용자 클라이언트에서 상기 선택 영역 이미지가 이동된 경우, 상기 선택 영역 이미지가 이동한 지점의 음식물을 사용자가 선택한 음식물로 판단하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  4. 제3항에 있어서,
    상기 판별하는 단계에서,
    상기 선택 영역 이미지가 이동한 부분의 음식물을 인식할 수 없는 경우 나머지 인식 가능한 음식과 가장 연관성이 높은 음식물 리스트를 제공하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  5. 제2항에 있어서,
    상기 선택 영역 이미지는 상기 인식 가능한 음식물의 에지 형상과 매칭되게 설정되는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  6. 제1항에 있어서,
    상기 판별하는 단계에서,
    상기 영상에서 상기 음식물의 세부 분류를 판단할 수 없는 경우, 상기 음식물과 관련하여 미리 저장된 후보 세부 리스트를 제공하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  7. 제6항에 있어서,
    상기 후보 세부 리스트는 사용자의 선호도가 가장 높은 순으로 제공하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  8. 제1항에 있어서,
    상기 판별하는 단계에서,
    상기 영상이 복수 개의 음식물을 포함하고 있는 경우,
    상기 영상에서 상기 음식물이 담긴 음식용기의 에지 형상을 추출하고, 상기 추출된 음식용기의 내측에 배치된 음식물을 분석하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  9. 제1항에 있어서,
    상기 판별하는 단계와 관리 정보를 생성하는 단계 사이에 음식물 양을 측정하는 단계를 포함하고,
    상기 음식물 양을 측정하는 단계는,
    상기 영상에 포함된 집기의 에지 영역을 검출하고, 상기 집기의 길이를 기준으로 음식물의 양을 추정하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
  10. 제1항에 있어서,
    상기 관리 정보를 생성하는 단계는,
    상기 사용자가 선택한 프로그램에 따라 상기 음식물의 섭취 가능 여부, 섭취량, 또는 대체 가능 음식 정보 중 적어도 하나를 출력하는, 음식 영상을 이용한 영영 관리 및 질병 관리 방법.
KR1020170141013A 2017-10-27 2017-10-27 음식 영상을 이용한 영양관리 및 질병관리 방법 KR102268102B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170141013A KR102268102B1 (ko) 2017-10-27 2017-10-27 음식 영상을 이용한 영양관리 및 질병관리 방법
KR1020210078221A KR102326540B1 (ko) 2017-10-27 2021-06-16 음식 영상을 이용한 영양관리 및 질병관리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170141013A KR102268102B1 (ko) 2017-10-27 2017-10-27 음식 영상을 이용한 영양관리 및 질병관리 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210078221A Division KR102326540B1 (ko) 2017-10-27 2021-06-16 음식 영상을 이용한 영양관리 및 질병관리 방법

Publications (2)

Publication Number Publication Date
KR20190047296A true KR20190047296A (ko) 2019-05-08
KR102268102B1 KR102268102B1 (ko) 2021-06-22

Family

ID=66580366

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170141013A KR102268102B1 (ko) 2017-10-27 2017-10-27 음식 영상을 이용한 영양관리 및 질병관리 방법
KR1020210078221A KR102326540B1 (ko) 2017-10-27 2021-06-16 음식 영상을 이용한 영양관리 및 질병관리 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210078221A KR102326540B1 (ko) 2017-10-27 2021-06-16 음식 영상을 이용한 영양관리 및 질병관리 방법

Country Status (1)

Country Link
KR (2) KR102268102B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182873A1 (ko) * 2022-03-25 2023-09-28 주식회사 누비랩 인공지능 기반 식사 모니터링 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230083603A (ko) 2021-12-03 2023-06-12 박병혁 데이터베이스를 이용한 음식 별 정량 섭취 단위 환산 및 상품 구매 서비스 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164038A (ja) * 2002-11-08 2004-06-10 Masaru Mizutani カメラ付き携帯電話機を用いた栄養管理システム
KR20140049810A (ko) * 2012-10-18 2014-04-28 주식회사 핸디소프트 상황인식 기반의 음식추천 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004350A (ja) * 2015-06-12 2017-01-05 株式会社リコー 画像処理装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164038A (ja) * 2002-11-08 2004-06-10 Masaru Mizutani カメラ付き携帯電話機を用いた栄養管理システム
KR20140049810A (ko) * 2012-10-18 2014-04-28 주식회사 핸디소프트 상황인식 기반의 음식추천 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182873A1 (ko) * 2022-03-25 2023-09-28 주식회사 누비랩 인공지능 기반 식사 모니터링 방법 및 장치

Also Published As

Publication number Publication date
KR102326540B1 (ko) 2021-11-16
KR102268102B1 (ko) 2021-06-22
KR20210075955A (ko) 2021-06-23

Similar Documents

Publication Publication Date Title
US9977980B2 (en) Food logging from images
US20230078186A1 (en) Providing automatically-edited user-customized digital images to a user in real-time or just-in-time
US20210383457A1 (en) Self-shopping refrigerator
Zhang et al. “snap-n-eat” food recognition and nutrition estimation on a smartphone
US9916520B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
JP3171825U (ja) 健康管理機能を具有する電子スケール
He et al. DietCam: multiview food recognition using a multikernel SVM
US20120096405A1 (en) Apparatus and method for diet management
KR102326540B1 (ko) 음식 영상을 이용한 영양관리 및 질병관리 방법
US20220093234A1 (en) Systems, methods and devices for monitoring, evaluating and presenting health related information, including recommendations
US20220198338A1 (en) Method for and system for predicting alimentary element ordering based on biological extraction
EP3502917A1 (en) Medical checkup result output apparatus and operation method and operation program thereof
US20210391047A1 (en) Document creation apparatus, method, and program
JP2018049584A (ja) 食事量推定プログラム、食事量推定方法及び食事量推定装置
Nagarajan et al. Nutritional monitoring in older people prevention services
WO2019123728A1 (ja) 食事履歴蓄積システム
CN111951928A (zh) 控制卡路里摄入量的方法、移动终端和计算机存储介质
KR102110766B1 (ko) 음식 적합도에 기초한 요리 정보 제공 방법 및 장치
Hakguder et al. Smart Diet Management through Food Image and Cooking Recipe Analysis
JP7229083B2 (ja) 健康状態予測システムおよびプログラム
US20220365962A1 (en) Method and Apparatus for Inputting Food Information
KR20230151938A (ko) 식단 관리 방법 및 상기 식단 관리 방법을 수행하는 식단 관리 서버 및 사용자 단말
CN118260476A (zh) 建议信息的确定方法、装置、设备及存储介质
KR20230120697A (ko) 청소년 성장 및 기저질환 환자의 식단 관리 시스템
KR20210049704A (ko) 음식 측정 방법, 장치, 및 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
A107 Divisional application of patent
GRNT Written decision to grant