KR101789732B1 - 식품 정보 제공 방법 및 장치 - Google Patents

식품 정보 제공 방법 및 장치 Download PDF

Info

Publication number
KR101789732B1
KR101789732B1 KR1020150107090A KR20150107090A KR101789732B1 KR 101789732 B1 KR101789732 B1 KR 101789732B1 KR 1020150107090 A KR1020150107090 A KR 1020150107090A KR 20150107090 A KR20150107090 A KR 20150107090A KR 101789732 B1 KR101789732 B1 KR 101789732B1
Authority
KR
South Korea
Prior art keywords
food
user
volume
light
calorie
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150107090A
Other languages
English (en)
Other versions
KR20170014181A (ko
Inventor
피도연
Original Assignee
피도연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피도연 filed Critical 피도연
Priority to KR1020150107090A priority Critical patent/KR101789732B1/ko
Priority to PCT/KR2016/008295 priority patent/WO2017018828A1/ko
Priority to CN201680044262.5A priority patent/CN107851459A/zh
Publication of KR20170014181A publication Critical patent/KR20170014181A/ko
Application granted granted Critical
Publication of KR101789732B1 publication Critical patent/KR101789732B1/ko
Priority to US15/879,733 priority patent/US20180149583A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/171—Systems in which incident light is modified in accordance with the properties of the material investigated with calorimetric detection, e.g. with thermal lens detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Nutrition Science (AREA)
  • Food Science & Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Medicinal Chemistry (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Child & Adolescent Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

사용자가 섭취하려는 식품의 종류, 전체 칼로리 및 적정 섭취 칼로리 등의 식품 정보를 편리하게 확인할 수 있는 식품 정보 제공 방법 및 장치가 개시된다.
일 실시예에 따른 식품 정보 제공 장치는 사용자가 섭취할 식품의 광 스펙트럼을 획득하는 광 스펙트럼 획득부; 상기 식품의 깊이 영상을 획득하는 깊이 영상 획득부; 및 상기 식품의 광 스펙트럼에 기초하여 상기 식품의 종류를 식별하는 제어부를 포함하되, 상기 제어부는 상기 식품의 깊이 영상에서 검출된 식품 영역을 기준으로 도형을 설정하고, 상기 설정된 도형에 기초하여 상기 식별된 식품의 부피, 전체 칼로리 및 적정 섭취 칼로리 중 적어도 하나를 계산한다.

Description

식품 정보 제공 방법 및 장치{Method and apparatus for providing food information}
식품 정보 제공 방법 및 장치가 개시된다. 더욱 상세하게는 식사 전 또는 식사 후에 식품 정보를 사용자에게 제공함으로써, 사용자의 건강을 유지하거나 개선하는데 도움을 줄 수 있는 식품 정보 제공 방법 및 장치가 개시된다.
사람들은 일상 생활 속에서 다양한 종류의 식품을 섭취한다. 적정 칼로리의 식품을 섭취하는 것은 건강에 도움이 되지만, 일일 권장량 이상의 칼로리를 지속적으로 섭취하는 것은 건강에 좋지 않다.
그러나 사람들이 섭취하려는 식품의 칼로리가 얼마인지, 적정 섭취 칼로리가 얼마인지 등을 일일이 확인하고 관리하기란 쉽지 않다.
대한민국등록특허 10-0824350 (발명의 명칭: 실시간 식품물 정보 제공 방법 및 장치, 등록일: 2008년 4월 22일)
사용자가 섭취하려는 식품의 종류, 전체 칼로리 및 적정 섭취 칼로리 등의 식품 정보를 편리하게 확인할 수 있는 식품 정보 제공 방법 및 장치가 개시된다.
상술한 과제를 해결하기 위하여, 일 실시 예에 따른 식품 정보 제공 장치는 사용자가 섭취할 식품의 광 스펙트럼을 획득하는 광 스펙트럼 획득부; 상기 식품의 깊이 영상을 획득하는 깊이 영상 획득부; 및 상기 식품의 광 스펙트럼에 기초하여 상기 식품의 종류를 식별하는 제어부를 포함하되, 상기 제어부는 상기 식품의 깊이 영상에서 검출된 식품 영역을 기준으로 도형을 설정하고, 상기 설정된 도형에 기초하여 상기 식별된 식품의 부피, 전체 칼로리 및 적정 섭취 칼로리 중 적어도 하나를 계산한다.
상기 제어부는 상기 검출된 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표로 변환하고, 상기 실세계 좌표로 변환된 식품 영역을 포함하도록 하나 이상의 도형을 설정한다.
상기 제어부는 상기 검출된 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표로 변환하고, 상기 실세계 좌표로 변환된 식품 영역 내에 하나 이상의 도형을 설정한다.
상기 도형은 구, 원뿔, 원기둥 및 육면체 중 적어도 하나를 포함하는 입체 도형을 의미할 수 있다.
식품 정보 테이블을 저장하는 저장부를 더 포함하되, 상기 식품 정보 테이블은 식품의 종류, 상기 각 식품의 고유의 광 스펙트럼에 대한 유형 및 상기 각 식품의 단위 부피당 칼로리 중 적어도 하나를 포함한다.
상기 제어부는 상기 식별된 식품의 단위 부피당 칼로리를 상기 식품 정보 테이블로부터 획득하고, 상기 식별된 식품의 단위 부피당 칼로리와 상기 식별된 식품의 부피에 기초하여, 상기 식별된 식품의 전체 칼로리를 계산한다.
상기 제어부는 상기 사용자의 현재의 신체 정보 및 상기 사용자가 목표로하는 신체 정보 중 적어도 하나를 참조하여, 상기 식별된 식품에 대한 적정 섭취 칼로리를 계산한다.
상기 식별된 식품의 종류, 상기 식별된 식품의 전체 칼로리 및 상기 식별된 식품의 적정 섭취 칼로리 중 적어도 하나의 식품 정보를 문자, 영상 및 음성 중 적어도 하나의 형식으로 출력하는 출력부를 더 포함한다.
상기 제어부는 상기 식품을 촬영한 영상에서 상기 식품에 대응하는 식품 영역을 검출하고, 상기 검출된 식품 영역 중 상기 적정 섭취 칼로리에 대응하는 영역을 강조처리하여 표시한다.
상술한 과제를 해결하기 위하여, 일 실시 예에 따른 식품 정보 제공 방법은 사용자가 섭취할 식품의 광 스펙트럼을 획득하는 단계; 상기 식품의 깊이 영상을 획득하는 단계; 상기 식품의 광 스펙트럼에 기초하여 상기 식품의 종류를 식별하는 단계; 및 상기 식품의 깊이 영상에서 검출된 식품 영역을 기준으로 도형을 설정하고, 상기 설정된 도형에 기초하여 상기 식별된 식품의 부피, 전체 칼로리 및 적정 섭취 칼로리 중 적어도 하나를 계산하는 단계를 포함한다.
사용자가 섭취하려는 식품을 촬영하면, 해당 식품의 종류, 전체 칼로리 및 적정 섭취 칼로리 등의 식품 정보가 사용자에게 제공되므로, 식품 섭취 전에 사용자를 각성시킬 수 있으며, 사용자가 식품을 과하게 섭취하는 것을 예방할 수 있다.
사용자가 섭취하려는 식품의 적정 섭취 칼로리가 사용자 정보에 기초하여 계산되고, 계산된 적정 섭취 칼로리는 영상 내의 식품 영역에 중첩되어 시각적으로 표시되므로, 사용자가 해당 식품에 대한 적정 섭취 칼로리를 직관적으로 인지할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 식품 정보 제공 장치의 구성을 도시한 도면이다.
도 2는 도 1의 식품 정보 제공 장치를 이용하여 식품을 촬영하는 것을 예시한 도면이다.
도 3은 도 1의 식품 정보 제공 장치를 이용하여 측정한 식품별 광 스펙트럼을 예시한 도면이다.
도 4는 도 1의 식품 정보 제공 장치를 이용하여 측정한 광 스펙트럼을 기초로 식품의 종류를 식별하는 과정을 설명하기 위한 도면이다.
도 5 내지 도 8은 도 1의 식품 정보 제공 장치를 이용하여 획득한 영상을 기초로 식품의 전체 칼로리 및 식품의 적정 섭취 칼로리를 계산하는 과정과, 계산된 정보들의 표시 방식을 설명하기 위한 도면들이다.
도 9는 본 발명의 일 실시 예에 따른 식품 정보 제공 방법을 도시한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 출입문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 도면에서 동일한 도면 부호는 동일한 구성 요소를 나타낸다.
도 1은 본 발명의 일 실시 예에 따른 식품 정보 제공 장치(100)의 구성을 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 식품 정보 제공 장치(100)를 이용하여 식품을 촬영하는 것을 예시한 도면이다.
도 1을 참조하면, 일 실시 예에 따른 식품 정보 제공 장치(100)는 전원부(110), 광 스펙트럼 획득부(120), 깊이 영상 획득부(130), 저장부(140), 입력부(150), 출력부(160) 및 제어부(170)를 포함한다.
전원부(110)는 식품 정보 제공 장치(100)의 각 구성요소들로 전원을 공급한다. 일 실시 예에 따르면, 전원부(110)는 식품 정보 제공 장치(100)로부터 기계적 및 전기적으로 분리 가능하도록 구현될 수 있다. 분리된 전원부(110)는 여분의 다른 전원부(도시되지 않음)로 교체될 수 있다. 다른 실시 예에 따르면, 전원부(110)는 식품 정보 제공 장치(100)와 일체형으로 구현될 수도 있다. 이 경우, 전원부(110)는 별도로 마련된 충전 장치(도시되지 않음)로부터 전력을 공급받아 충전될 수 있다. 이 때, 전원부(110)는 유선전력전송 기술 또는 무선전력전송 기술에 따라 충전 장치로부터 전력을 공급받을 수 있다. 후자의 경우, 충전 장치는 충전 장치 위에 식품 정보 제공 장치(100)가 놓여졌는지를 감지하고, 식품 정보 제공 장치(100)가 놓여진 것으로 감지된 경우, 무선전력전송 기술에 따라 식품 정보 제공 장치(100)의 전원부(110)로 전력을 공급한다. 무선전력전송 기술은 자기유도(Magnetic Induction, MI) 방식, 자기공명(Magnetic Resonant, MR) 방식, 마이크로파 라디에이션(Microwave Radiation) 방식으로 구분될 수 있으며, 전원부(110)는 예시된 방식들 중 하나에 따라 무선으로 전력을 공급받을 수 있다.
광 스펙트럼 획득부(120)는 식품(F1, F2)을 촬영하여 식품(F1, F2)에 관한 광 스펙트럼을 획득한다. 구체적으로, 광 스펙트럼 획득부(120)는 식품(F1, F2)의 영상 또는 식품(F1, F2)으로부터 반사되는 반사광을 촬영 및 취득하여, 해당 식품(F1, F2)에 관한 광 스펙트럼을 획득할 수 있다.
깊이 영상 획득부(130)는 식품에 관한 깊이 영상을 획득한다. 깊이 영상을 획득하기 위해서 극초단파(microwave), 광파(light wave), 초음파(ultrasonic wave)가 사용될 수 있다. 광파를 이용한 방식으로는 삼각 측량(triangulation) 방법, 시간 지연 측정(time-of-flight) 방법 및 간섭 측정(interferometry) 방법을 예로 들 수 있다. 깊이 영상 획득부(130)는 예시된 방법들 중 하나를 이용하여 식품(F1, F2)에 관한 깊이 영상을 획득할 수 있다.
삼각 측량(triangulation) 방법에 기반한 깊이 영상 획득부(130)는 인간의 두 눈과 같이 특정한 베이스라인(baseline)을 가지는 두 개의 카메라(이하, '스테레오 카메라'라 한다)에서 각각 영상을 획득하고, 두 영상에서의 대응점을 찾아 깊이 영상을 획득한다.
한편, 스테레오 카메라에서 하나의 카메라는 패턴을 투사할 수 있는 패턴 프로젝터로 대체될 수 있다. 패턴 프로젝터는 미리 정의된 패턴의 광 즉, 구조광(structured light)을 물체(예를 들어, 식품)의 표면으로 조사한다. 물체의 표면으로 조사된 구조광은 물체의 표면이 가지는 굴곡에 의해 왜곡된다. 물체의 표면에 의해 왜곡된 구조광은 패턴 프로젝터와 다른 위치에 배치된 카메라에 의해 촬영된다. 패턴 프로젝터에서 조사된 구조광과 물체의 표면의 굴곡에 의해 왜곡된 구조광을 비교하면, 물체의 깊이 영상을 획득할 수 있다.
시간 지연 측정 방법에 기반한 깊이 영상 획득부(130)는 특정 광파를 물체로 조사한 후 되돌아 오는 시간을 측정하여 물체에 대한 깊이 영상을 획득한다. 이를 위하여 깊이 영상 획득부(130)는 예를 들어, TOF 센서를 포함할 수 있다. TOF 센서는 특정 주파수의 신호로 변조된 빛을 송신하는 송신부와, 물체에서 반사되어 되돌아오는 빛을 수신하는 수신부를 포함할 수 있다.
저장부(140)는 비휘발성 메모리, 휘발성 메모리, 내장형 메모리, 착탈 가능한 외장형 메모리, 하드 디스크, 광 디스크, 광자기 디스크, 또는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다. 외장형 메모리로는 외장형 메모리로는 SD 카드(Secure Digital card), 미니 SD 카드, 및 마이크로 SD 카드를 예로 들 수 있다.
이러한 저장부(140)는 식품 정보 제공 장치(100)가 동작하는데 필요한 데이터, 소프트웨어 및 어플리케이션 중 적어도 하나를 저장한다. 예를 들어, 저장부(140)는 식품 정보 데이터베이스를 저장한다. 식품 정보 데이터베이스는 식품의 종류, 각 식품별 고유의 광 스펙트럼 정보, 및 각 식품별 단위 부피당 칼로리 정보를 포함할 수 있다.
식품 정보 데이터베이스는 지속적으로 갱신될 수 있다. 예를 들어, 새로운 식품에 대한 광 스펙트럼 정보 및 단위 부피당 칼로리 정보는 유무선 네트워크를 통해 저장부(140)로 다운로드될 수 있다. 다른 예로, 기존의 식품 정보 데이터베이스가 저장된 착탈형 디스크를 새로운 식품 정보 데이터베이스가 저장된 착탁형 디스크로 교체함으로써, 식품 정보 데이터베이스를 갱신할 수도 있다.
이외에도 저장부(140)는 사용자 정보를 저장할 수 있다. 사용자 정보로는 식별 정보 및 신체 정보를 예로 들 수 있다. 식별 정보는 사용자를 식별할 수 있는 정보를 말하는 것으로 이름, 아이디 및 비밀번호 등을 예로 들 수 있다. 신체 정보는 사용자의 신체에 대한 각종 정보를 말하는 것으로, 성별, 나이, 키, 몸무게, 신체 각 부분의 길이 및 신체 각 부분의 둘레를 예로 들 수 있다. 예시된 바와 같은 사용자 정보는 사용자에 의해 직접 입력된 것이거나, 다른 장치(도시되지 않음)로부터 유무선 네트워크를 통해 수신된 것이거나, 사용자를 촬영한 영상으로부터 검출된 것일 수 있다.
입력부(150)는 사용자로부터 명령이나 정보를 입력받는다. 이를 위하여 입력부(150)는 터치 패드, 키 패드, 버튼, 스위치, 조그 휠, 또는 이들의 조합으로 이루어진 입력 수단을 포함할 수 있다. 터치 패드는 후술될 출력부(160)의 디스플레이(161)에 적층되어 터치 스크린(touch screen)을 구성할 수 있다.
출력부(160)는 명령 처리 결과나 각종 정보를 사용자에게 출력한다. 예를 들어, 출력부(160)는 사용자가 섭취하려는 식품(F1, F2)의 식품 정보를 출력한다. 식품 정보로는 사용자가 섭취하려는 식품의 종류, 전체 칼로리 및 적정 섭취 칼로리를 예로 들 수 있다. 예시된 바와 같은 식품 정보는 문자, 영상 및 음성 중 적어도 하나의 형태로 출력될 수 있다. 이를 위하여, 출력부(160)는 디스플레이(161) 및 스피커(162)를 포함할 수 있다. 디스플레이(161)는 평판 디스플레이(Flat panel display), 연성 디스플레이(Flexible display), 불투명 디스플레이, 투명 디스플레이, 전자종이(Electronic paper, E-paper), 또는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 형태로 제공될 수 있다. 출력부(160)는 디스플레이(161) 및 스피커(162) 외에도 본 발명이 속하는 기술분야에서 잘 알려진 임의의 형태의 출력 수단을 더 포함하여 구성될 수도 있다.
제어부(170)는 식품 정보 제공 장치(100) 내의 다른 구성요소들을 연결하고 제어한다. 일 예로, 제어부(170)는 광 스펙트럼 획득부(120)에 의해 획득된 광 스펙트럼 정보와 식품 정보 데이터베이스에 저장되어 있는 광 스펙트럼 정보를 비교하여, 사용자가 섭취하려는 식품의 종류를 식별한다. 식별된 식품의 종류는 문자, 영상, 음성, 또는 이들의 조합으로 출력될 수 있다.
다른 예로, 제어부(170)는 사용자가 섭취하려는 식품의 전체 칼로리를 계산한다. 구체적으로, 깊이 영상 획득부(130)에 의해 식품의 깊이 영상이 획득되면, 제어부(170)는 깊이 영상으로부터 식품 영역을 검출하고, 검출된 식품 영역에 대응하는 도형을 설정한다. 이후, 제어부(170)는 설정된 도형에 기초하여 식품 영역의 부피를 계산한다. 그 다음, 제어부(170)는 저장부(140)에 저장된 식품 정보 데이터베이스를 검색하여, 해당 식품의 단위 부피당 칼로리 정보를 획득한다. 그리고 단위 부피당 칼로리 정보와 계산된 부피를 곱하여 해당 식품의 전체 칼로리를 계산한다. 계산된 전체 칼로리는 문자, 영상, 음성, 또는 이들의 조합으로 출력될 수 있다.
또 다른 예로, 제어부(170)는 사용자가 섭취하려는 식품의 적정 섭취 칼로리를 계산한다. 해당 식품에 대한 적정 섭취 칼로리는 사용자의 현재 신체 정보 및/또는 사용자가 목표로하는 신체 정보에 기초하여 계산될 수 있다. 일 예로, 사용자가 현재와 같은 신체 정보를 유지하기를 원하는 경우, 제어부(170)는 사용자의 현재의 신체 정보에 기초하여, 일일 권장 칼로리를 계산한다. 그리고 일일 권장 칼로리와 사용자가 현재까지 섭취한 칼로리에 기초하여, 사용자가 섭취하려고 하는 식품에 대한 적정 섭취 칼로리를 계산한다. 계산된 적정 섭취 칼로리는 문자, 영상, 음성, 또는 이들의 조합으로 출력될 수 있다.
제어부(170)는 상술한 바와 같은 식품 정보를 문자, 영상, 음성, 또는 이들의 조합으로 출력한다. 예를 들어, 제어부(170)는 소정 식품에 대한 적정 섭취 칼로리를 계산한 다음, 계산된 적정 섭취 칼로리에 대응하는 부피를 산출하고, 산출된 부피에 대응하는 식품 영역을 강조(highlight)하여 디스플레이(161)를 통해 표시할 수 있다.
한편, 도 1에 도시된 기능적 블록들은 본 발명의 식품 정보 제공 장치(100)의 실시 예를 설명하기 위하여 예시된 것에 불과하며, 본 발명의 식품 정보 제공 장치(100)는 도 1에 도시된 기능적 블록들 중 일부가 생략될 수도 있고, 도 1에 도시되지 않은 새로운 기능적 블록이 추가될 수도 있다. 예를 들면, 식품 정보 제공 장치(100)는 도 1에 도시된 구성요소들 외에도 식품(F1, F2)에 대한 컬러 영상을 획득하는 컬러 영상 획득부(도시되지 않음)를 더 포함할 수 있다. 컬러 영상 획득부는 예를 들어, CCD(Charge Coupled Device) 영상 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 영상 센서를 포함할 수 있다.
상술한 바와 같은 식품 정보 제공 장치(100)는 유무선 통신 장치를 포함할 수 있다. 통신 장치로는 개인용 컴퓨터(Personal Computer; PC), 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant), 스마트폰(Smart phone), 태블릿(tablet), 왑폰(WAP phone; W적외선eless Application Protocao phone) 및 모바일 게임기를 예로 들 수 있다. 예시된 바와 같은 디지털 장치는 사용자의 신체에 착용 가능한 착용형 장치(wearable device)일 수도 있다.
도 3은 도 1의 식품 정보 제공 장치(100)를 이용하여 측정한 식품별 광 스펙트럼을 예시한 도면이다.
도 3을 참조하면, 제1 식품(F1)과 제2 식품(F2)은 서로 다른 광 스펙트럼을 갖는 것을 알 수 있다. 구체적으로, 제1 식품(F1)의 광 스펙트럼에서는 장파장 대역(약 700nm 인근으로 예시됨)의 광의 강도가 약 10 정도로 다른 대역에 비하여 광의 강도가 우세할 수 있다. 제2 식품(F2)의 광 스펙트럼에서는 중간 대역(약 300nm 근방으로 예시)의 광의 강도가 약 10 정도로 다른 대역에 비하여 광 강도가 우세할 수 있다. 즉, 각각의 식품은 서로 다른 고유의 광 스펙트럼을 가질 수 있고, 식품 정보 제공 장치(100)는 각 식품의 광 스펙트럼을 분석함으로써 해당 식품의 종류를 식별할 수 있다.
도 4는 도 1의 식품 정보 제공 장치(100)를 이용하여 측정한 광 스펙트럼을 기초로 식품의 종류를 식별하는 과정을 설명하기 위한 도면이다.
도 4의 좌측에는 식품 정보 테이블(141)이 예시되어 있다. 식품 정보 테이블(141)의 가로축에는 식품의 "종류"가 나열되고, 세로축에는 각 식품의 종류에 대한 "유형"이 나열된다. 여기서, "유형"은 각 식품의 고유의 광 스펙트럼을 특징지을 수 있는 값들을 의미한다. 예를 들어, 유형은 광 스펙트럼의 어떠한 파장 대역에서 광의 강도가 우세한지, 파장의 증가 또는 감소에 따라 광 스펙트럼의 변동이 어떠한지, 광 스펙트럼의 전체적인 강도가 어떠한지, 또는 광 스펙트럼의 파장 대역별 광의 평균 강도는 어떠한지 등과 같은 값들을 포함할 수 있으나, 예시된 것들로 반드시 제한되는 것은 아니다. 이하의 설명에서는 각 식품의 고유의 광 스펙트럼을 특징지을 수 있는 값들로서, 광 스펙트럼의 파장 대역별 광의 평균 강도를 예로 들어 설명하기로 한다.
도 4의 식품 정보 테이블(141)에는 5개의 유형(A, B, C, D, E)이 예시되어 있다. 여기서, 유형(A)는 소정 식품에 대하여 측정된 광 스펙트럼 중에서 가장 짧은 파장 대역의 광의 평균 강도를 의미한다. 그리고, 유형(E)는 소정 식품에 대하여 측정된 광 스펙트럼 중에서 가장 긴 파장 대역의 광의 평균 강도를 의미한다. 유형(B)는 유형(A)보다 긴 파장 대역의 광의 평균 강도를 의미하고, 유형(C)는 유형(B)보다 긴 파장 대역의 광의 평균 강도를 의미하며, 유형(D)는 유형(C)보다 긴 파장 대역의 광의 평균 강도를 의미한다. 도 4에 도시된 바와 같은 식품 정보 테이블(141)은 저장부(140)의 식품 정보 데이터베이스에 저장될 수 있다.
한편, 도 4의 우측에는 제1 식품(F1)의 광 스펙트럼의 유형별 값과, 제2 식품(F2)의 광 스펙트럼의 유형별 값이 예시되어 있다. 도 4에 도시된 바와 같이, 제1 식품(F1)의 광 스펙트럼의 유형별 값이 각각 'a1', 'b1', 'c1', 'd1' 및 'e1'인 경우, 이는 식품 정보 테이블(141)에 저장되어 있는 식품들 중에서 '구운 소고기'의 광 스펙트럼의 유형별 값과 비교 및 매칭될 수 있다. 이에 따라, 제어부(170)는 제1 식품(F1)의 종류를 '구운 소고기'로 식별할 수 있다.
마찬가지로, 제2 식품(F2)의 광 스펙트럼의 유형별 값이 각각 'a2', 'b2', 'c2', 'd2', 'e2'인 경우, 이는 식품 정보 테이블(141)에 저장되어 있는 식품들 중에서 '양배추'의 광 스펙트럼의 유형별 값과 비교 및 매칭될 수 있다. 이에 따라, 제어부(170)는 제2 시기품(F2)의 종류를 '양배추'로 식별할 수 있다.
한편, 도 4에는 도시되어 있지 않지만, 식품 정보 테이블(141)은 각 식품의 단위 부피당 칼로리 정보를 더 포함할 수 있다.
도 5 내지 도 8은 식품 정보 제공 장치(100)를 이용하여 촬영한 영상을 기초로 식품의 전체 칼로리 및 식품의 적정 섭취 칼로리를 계산하는 과정과, 계산된 정보들의 표시 방식을 설명하기 위한 도면들이다.
예를 들어, 사용자가 제1 식품(F1)을 섭취하려는 경우, 사용자는 식품 정보 제공 장치(100)를 이용하여 제1 식품(F1)을 촬영한다. 그러면 깊이 영상 획득부(130)에 의해 제1 식품(F1)에 대한 깊이 영상이 획득된다. 컬러 영상 획득부가 추가로 구비된 경우라면, 제1 식품(F1)에 대한 컬러 영상도 획득된다. 이 경우, 제1 식품(F1)에 대한 컬러 영상은 디스플레이(161)를 통해 실시간으로 표시될 수 있으며, 제1 식품(F1)에 대한 깊이 영상은 디스플레이(161)를 통해 표시되는 대신, 제어부(170)로 제공될 수 있다.
제어부(170)는 획득된 깊이 영상에서 제1 식품(F1)에 대응하는 영역인 식품 영역을 검출한 다음, 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표(world coordinate)로 변환한다.
그 다음, 제어부(170)는 실세계 좌표로 변환된 식품 영역(210)을 포함하도록 도형(220)을 설정한다. 상기 도형(220)은 구, 원뿔, 원기둥 및 육면체 등의 입체 도형을 포함한다. 도 5는 식품 영역(210)을 포함하는 도형(220)으로서, 하나의 원기둥이 설정된 경우를 도시하고 있다. 그러나 본 발명이 예시된 것으로 반드시 한정되는 것은 아니다. 다른 실시 예에 따르면, 식품 영역(210)을 포함하는 도형으로서, 복수개의 도형이 설정될 수도 있다. 이 때, 복수개의 도형은 크기가 다른 닮은꼴 도형일 수도 있고, 크기 및 모양이 다른 도형일 수도 있다. 식품 영역(210)을 중심으로 하나의 도형을 설정하는 대신, 복수개의 도형을 설정하면, 식품 영역(210)에 대한 보다 정확한 부피를 계산할 수 있으므로, 제1 식품(F1)의 전체 칼로리를 보다 정확하게 계산할 수 있다. 이하, 설명의 편의를 위하여, 실세계 좌표로 변환된 식품 영역(210)을 기준으로 하나의 원기둥이 설정되는 경우를 예로 들어 설명하기로 한다.
도 5에 도시된 바와 같이, 식품 영역(210)을 중심으로 도형(220)이 설정되면, 제어부(170)는 설정된 도형(220)에 기초하여 제1 식품(F1)의 부피를 계산한다. 예를 들어, 제어부(170)는 원기둥(220)의 밑면의 면적과 원기둥(220)의 높이에 기초하여, 원기둥(220)의 부피를 계산한다. 이 때, 계산된 원기둥(220)의 부피는 제1 식품(F1)의 부피인 것으로 이해될 수 있다.
이러한 방식으로 제1 식품(F1)의 부피가 계산되면, 제어부(170)는 식품 정보 테이블(141)에서 제1 식품(F1) 즉, '구운 소고기'의 단위 부피당 칼로리 정보를 획득한다. 그 다음, 제어부(170)는 앞서 계산된 도형(220)의 부피에 단위 부피당 칼로리 정보를 곱하여, 제1 식품(F1)의 전체 칼로리를 계산한다.
제1 식품(F1)의 전체 칼로리가 계산되면, 제어부(170)는 사용자의 현재의 신체 정보 및/또는 사용자가 목표로하는 신체 정보에 기초하여, 제1 식품(F1)에 대한 적정 섭취 칼로리를 계산한다. 구체적으로, 사용자가 현재의 몸무게를 유지하기를 원하는 경우라면, 제어부(170)는 사용자의 현재의 몸무게에 기초하여, 사용자에게 적합한 일일 권장 칼로리를 계산한 다음, 일일 권장 칼로리에서 사용자가 현재까지 섭취한 칼로리를 차감하여, 남은 섭취 칼로리를 계산한다. 그리고, 남은 섭취 칼로리와 제1 식품(F1)의 전체 칼로리를 비교하여, 제1 식품(F1)에 대한 적정 섭취 칼로리를 계산한다.
제어부(170)에 의해 식별된 제1 식품(F1)의 종류, 제어부(170)에 의해 계산된 제1 식품(F1)의 전체 칼로리 및 적정 섭취 칼로리 등을 포함하는 식품 정보는 문자, 영상, 음성, 또는 이들의 조합으로 출력될 수 있다. 출력할 식품 정보의 종류 및/또는 각 식품 정보의 출력 방식 등은 사전에 사용자에 의해 설정될 수 있다. 또한, 설정된 값은 식품 정보가 출력되고 있는 중에 변경될 수도 있다.
도 6은 제1 식품(F1)을 촬영한 영상과 함께 식품의 종류, 전체 칼로리 및 적정 섭취 칼로리 등의 식품 정보가 모두 문자로 표시된 경우를 도시하고 있다. 도 7은 제1 식품(F1)을 촬영한 영상과 함께 식품의 종류, 전체 칼로리 및 적정 섭취 칼로리 등의 식품 정보가 모두 문자로 표시됨과 동시에 적정 섭취 칼로리가 그래픽으로 표현된 경우를 도시하고 있다.
도 7과 같이 적정 섭취 칼로리를 그래픽으로 표현하기 위해서, 제어부(170)는 제1 식품(F1)에 대한 적정 섭취 칼로리를 부피로 환산한다. 그 다음, 제어부(170)는 환산된 부피가 도출되도록 하는 원기둥의 지름(또는 높이)을 산출한다. 그 다음, 제어부(170)는 산출된 지름(또는 높이)에 기초하여, 식품 영역(210)을 포함하도록 설정되어 있는 원기둥(220)의 크기를 조절한다. 도 8은 크기가 조절된 원기둥(220')을 도시하고 있다. 도 8과 도 5를 비교하면, 도 8의 원기둥(220')은 도 5의 원기둥(220)에 비하여 지름이 줄어든 것을 알 수 있다. 이후, 제어부(170)는 크기가 조절된 원기둥(220')에 포함되는 식품 영역(210')을 강조처리 한다. 그 결과, 도 7과 같이, 제1 식품(F1)의 적정 섭취 칼로리를 그래픽으로 표현할 수 있다. 도 7과 같이, 제1 식품(F1)의 적정 섭취 칼로리가 영상 내의 식품 영역에 중첩되어 표시되면, 사용자는 제1 식품(F1)에 대한 적정 섭취 칼로리를 직관적으로 인지할 수 있다. 또한, 사용자는 제1 식품(F1)에 대한 적정 섭취량을 인지한 상태에서 식사를 시작하게 되므로, 사용자가 제1 식품(F1)을 과하게 섭취할 확률을 낮출 수 있다.
이상, 도 1 내지 도 8을 참조하여, 일 실시 예에 따른 식품 정보 제공 장치(100)의 구성, 식품 정보 제공 장치(100)에서의 식품 정보 획득 과정, 획득된 식품 정보의 출력 방법 등에 대해서 설명하였다. 전술한 실시 예에서는 사용자가 식품 정보 제공 장치(100)를 이용하여 식사 전에 식품을 촬영하면, 촬영된 영상에 해당 식품의 식품 정보가 함께 표시되는 경우를 예로 들어 설명하였다.
다른 실시 예에 따르면, 사용자는 식품 정보 제공 장치(100)를 이용하여 식사 후에도 해당 식품을 촬영할 수 있다. 이 경우, 식품 정보 제공 장치(100)는 식사 후에 촬영된 영상에서 식품 영역을 검출하고, 검출된 식품 영역의 부피를 산출할 수 있다. 그리고 식사 전에 촬영한 영상에 기초하여 계산된 식품 영역의 부피에서 식사 후에 촬영한 영상에 기초하여 계산된 식품 영역의 부피를 차감하여, 사용자가 실제로 섭취한 부피를 계산한다. 그리고 계산된 부피에 단위 부피당 칼로리를 곱하여 사용자가 실제로 섭취한 칼로리인 실제 섭취 칼로리를 계산한다. 계산된 실제 섭취 칼로리는 저장부(140)에 저장될 수 있다. 저장부(140)에 저장된 실제 섭취 칼로리는 일정 단위로 합산될 수 있다. 예를 들면, 일 단위, 일주일 단위, 또는 월 단위로 합산될 수 있다. 도 9는 본 발명의 일 실시 예에 따른 식품 정보 제공 방법을 도시한 순서도이다.
설명에 앞서, 식품 정보 제공 장치(100)의 저장부(140)에는 사용자의 식별 정보, 사용자의 현재의 신체 정보, 사용자가 목표로 하는 신체 정보, 사용자가 현재까지 섭취한 칼로리 등의 정보가 저장되어 있는 상태임을 가정한다. 또한, 출력할 식품 정보의 종류 및 각 식품 정보의 출력 방식 등이 설정되어 있는 상태임을 가정한다.
우선, 사용자가 섭취할 식품의 광 스펙트럼 및 깊이 영상이 획득된다(S800). 식품의 광 스펙트럼은 광 스펙트럼 획득부(120)에 의해 획득되며, 깊이 영상은 깊이 영상 획득부(130)에 의해 획득된다. 상기 S800 단계에서는 광 스펙트럼 및 깊이 영상과 동시에 식품의 컬러 영상이 획득될 수도 있다.
이후, 식품의 광 스펙트럼에 기초하여 식품의 종류가 식별된다(S810). 상기 S810 단계는 획득된 광 스펙트럼의 유형과 식품 정보 테이블(141)에 저장된 광 스펙트럼의 유형을 비교하는 단계와, 상기 비교 결과에 기초하여 사용자가 섭취할 식품의 종류를 식별하는 단계를 포함한다.
한편, 식품의 깊이 영상에서는 식품에 대응하는 영역인 식품 영역이 검출된다(S820).
이후, 검출된 식품 영역을 기준으로 하나 이상의 도형이 설정된다(S830). 일 실시 예에 따르면, 상기 S830 단계는 검출된 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표로 변환하는 단계와, 실세계 좌표로 변환된 식품 영역을 포함하도록 하나 이상의 도형을 설정하는 단계를 포함할 수 있다. 다른 실시 예에 따르면, 상기 S830 단계는 검출된 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표로 변환하는 단계와, 실세계 좌표로 변환된 식품 영역 내에 하나 이상의 도형을 설정하는 단계를 포함할 수 있다. 여기서, 도형은 구, 원뿔, 원기둥 및 육면체 등의 입체 도형을 의미할 수 있다.
S830 단계 이후, 설정된 하나 이상의 도형에 기초하여 식품 영역의 부피가 계산된다(S840). S840 단계에서 계산된 식품 영역의 부피는 S810 단계에서 식별된 식품의 실제 부피인 것으로 이해될 수 있다.
이후, 식별된 식품의 단위 부피당 칼로리에 기초하여, 식별된 식품의 전체 칼로리가 계산된다(S850). 상기 S850 단계는 식별된 식품의 단위 부피당 칼로리와 식별된 식품의 실제 부피를 곱하여, 식별된 식품의 전체 칼로리를 계산하는 단계를 포함할 수 있다. 식별된 식품의 단위 부피당 칼로리는 도 4에 예시된 식품 정보 테이블(141)로부터 획득된다.
이후, 사용자 정보에 기초하여, 식별된 식품에 대한 적정 섭취 칼로리가 계산된다(S860). 상기 S860 단계는 사용자의 현재의 신체 정보 및/또는 사용자가 목표로하는 신체 정보에 기초하여 사용자에게 적합한 일일 권장 칼로리를 계산하는 단계와, 상기 일일 권장 칼로리에서 사용자가 현재까지 섭취한 칼로리를 차감하여 남은 섭취 칼로리를 계산하는 단계와, 상기 남은 섭취 칼로리와 식별된 식품의 전체 칼로리를 비교하여 식별된 식품에 대한 적정 섭취 칼로리를 계산하는 단계를 포함한다.
이후, 식별된 식품의 종류, 식별된 식품의 전체 칼로리 및 적정 섭취 칼로리 중 적어도 하나를 포함하는 식품 정보가 출력부(160)를 통해 출력된다(S870). 상기 S870 단계는 상기 적정 섭취 칼로리를 그래픽으로 표현하는 단계를 포함한다. 상기 적정 섭취 칼로리를 그래픽으로 표현하는 단계는 식별된 식품에 대한 적정 섭취 칼로리를 부피로 환산하는 단계와, 환산된 부피가 도출되도록 하는 도형의 파라미터(예를 들어, 지름, 높이)를 산출하는 단계와, 산출된 파라미터에 기초하여 식품 영역을 포함하도록 설정되어 있는 도형의 크기를 조절하는 단계와, 크기가 조절된 도형에 포함되는 식품 영역을 강조처리하는 단계를 포함할 수 있다.
이상으로 본 발명의 실시 예들을 설명하였다. 전술한 실시 예들에 더하여, 본 발명의 실시 예들은 전술한 실시 예의 적어도 하나의 처리 요소를 제어하기 위한 컴퓨터 판독 가능한 코드/명령을 포함하는 매체 예를 들면, 컴퓨터 판독 가능한 매체를 통해 구현될 수도 있다. 상기 매체는 상기 컴퓨터 판독 가능한 코드의 저장 및/또는 전송을 가능하게 하는 매체/매체들에 대응할 수 있다.
상기 컴퓨터 판독 가능한 코드는, 매체에 기록될 수 있을 뿐만 아니라, 인터넷을 통해 전송될 수도 있는데, 상기 매체는 예를 들어, 마그네틱 저장 매체(예를 들면, ROM, 플로피 디스크, 하드 디스크 등) 및 광학 기록 매체(예를 들면, CD-ROM, Blu-Ray, DVD)와 같은 기록 매체, 반송파(carrier wave)와 같은 전송매체를 포함할 수 있다. 상기 매체들은 분산 네트워크일 수도 있으므로, 컴퓨터로 읽을 수 있는 코드는 분산 방식으로 저장/전송되고 실행될 수 있다. 또한 더 나아가, 단지 일 예로써, 처리 요소는 프로세서 또는 컴퓨터 프로세서를 포함할 수 있고, 상기 처리 요소는 하나의 디바이스 내에 분산 및/또는 포함될 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
100: 식품 정보 제공 장치
110: 전원부
120: 광 스펙트럼 획득부
130: 깊이 영상 획득부
140: 저장부
150: 입력부
160: 출력부
170: 제어부

Claims (10)

  1. 사용자가 섭취할 식품으로부터 반사되는 반사광의 취득을 통해 상기 식품 고유의 복수의 광 스펙트럼들을 획득하는 광 스펙트럼 획득부;
    스테레오 카메라 포함하여 상기 식품의 영상을 획득하고, 두 영상에서의 대응점을 찾는 삼각 측량(triangulation) 방법에 기반하여 상기 식품의 깊이 영상을 획득하는 깊이 영상 획득부;
    광 스펙트럼이 어떠한 파장 대역에서 광의 강도가 우세한지 여부를 기초로 상기 복수의 광 스펙트럼들의 파장 대역별 광의 평균 강도를 결정하고, 상기 복수의 광 스펙트럼들의 파장 대역별 광의 평균 강도에 기초하여 상기 식품의 종류를 식별하되, 상기 식품의 깊이 영상에서 상기 식품에 대응하는 식품 영상을 검출하고, 상기 식품의 깊이 영상에서 검출된 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표로 변환하고, 상기 실세계 좌표로 변환된 식품 영역을 포함하는 하나 이상의 도형을 설정하고, 상기 설정된 하나 이상의 도형에 기초하여 상기 식별된 식품의 부피, 전체 칼로리 및 적정 섭취 칼로리 중 적어도 하나를 계산하고, 상기 검출된 식품 영역 중 상기 적정 섭취 칼로리에 대응하는 영역을 결정하는 제어부; 및
    상기 식별된 식품의 종류, 상기 식별된 식품의 전체 칼로리 및 상기 식별된 식품의 적정 섭취 칼로리 중 적어도 하나의 식품 정보를 문자, 영상 및 음성, 중 적어도 하나의 형식으로 출력하거나, 상기 검출된 식품 영역 중 상기 적정 섭취 칼로리에 대응하는 영역을 시각적으로 강조처리하여 표시하는 출력부를 포함하며,
    상기 적정 섭취 칼로리의 계산은,
    사용자의 현재의 신체 정보 또는 사용자가 목표로 하는 신체 정보에 기초하여 사용자에게 적합한 일일 권장 칼로리를 계산하고, 상기 일일 권장 칼로리에서 사용자가 현재까지 섭취한 칼로리를 차감하여 남은 섭취 칼로리를 계산하고, 상기 남은 섭취 칼로리와 식별된 식품의 전체 칼로리를 비교하여 식별된 식품에 대한 상기 적정 섭취 칼로리를 계산하며,
    상기 사용자가 현재까지 섭취한 칼로리의 계산은,
    식사 후에 촬영된 영상에서 식품 영역을 검출하여 검출된 식품 영역의 부피를 산출하고, 식사 전에 촬영한 영상에 기초하여 계산된 식품 영역의 부피에서 식사 후에 촬영한 영상에 기초하여 계산된 식품 영역의 부피를 차감하여, 사용자가 실제로 섭취한 부피를 계산하고, 계산된 부피에 단위 부피당 칼로리를 곱하여 사용자가 실제로 섭취한 칼로리를 계산하는 식품 정보 제공 장치.
  2. 제1항에 있어서,
    상기 깊이 영상 획득부는
    TOF 센서를 포함하여 특정 광파를 물체로 조사한 후 되돌아 오는 시간을 측정하는 시간 지연 측정 방법에 기반하여 물체에 대한 깊이 영상을 획득하는, 식품 정보 제공 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 도형은
    구, 원뿔, 원기둥 및 육면체 중 적어도 하나를 포함하는 입체 도형인, 식품 정보 제공 장치.
  5. 제1항에 있어서,
    식품 정보 테이블을 저장하는 저장부를 더 포함하되,
    상기 식품 정보 테이블은 식품의 종류, 상기 각 식품의 고유의 광 스펙트럼에 대한 유형 및 상기 각 식품의 단위 부피당 칼로리 중 적어도 하나를 포함하는, 식품 정보 제공 장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 식별된 식품의 단위 부피당 칼로리를 상기 식품 정보 테이블로부터 획득하고,
    상기 식별된 식품의 단위 부피당 칼로리와 상기 식별된 식품의 부피에 기초하여, 상기 식별된 식품의 전체 칼로리를 계산하는, 식품 정보 제공 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 식별된 식품의 종류, 상기 식별된 식품의 전체 칼로리 및 상기 식별된 식품의 적정 섭취 칼로리 중 적어도 하나의 식품 정보를 문자, 영상 및 음성 중 적어도 하나의 형식으로 출력하는 출력부를 더 포함하는, 식품 정보 제공 장치.
  9. 삭제
  10. 광 스펙트럼 획득부가 사용자가 섭취할 식품으로부터 반사되는 반사광의 취득을 통해 상기 식품 고유의 복수의 광 스펙트럼들을 획득하는 단계;
    깊이 영상 획득부가 스테레오 카메라를 포함하여 각각 영상을 획득하고, 두 영상에서의 대응점을 찾는 삼각 측량(triangulation) 방법 또는 TOF센서를 이용해 물체에 조사된 특정 광파가 되돌아 오는 시간을 측정하는 방법에 기반하여 상기 식품의 깊이 영상을 획득하는 단계;
    제어부가 상기 광 스펙트럼이 어떠한 파장 대역에서 광의 강도가 우세한지 여부를 기초로 상기 복수의 광 스펙트럼들의 파장 대역별 광의 평균 강도를 결정하고, 상기 복수의 광 스펙트럼들의 파장 대역별 광의 평균 강도에 기초하여 상기 식품의 종류를 식별하되, 상기 식품의 깊이 영상에서 상기 식품에 대응하는 식품 영상을 검출하고, 상기 식품의 깊이 영상에서 검출된 식품 영역에 포함된 각 픽셀의 영상 좌표를 실세계 좌표로 변환하고, 상기 실세계 좌표로 변환된 식품 영역을 포함하는 하나 이상의 도형을 설정하고, 상기 설정된 하나 이상의 도형에 기초하여 상기 식별된 식품의 부피, 전체 칼로리 및 적정 섭취 칼로리 중 적어도 하나를 계산하고, 상기 검출된 식품 영역 중 상기 적정 섭취 칼로리에 대응하는 영역을 결정하는 단계; 및
    출력부가 상기 식별된 식품의 종류, 상기 식별된 식품의 전체 칼로리 및 상기 식별된 식품의 적정 섭취 칼로리 중 적어도 하나의 식품 정보를 문자, 영상 및 음성 중 적어도 하나의 형식으로 출력하거나, 상기 검출된 식품 영역 중 상기 적정 섭취 칼로리에 대응하는 영역을 시각적으로 강조처리하여 표시하는 단계를 포함하며,
    상기 적정 섭취 칼로리의 계산은,
    사용자의 현재의 신체 정보 또는 사용자가 목표로 하는 신체 정보에 기초하여 사용자에게 적합한 일일 권장 칼로리를 계산하고, 상기 일일 권장 칼로리에서 사용자가 현재까지 섭취한 칼로리를 차감하여 남은 섭취 칼로리를 계산하고, 상기 남은 섭취 칼로리와 식별된 식품의 전체 칼로리를 비교하여 식별된 식품에 대한 상기 적정 섭취 칼로리를 계산하며,
    상기 사용자가 현재까지 섭취한 칼로리의 계산은,
    식사 후에 촬영된 영상에서 식품 영역을 검출하여 검출된 식품 영역의 부피를 산출하고, 식사 전에 촬영한 영상에 기초하여 계산된 식품 영역의 부피에서 식사 후에 촬영한 영상에 기초하여 계산된 식품 영역의 부피를 차감하여 사용자가 실제로 섭취한 부피를 계산하고, 계산된 부피에 단위 부피당 칼로리를 곱하여 사용자가 실제로 섭취한 칼로리를 계산하는, 식품 정보 제공 방법.
KR1020150107090A 2015-07-29 2015-07-29 식품 정보 제공 방법 및 장치 Active KR101789732B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150107090A KR101789732B1 (ko) 2015-07-29 2015-07-29 식품 정보 제공 방법 및 장치
PCT/KR2016/008295 WO2017018828A1 (ko) 2015-07-29 2016-07-28 식품 정보 제공 방법 및 장치
CN201680044262.5A CN107851459A (zh) 2015-07-29 2016-07-28 食品信息提供方法及装置
US15/879,733 US20180149583A1 (en) 2015-07-29 2018-01-25 Method and apparatus for providing food information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150107090A KR101789732B1 (ko) 2015-07-29 2015-07-29 식품 정보 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170014181A KR20170014181A (ko) 2017-02-08
KR101789732B1 true KR101789732B1 (ko) 2017-10-25

Family

ID=57884689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150107090A Active KR101789732B1 (ko) 2015-07-29 2015-07-29 식품 정보 제공 방법 및 장치

Country Status (4)

Country Link
US (1) US20180149583A1 (ko)
KR (1) KR101789732B1 (ko)
CN (1) CN107851459A (ko)
WO (1) WO2017018828A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803315B2 (en) 2018-01-08 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method for processing information associated with food

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725117A (zh) * 2017-10-31 2019-05-07 青岛海尔智能技术研发有限公司 冰箱中食品热量检测的方法及装置
KR102027275B1 (ko) * 2017-11-14 2019-10-01 김대훈 급식관리 시스템 및 이의 운영방법
CN108895756B (zh) * 2018-06-29 2020-11-20 海尔智家股份有限公司 用于冰箱的展示食物的热量值的方法和装置
WO2020010561A1 (zh) * 2018-07-12 2020-01-16 华为技术有限公司 测量物体参数的方法及装置
KR102243452B1 (ko) * 2018-09-28 2021-04-22 가천대학교 산학협력단 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
CN109345624A (zh) * 2018-10-08 2019-02-15 北京健康有益科技有限公司 一种自动识别食物热量的估算方法及系统
KR20200064508A (ko) * 2018-11-29 2020-06-08 울산과학기술원 식품 영양소 섭취량 분석 장치 및 그 방법
KR102471775B1 (ko) * 2019-04-30 2022-11-28 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR102329480B1 (ko) * 2019-09-05 2021-11-22 주식회사 누비랩 급식관리 시스템 및 이의 운영방법
WO2022086304A1 (ko) * 2020-10-23 2022-04-28 주식회사 누비랩 음식 정보 입력 방법 및 장치
CN114973237B (zh) * 2022-06-07 2023-01-10 慧之安信息技术股份有限公司 基于图象识别的光盘率检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105655A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 食品総カロリーチェッカーおよびチェック方法
KR100824350B1 (ko) 2006-10-26 2008-04-22 김용훈 실시간 음식물 정보 제공 방법 및 장치
KR101375018B1 (ko) * 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251526B (zh) * 2008-02-26 2012-08-29 浙江大学 鲜猪肉综合品质无损检测方法与装置
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
CN101620178B (zh) * 2009-06-19 2011-02-16 广东省药品检验所 基于近红外光谱技术快速检测中成药、保健食品或食品中添加化学成分的方法
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
KR101296605B1 (ko) * 2011-02-20 2013-09-17 김준규 이미지를 이용한 체적 측량 방법 및 그 장치
JP6146010B2 (ja) * 2012-12-27 2017-06-14 パナソニックＩｐマネジメント株式会社 食品分析装置
WO2014160298A1 (en) * 2013-03-14 2014-10-02 Sciencestyle Capital Partners, Llc Providing food-portion recommendations to faciliate dieting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105655A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 食品総カロリーチェッカーおよびチェック方法
KR100824350B1 (ko) 2006-10-26 2008-04-22 김용훈 실시간 음식물 정보 제공 방법 및 장치
KR101375018B1 (ko) * 2012-11-22 2014-03-17 경일대학교산학협력단 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803315B2 (en) 2018-01-08 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method for processing information associated with food

Also Published As

Publication number Publication date
CN107851459A (zh) 2018-03-27
KR20170014181A (ko) 2017-02-08
WO2017018828A1 (ko) 2017-02-02
US20180149583A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
KR101789732B1 (ko) 식품 정보 제공 방법 및 장치
US10803315B2 (en) Electronic device and method for processing information associated with food
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
KR101375018B1 (ko) 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치
US10617301B2 (en) Information processing device and information processing method
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
US9269157B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US9165398B2 (en) Analysis of food items captured in digital images
US20160210536A1 (en) Method and apparatus for image analysis
KR102209741B1 (ko) 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
KR20180079399A (ko) 인간 얼굴의 회전 각도를 결정하기 위한 방법 및 디바이스, 및 컴퓨터 저장 매체
CN108702675A (zh) 无线电能充电系统中的对象检测系统及方法
KR101720016B1 (ko) 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법
EP3876139B1 (en) Method for estimating object parameters and electronic device
CN111047511A (zh) 一种图像处理方法及电子设备
CN107865644B (zh) 脉搏波计测装置、脉搏波计测方法、程序以及记录介质
CN111222569A (zh) 识别食物的方法、装置、电子设备及介质
JPWO2020130070A1 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
CN112307941B (zh) 一种图像转换方法及终端设备
EP3569142B1 (en) Electronic device for measuring blood pressure and operating method thereof
CN109448132B (zh) 显示控制方法及装置、电子设备、计算机可读存储介质
CN112986159A (zh) 检测肉类的方法、装置、电子设备及介质
KR20150124824A (ko) 이동 단말기 및 그 제어방법
KR20110085037A (ko) 멀티디스플레이 장치 및 이를 이용한 정보 제공 방법
CN113034312A (zh) 餐饮信息推送方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150729

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161107

Patent event code: PE09021S01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170817

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20161107

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170817

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170407

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20171016

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20170919

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20170817

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170407

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171018

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171018

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201013

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211030

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220723

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230729

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240722

Start annual number: 8

End annual number: 8