KR101375018B1 - 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치 - Google Patents

이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101375018B1
KR101375018B1 KR1020120133198A KR20120133198A KR101375018B1 KR 101375018 B1 KR101375018 B1 KR 101375018B1 KR 1020120133198 A KR1020120133198 A KR 1020120133198A KR 20120133198 A KR20120133198 A KR 20120133198A KR 101375018 B1 KR101375018 B1 KR 101375018B1
Authority
KR
South Korea
Prior art keywords
food
volume
information
container
calorie
Prior art date
Application number
KR1020120133198A
Other languages
English (en)
Inventor
권성근
Original Assignee
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단 filed Critical 경일대학교산학협력단
Priority to KR1020120133198A priority Critical patent/KR101375018B1/ko
Application granted granted Critical
Publication of KR101375018B1 publication Critical patent/KR101375018B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Abstract

본 발명은 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치에 관한 것으로, 이러한 본 발명은, 음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영하는 카메라부와, 상기 대상 이미지에서 상기 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 상기 용기의 형태 및 부피를 도출하고, 미리 저장된 음식 이미지 정보로부터 상기 음식을 식별하며, 상기 대상 이미지에서 상기 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 도출된 용기의 형태 및 부피를 참조하여 상기 용기에 담겨진 상기 음식의 부피를 도출하며, 미리 저장된 음식의 부피당 칼로리 정보를 참조하여 상기 도출된 음식의 부피에 해당하는 상기 음식의 칼로리를 도출하는 제어부를 포함하는 것을 특징으로 하는 음식 정보를 제공하기 위한 장치와 이를 이용한 음식 정보를 제공하기 위한 장치를 제공한다.

Description

이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치{Apparatus and method for presenting information of food using image acquisition}
본 발명은 음식에 대한 정보를 제공하기 위한 기술에 관한 것으로, 보다 상세하게는, 이미지 인식을 통해 음식에 대한 칼로리 등의 정보를 제공할 수 있는 방법 및 장치에 관한 것이다.
근래에 들어 경제적으로 풍요로워짐에 따라 보다 다양한 음식물을 섭취할 수 있게 되고, 특히 육류와 같이 고칼로리의 음식물을 섭취하는 횟수가 증가되고 있다. 이러한 고칼로리의 음식물을 많이 섭취함에 따라 비만이나 성인병이 사회문제로 대두되고 있어, 다이어트와 관련된 식품 및 운동프로그램 등도 많이 소개되고 있고 이에 대한 관심 또한 증가되고 있다. 이와 같이 다이어트를 원하는 사람이나 건강에 관심을 갖는 사람들은 많이 있으나, 자신이 매일 섭취하는 음식물의 영양가, 즉 섭취 칼로리가 어느 정도인지에 대한 구체적인 정보는 잘 알지 못하는 경우가 많다. 따라서 매일 규칙적인 양의 칼로리 섭취가 쉽지 않고, 이로 인하여 다이어트나 식이요법 등을 위하여 섭취 칼로리를 보다 편리하고 신속하게 알 수 없었다.
이를 해결하기 위하여, 종래에 체중조절 등을 목적으로 하여 식이요법과 운동 등을 병행하는 경우, 섭취한 음식물의 종류와 양에 따른 칼로리 량을 도표, 책자, PC용 소프트웨어 등을 이용해서 계산하여 수첩이나 공책 등에 필기구로 기록하기 때문에 불편하고 일일, 또는 주간, 또는 월간 단위의 체중조절계획 등의 총체적인 수립과 실행, 검증을 어렵게 하고 있다. 또한, 일일이 수첩이나 공책을 상기 칼로리 도표나 책자와 함께 휴대하고 다니면서 음식물을 섭취할 때마다 기록을 반복하는 것은 실제로 매우 어렵고 불편할 뿐만 아니라, 일일 또는 주간이나 월간 단위의 총량을 일일이 계산하여 검토한다는 것은 더욱 큰 불편함을 초래할 뿐이었다.
상술한 바와 같은 점을 고려한 본 발명의 목적은 이미지 인식 기법을 이용하여, 자신이 섭취하는 음식의 칼로리를 계산하여 자동으로 안내할 수 있는 이미지 인식을 통한 음식 정보 제공 방법 및 장치를 제공함에 있다.
또한, 본 발명의 다른 목적은, 음식 용기에 담긴 음식의 실제 부피에 따라 정밀하게 칼로리를 계산하여 그 칼로리에 대한 정보를 제공할 수 있는 이미지 인식을 통한 음식 정보 제공 방법 및 장치를 제공함에 있다.
그리고 본 발명의 또 다른 목적은, 음식에 들어간 재료의 실제 부피 및 그 음식에 따른 재료의 조립법에 따라 그 음식의 칼로리를 정밀하게 계산하여 그 칼로리에 대한 정보를 제공할 수 있는 이미지 인식을 통한 음식 정보 제공 방법 및 장치를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 음식 정보를 제공하기 위한 장치는, 음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영하는 카메라부와, 상기 대상 이미지에서 상기 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 상기 용기의 형태 및 부피를 도출하고, 미리 저장된 음식 이미지 정보로부터 상기 음식을 식별하며, 상기 대상 이미지에서 상기 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 도출된 용기의 형태 및 부피를 참조하여 상기 용기에 담겨진 상기 음식의 부피를 도출하며, 미리 저장된 음식의 부피당 칼로리 정보를 참조하여 상기 도출된 음식의 부피에 해당하는 상기 음식의 칼로리를 도출하는 제어부를 포함한다.
본 발명의 실시예에 따른 제어부는 미리 저장된 음식 재료 이미지 정보로부터 상기 음식에 포함된 적어도 하나의 음식 재료를 식별하고, 미리 저장된 음식 재료의 부피당 칼로리 정보를 참조하여 상기 음식 재료에 따라 상기 음식의 칼로리를 도출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 제어부는 상기 대상 이미지에서 상기 음식 재료의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 대상 이미지에서 음식에 대한 음식 재료가 차지하는 부피의 비율을 도출하며, 상기 비율에 따라 상기 음식에 포함된 음식 재료의 부피를 도출하고, 상기 도출된 음식 재료의 부피에 따라 상기 음식의 칼로리를 도출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 제어부는 상기 카메라부로부터 상기 특징점들까지의 거리를 이용하여 상기 용기의 형태 및 부피를 도출하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 상기 미리 저장된 음식 이미지 정보, 상기 미리 저장된 음식의 부피당 칼로리 정보, 상기 미리 저장된 음식 재료 이미지 정보 및 상기 미리 저장된 음식 재료의 부피당 칼로리 정보를 저장하는 저장부;를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 사용자가 시각, 청각 및 촉각 중 적어도 하나를 통해 인지할 수 있도록 정보를 출력하는 출력부를 더 포함하며, 상기 제어부는 상기 도출된 음식의 칼로리가 미리 설정된 칼로리 이상이면, 상기 출력부를 통해 경고 콘텐츠를 출력하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 사용자가 시각, 청각 및 촉각 중 적어도 하나를 통해 인지할 수 있도록 정보를 출력하는 출력부를 더 포함하며, 상기 제어부는 상기 식별된 음식 재료가 섭치하지 않도록 설정된 음식 재료이면, 상기 출력부를 통해 경고 콘텐츠를 출력하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 음식 정보를 제공하기 위한 방법은, 음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영하는 단계와, 상기 대상 이미지에서 상기 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 상기 용기의 형태 및 부피를 도출하는 단계와, 미리 저장된 음식 이미지 정보로부터 상기 음식을 식별하는 단계와, 상기 대상 이미지에서 상기 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 도출된 용기의 형태 및 부피를 참조하여 상기 용기에 담겨진 상기 음식의 부피를 도출하는 단계 및 미리 저장된 음식의 부피당 칼로리 정보를 참조하여 상기 도출된 음식의 부피에 해당하는 상기 음식의 칼로리를 도출하는 단계를 포함한다.
여기서, 상기 칼로리를 도출하는 단계는 미리 저장된 음식 재료 이미지 정보로부터 상기 음식에 포함된 적어도 하나의 음식 재료를 식별하는 단계와, 미리 저장된 음식 재료의 부피당 칼로리 정보를 참조하여 상기 음식 재료에 따라 상기 음식의 칼로리를 도출하는 단계를 포함한다.
또한, 상기 음식 재료에 따라 상기 음식의 칼로리를 도출하는 단계는 상기 대상 이미지에서 상기 음식 재료의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 대상 이미지에서 음식에 대한 음식 재료가 차지하는 부피의 비율을 도출하는 단계와, 상기 비율에 따라 상기 음식에 포함된 음식 재료의 부피를 도출하는 단계 및 상기 도출된 음식 재료의 부피에 따라 상기 음식의 칼로리를 도출하는 단계를 포함한다.
상술한 본 발명의 실시예에 따르면, 용기(10)의 형태 및 부피에 따라, 실제 음식의 부피를 도출할 수 있고, 실제 음식의 부피에 상응하는 칼로리를 사용자에게 제공할 수 있다. 이와 같이, 본 발명은 사용자에게 보다 정확한 칼로리 정보를 제공할 수 있어, 사용자는 정확한 칼로리 정보를 가지고 음식을 조절할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따르면, 각 가정별로 각 음식점 별로 동일한 음식일지라도 음식 재료의 종류나 양이 다를 수 있음을 고려하여, 각 음식 재료에 따라 칼로리를 산출함으로써, 사용자에게 보다 정확한 칼로리 정보를 제공할 수 있어, 사용자는 정확한 칼로리 정보를 가지고 음식을 조절할 수 있다.
도 1은 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 기술 사상을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 6은 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 기술 사상을 설명하기 위한 도면이다.
도 1의 (A), (B) 및 (C)를 참조하면, 각각 용기(10)에 음식(20)이 담겨져 있다. 각 용기(10)의 음식(20)은 동일한 음식이라고 가정한다.
(A) 및 (B)를 비교하면, 동일한 형태의 용기(10)에 서로 다른 양의 음식(20)이 담겨있다. 동일한 음식인 경우에도 그 양의 차이가 있다면, (A) 및 (B)의 음식의 칼로리는 차이가 있을 것이다. 본 발명은 이러한 차이를 고려하여 음식의 칼로리를 정확하게 연산하여 제공한다.
또한, (B) 및 (C)를 비교하면, (B)의 용기와 (C)의 용기는 그 형태에 차이가 있으며, 동일한 높이로 음식(20)을 담아낸다고 할지라도 각 용기(10)에 담겨진 음식(20)의 부피가 다르므로, 음식(20)의 양은 상이하다. 따라서 (A) 및 (B)의 음식(20)의 칼로리는 상이하다. 본 발명은 이러한 차이를 고려하여 용기(10)에 따른 음식(20)의 칼로리를 정확하게 연산하여 제공한다.
이를 위하여, 본 발명의 실시예에 따른 음식 정보 제공 장치(이하, "단말"로 축약함)(100)는 이미지 처리 기술을 이용하여, 음식(20)을 식별하고, 용기(10)의 부피를 고려하여 식별된 음식(20)의 부피를 도출하며, 도출된 부피에 따른 정확한 음식의 양에 따라 음식(20)의 칼로리를 산출하여, 산출된 칼로리에 대한 정보를 사용자에게 제공한다.
도 2는 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 단말(100)은 카메라부(110), 입력부(120), 출력부(130), 저장부(140) 및 제어부(150)를 포함한다.
카메라부(110)는 본 발명의 실시예에 따른 음식 및 용기를 포함하는 대상 이미지를 촬영하고, 촬영한 이미지를 제어부(150)에 제공한다. 이를 위하여 카메라부(110)는 렌즈, 카메라 센서, 신호처리장치 및 영상처리장치를 구비할 수 있다. 카메라 센서는 렌즈를 통해 입사되는 영상을 촬영한다. 촬영된 영상은 광학 신호이며, 카메라 센서는 촬영된 광학 신호를 전기 신호로 변환하는 이미지 센서이다. 여기서 카메라 센서는 CCD(charge-coupled device) 센서를 사용함이 바람직하다. 신호처리장치는 카메라 센서로부터 출력되는 전기 신호를 아날로그 포맷에서 디지털 포맷으로 변환한다. 여기서 신호처리장치는 DSP(Digital Signal Processor)로 구현함이 바람직하다. 영상처리장치는 신호처리장치에서 출력되는 영상을 출력하기 위한 화면 데이터를 발생하는 기능을 수행한다. 특히, 카메라부(110)는 자연광 혹은 적외선을 이용하여 피사체, 즉, 음식 또는 용기의 표면까지의 거리를 측정하는 거리 센서를 더 포함한다. 이러한 거리 센서는 렌즈의 초점을 맞추는 역할도 같이 수행할 수 있다.
입력부(120)는 사용자의 명령, 선택, 데이터, 정보 중에서 적어도 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다. 그리고 입력부(120)는 사용자의 키 입력을 감지하여, 감지된 키 입력에 따른 입력 신호를 제어부(150)로 전달한다. 입력부(120)는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 등을 예시할 수 있다.
출력부(130)는 단말(100) 사용에 따라 발생되는 정보를 사용자가 시각, 청각, 또는, 촉각으로 인지할 수 있도록 출력하기 위한 수단이다. 특히, 출력부(130)는 시각, 청각 및 촉각 중 적어도 하나를 통해 사용자 인지할 수 있도록 하는 광고를 출력할 수 있다. 출력부(130)는 시각적인 정보를 출력하는 표시 장치, 청각적인 정보를 출력하는 오디오 장치, 촉각적인 정보를 출력하는 햅틱 장치 등을 포함할 수 있다. 표시 장치는 터치스크린(touch screen)이 될 수 있으며, 이와 같이, 터치스크린 형태로 표시 장치가 형성된 경우, 표시 장치는 입력부(120)의 기능 중 일부 또는 전부를 수행할 수 있다. 오디오 장치는 대표적으로 스피커를 예시할 수 있다. 그리고 햅틱 장치는 진동을 출력하는 모터 등을 예시할 수 있다.
저장부(140)는 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함한다. 이러한 저장부(140)는 운영 체제(OS, Operation System), 어플리케이션 등을 저장할 수 있다. 특히, 저장부(140)는 본 발명의 실시예에 따른 복수의 음식들에 대한 이미지를 포함하는 음식 이미지 정보, 음식 이미지 정보에 포함된 각 음식의 부피당 칼로리를 포함하는 음식의 부피당 칼로리 정보, 복수의 음식 재료들에 대한 이미지를 포함하는 음식 재료 이미지 정보, 및 음식 재료 이미지 정보에 포함된 각 음식 재로의 부피당 칼로리를 포함하는 음식 재료의 부피당 칼로리 정보를 저장할 수 있다. 특히, 음식 재료의 부피당 칼로리 정보는 음식의 종류에 따라 달라지는 부피당 칼로리에 대한 정보이다. 즉, 조립법에 따라 음식 재료는 그 칼로리가 달라질 수 있기 때문에, 음식 재료의 부피당 칼로리 정보는 이러한 점을 고려한다. 즉, 음식의 종류에 따른 조립법에 의거하여 음식 재료의 부피당 칼로리를 저장한다.
또한, 저장부(140)는 단말(100) 사용에 따라 발생되는 각 종 데이터를 저장할 수 있다. 저장부(140)에 저장되는 각 종 데이터는 입력에 따라, 삭제, 변경, 추가될 수 있다.
제어부(150)는 운영 체제를 실제로 구동시키는 프로세스 장치가 될 수 있다. 예컨대, 제어부(150)는 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다. 제어부(150)는 단말(100)의 전원이 켜지면, 운영 체제를 저장부(140)의 보조 기억 장치로부터 주 기억 장치로 이동시킨 후, 운영 체제를 구동하는 부팅(booting)을 수행한다. 그리고 제어부(150)는 본 발명의 실시예에 따른 이미지 처리 등을 위한 어플리케이션을 구동시킬 수 있다. 특히, 제어부(150)는 본 발명의 실시예에 따라 이미지 인식을 통한 음식 정보를 제공하기 위한 방법을 수행하며, 이는 아래에서 더 상세하게 설명될 것이다.
도 3은 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 흐름도이며, 도 4 내지 도 6은 본 발명의 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 제어부(150)는 S300 단계에서 카메라부(110)를 통해 음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영한다. 도 4에 촬영된 대상 이미지가 도시되었다. 도시된 바와 같이, 대상 이미지는 용기(10) 및 음식(20)을 포함한다.
그런 다음, 제어부(150)는 S305 단계에서 이미지 처리를 통해 용기(10)와 음식(20)을 구분하여 인식한다. 예를 들면, 제어부(150)는 먼저, 대상 이미지에 이동 평균(Means shift) 알고리즘(클러스터링 알고리즘)을 적용하여 영상을 복수의 클러스터 영역으로 구분한다(클러스터링한다). 이동 평균(Mean Shift) 알고리즘은 컬러 정보를 기반으로 주변의 값들과의 평균을 계산하여 중심 모드를 찾기 위한 비매개변수적(Non-parametric) 방법으로 컬러 영상을 분할하는데 효율적이다. 복수의 클러스터 영역은 대상 이미지에서 용기(10) 부분을 구성하는 수개의 클러스터와, 음식(20) 부분을 구성하는 수개 내지 수십 개의 클러스터 및 그 외의 영역을 구성하는 복수개의 클러스터 부분으로 이루어질 것이다. 클러스터링에 의해 분할된 클러스터 영역들은 멀리 떨어져 있는 영역보다 인접해 있는 영역이 유사할 가능성이 더 높다. 따라서 제어부(150)는 어느 하나의 클러스터 영역과 연결되어있는 이웃하는 클러스터 영역들을 비교해서 유사하면 병합하는 방법으로 점차적으로 확장한다. 즉, 제어부(150)는 컬러에 의해 유사한 영역, 즉, 동종의(Homogeneous) 영역을 병합한다. 이것은 영역들의 유사한 컬러와 밝기의 픽셀을 클러스터링하는 것이다. 따라서 제어부(150)는 클러스터 영역끼리 유사한 RGB 컬러의 픽셀들을 통합하기 위해 영역 성장 방법을 사용한다. 즉, 유사한 영역을 병합하기 위해서 각 클러스터 영역들의 컬러의 평균값을 비교하고, 각 클러스터 영역의 인접한 클러스터 영역들만 비교하면서 유사한 클러스터 영역들을 점차적으로 병합해 나간다. 이러한 병합 과정에 따라, 용기 부분은 하나의 클러스터 영역이 되며, 음식 부분은 다른 하나의 클러스터 영역이 된다. 이에 따라, 제어부(150)는 대상 이미지 상 용기 부분과 및 음식 부분을 서로 구분하여 인식할 수 있다.
다음으로, 제어부(150)는 S310 단계에서 대상 이미지로부터 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 용기의 형태 및 부피를 도출한다. 도 5는 용기의 형태 및 부피를 도출하는 방법을 설명하기 위한 화면 예이다. 도 5의 (가)는 단말(100)과 용기(10)를 측면에서 바라본 도면이며, 도 5의 (나)는 단말(100)에 대한 용기(10)의 위치가 (가)와 같을 때, 단말(100)의 카메라부(110)가 촬영할 수 있는 대상 이미지를 나타낸다. 제어부(150)는 대상 이미지에서 용기의 특징점들을 추출한 후, 카메라부(110)의 거리 센서를 통해 단말(100)로부터 추출된 용기의 특징점들(범례 참조)까지의 거리를 센싱하여, 추출된 용기의 특징점들(범례 참조)로만 이루어진 용기의 형태를 도출할 수 있다. 이때, 추출될 수 있는 특징점들은 카메라부(110)가 촬영할 수 있는 영역인 점선 L 및 M 사이(a)의 특징점들이다. 그런 다음, 제어부(150)는 추출된 용기의 특징점들(범례 참조)로만 이루어진 용기의 형태로부터 추출되지 않는 부분(범례 참조)의 용기의 형태를 추정하여, 용기(10)의 형태를 완성한다. 도 5의 (다)를 참조하면, 추출되지 않는 부분의 추정을 위해, 식별된 용기의 가장 아래 부분은 바닥과 접하는 면이라고 추정하며, 용기의 바닥은 바닥과 접하여 있다고 가정하며, 용기의 형태는 동일한 높이에서 용기와 단말(100) 사이의 거리가 가장 가까운 부분과 가장 먼 부분의 중심을 기준으로 대칭한다고 가정할 수 있다. 그런 다음, 가장한 바에 따라 추출된 특징점과 대칭되게 추출되지 않는 부분을 추정하여, 용기의 형태를 완성한다.
한편, 용기의 특징점은 도 5의 (나)에 도시된 바와 같이, 적어도 음식과 구분되게 식별된 용기의 에지 부분의 점들을 포함한다. 이를 위하여, 제어부(150)는 대상 이미지를 그레이 레벨 영상으로 변환한다. 즉, 이진 영상으로 변환한다. 그런 다음, 대상의 에지 부분을 검정색으로 나머지 부분을 흰색으로 하는 에지 영상으로 변환한다. 즉, 이진 영상을 기반으로 용기의 에지를 검출한다. 이어서, 제어부(150)는 에지 부분 중 적어도 일부를 특징점으로 추출한다. 한편, 특징점들은 에지 부분 이외에 음식과 구분되게 식별된 용기의 어떤 부분이라도 특징점으로 추출할 수 있다. 용기의 특징점들의 수는 제조자 혹은 사용자에 설정에 따라 달라질 수 있다. 바람직하게는 추출 가능한 용기의 모든 표면을 특징점으로 하는 것이다. 하지만, 수십 개의 특징점을 추출하고, 추출된 특징점들을 연결하여 용기(10)의 형태는 충분히 도출될 수 있다. 제어부(150)는 용기의 완전한 형태가 도출되면, 도출된 용기의 형태로부터 용기(10)의 부피를 연산할 수 있다.
이어서, 제어부(150)는 S315 단계에서 저장부(140)에 미리 저장된 음식 이미지 정보로부터 촬영된 대상 이미지의 음식을 비교하여 대상 이미지의 음식을 식별한다. 이미지 비교를 통해 대상을 식별하는 방식의 정확도를 높이기 위해 저장부(140)에 미리 저장된 음식 이미지 정보는 동일한 음식에 대해 수개 내지 수십 개의 이미지를 포함하는 것이 바람직하다.
다음으로, 제어부(150)는 S320 단계에서 대상 이미지에서 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 도출된 용기의 형태 및 부피를 참조하여 용기에 담겨진 상기 음식의 부피를 도출한다. 예컨대, 도 6을 참조하면, 제어부(150)는 카메라부(110)를 통해 용기(10)에 담겨진 음식(20)의 특징점(범례 참조)들을 추출하고, 추출된 특징점들로부터 음식(20)이 용기에 담겨진 높이를 알 수 있다. 그러면, 앞서 도출된 용기의 형태 및 부피에 따라 음식의 실제 부피를 도출할 수 있다.
다음으로, 제어부(150)는 S325 단계에서 저장부(140)에 미리 저장된 음식의 부피당 칼로리 정보를 참조하여 앞서(S320) 도출된 음식의 부피에 해당하는 음식의 칼로리를 도출한다.
이때, 제어부(150)는 S330 단계에서 도출된 음식의 칼로리가 미리 설정된 칼로리 이상인지 판단한다.
그런 다음, 도출된 음식의 칼로리가 미리 설정된 칼로리 미만이면, 제어부(150)는 S335 단계에서 출력부(130)를 통해 해당 칼로리를 출력한다.
한편, 도출된 음식의 칼로리가 미리 설정된 칼로리 이상이면, 제어부(150)는 S345 단계에서 출력부(130)를 통해 해당 음식의 칼로리가 미리 설정된 칼로리 이상임을 알리는 경고 콘텐츠를 출력한다. 이러한 경고 콘텐츠는 표시 장치를 통해 사용자가 시각적으로 인식할 수 있는 것이거나, 오디오 장치를 통해 사용자가 청각적으로 인식할 수 있는 것이거나, 햅틱 장치를 통해 사용자가 촉각적으로 인식할 수 있는 것일 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따르면, 용기(10)의 형태 및 부피에 따라, 실제 음식의 부피를 도출할 수 있고, 실제 음식의 부피에 상응하는 칼로리를 사용자에게 제공할 수 있다. 이와 같이, 본 발명은 사용자에게 보다 정확한 칼로리 정보를 제공할 수 있어, 사용자는 정확한 칼로리 정보를 가지고 음식을 조절할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 흐름도이며, 도 8은 본 발명의 다른 실시예에 따른 음식 정보를 제공하기 위한 방법을 설명하기 위한 도면이다.
앞서 도 3을 참조로 하는 실시예에서는 음식의 실제 부피를 고려하여 해당 음식의 칼로리 정보를 제공하였다. 하지만, 각 가정별로 각 음식점 별로 동일한 음식일지라도 음식 재료의 종류나 양이 다를 수 있다. 도 7을 참조로 하는 실시예에서는 음식 재료를 고려한 칼로리 정보를 제공하는 방법에 대해서 설명한다.
도 7에서 설명될 S700 내지 S720 단계는 도 3에서 설명된 S300 내지 S320 단계와 대응하며, 동일한 과정이 될 수 있다. 즉, 제어부(150)는 S700 단계에서 카메라부(110)를 통해 음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영한다(도 4 참조). 그런 다음, 제어부(150)는 S705 단계에서 이미지 처리를 통해 용기(10)와 음식(20)을 구분하여 인식한다. 다음으로, 제어부(150)는 S710 단계에서 대상 이미지로부터 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 용기의 형태 및 부피를 도출한다. 도 5를 참조하면, 제어부(150)는 대상 이미지에서 용기의 특징점들을 추출한 후, 단말(100)로부터 추출된 용기의 특징점들(범례 참조)까지의 거리를 센싱하여, 추출된 용기의 특징점들(범례 참조)로만 이루어진 용기의 형태를 도출한다. 그런 다음, 제어부(150)는 추출된 용기의 특징점들(범례 참조)로만 이루어진 용기의 형태로부터 추출되지 않는 부분(범례 참조)의 용기의 형태를 추정하여, 용기(10)의 형태를 완성한다. 이어서, 제어부(150)는 도출된 용기의 형태로부터 용기(10)의 부피를 도출한다.
다음으로, 제어부(150)는 S715 단계에서 저장부(140)에 미리 저장된 음식 이미지 정보로부터 촬영된 대상 이미지의 음식을 비교하여 대상 이미지의 음식을 식별한다. 이어서, 제어부(150)는 S720 단계에서 대상 이미지에서 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 도출된 용기의 형태 및 부피를 참조하여 용기에 담겨진 상기 음식의 부피를 도출한다(도 6 참조).
상술한 바와 같이 음식의 부피가 도출된 후, 제어부(150)는 S725 단계에서 저장부(140)에 미리 저장된 음식 재료 이미지 정보로부터 음식에 포함된 적어도 하나의 음식 재료를 식별한다.
이때, 제어부(150)는 S730 단계에서 식별된 음식 재료 중 섭취하지 않도록 미리 설정된 음식 재료가 포함되어 있는지 여부를 판별한다. 만약, 식별된 음식 재료가 섭취하지 않도록 미리 설정된 음식 재료가 포함되어 있으면, 제어부(150)는 S735 단계에서 출력부(130)를 통해 해당 음식 재료가 섭취하지 않도록 미리 설정된 음식 재료임을 알리는 경고 콘텐츠를 출력한다. 이러한 경고 콘텐츠는 표시 장치를 통해 사용자가 시각적으로 인식할 수 있는 것이거나, 오디오 장치를 통해 사용자가 청각적으로 인식할 수 있는 것이거나, 햅틱 장치를 통해 사용자가 촉각적으로 인식할 수 있는 것일 수 있다.
한편, 식별된 음식 재료가 섭취하지 않도록 미리 설정된 음식 재료가 아닌 경우, 제어부(150)는 S740 단계에서 대상 이미지에서 식별된 음식 재료의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 대상 이미지에서 음식에 대한 음식 재료가 차지하는 부피의 비율을 도출한다.
도 8의 (가)는 용기(10) 및 음식(20)을 포함하는 대상 이미지를 보인다. 특히, 도면 부호 80은 어느 하나의 식별된 음식 재료라고 가정한다. 여기서, 제어부(150)는 도 8의 (나)에 보인바와 같은 대상 이미지 상에서 음식(20)에 대한 음식 재료(80)의 부피의 비율을 구한다. 이는 실질적으로 대상 이미지 상에서 차지하는 면적의 비율이 될 수 있으며, 면적의 비율을 부피의 비율로 그대로 사용할 수 있다.
부피의 비율이 구해지면 제어부(150)는 S745 단계에서 앞서(S740) 구해진 비율에 따라 음식의 부피를 고려하여 음식에 포함된 음식 재료의 부피를 도출한다. 즉, 본 발명은 음식 재료가 음식 전체에 균등하게 분산된 것으로 가정한다. 이러한 가정에 따라, 제어부(150)는 앞서 구해진 음식의 부피와 음식 재료의 비율을 이용하여 음식 재료의 부피를 도출한다. 상술한 방법에 따라 음식에 포함된 각각의 모든 음식 재료 각각의 부피를 구할 수 있다.
그런 다음, 제어부(150)는 S750 단계에서 저장부(140)에 미리 저장된 음식 재료의 부피당 칼로리 정보를 이용하여 도출된 음식 재료의 부피에 따라 각 음식 재료의 칼로리를 산출한다. 여기서, 음식 재료의 부피당 칼로리 정보는 음식의 종류에 따라 달라지는 부피당 칼로리에 대한 정보이다. 즉, 조립법에 따라 음식 재료는 그 칼로리가 달라질 수 있기 때문에, 음식 재료의 부피당 칼로리 정보는 이러한 점을 고려하고 음식의 종류에 따른 조립법에 의거하여 음식 재료의 부피당 칼로리를 저장한다. 따라서 S755 단계에서 제어부(150)는 음식 재료의 부피당 칼로리 정보로부터 앞서 식별된 음식에 종류에 따라 음식 재료의 칼로리를 검출하여, 도출된 음식 재료 각각의 부피에 따라 각 음식 재료의 칼로리를 산출한다.
그런 다음, 제어부(150)는 S760 단계에서 각 음식 재료의 칼로리를 합산하여, 음식의 전체 칼로리를 산출한다.
이때, 제어부(150)는 S765 단계에서 도출된 음식의 칼로리가 미리 설정된 칼로리 이상인지 판단한다.
그런 다음, 도출된 음식의 칼로리가 미리 설정된 칼로리 미만이면, 제어부(150)는 S770 단계에서 출력부(130)를 통해 해당 칼로리를 출력한다.
한편, 도출된 음식의 칼로리가 미리 설정된 칼로리 이상이면, 제어부(150)는 S775 단계에서 출력부(130)를 통해 해당 음식의 칼로리가 미리 설정된 칼로리 이상임을 알리는 경고 콘텐츠를 출력한다. 이러한 경고 콘텐츠는 표시 장치를 통해 사용자가 시각적으로 인식할 수 있는 것이거나, 오디오 장치를 통해 사용자가 청각적으로 인식할 수 있는 것이거나, 햅틱 장치를 통해 사용자가 촉각적으로 인식할 수 있는 것일 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따르면, 각 가정별로 각 음식점 별로 동일한 음식일지라도 음식 재료의 종류나 양이 다를 수 있음을 고려하여, 각 음식 재료에 따라 칼로리를 산출함으로써, 사용자에게 보다 정확한 칼로리 정보를 제공할 수 있어, 사용자는 정확한 칼로리 정보를 가지고 음식을 조절할 수 있다.
본 발명에 따른 이미지 인식을 통한 음식 정보를 제공하기 위한 방법은, 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
100: 단말
110: 카메라부
120: 입력부
130: 출력부
140: 저장부
150: 제어부

Claims (10)

  1. 음식 정보를 제공하기 위한 장치에 있어서,
    음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영하는 카메라부;
    상기 대상 이미지에서 상기 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 상기 용기의 형태 및 부피를 도출하고, 미리 저장된 음식 이미지 정보로부터 상기 음식을 식별하며, 상기 대상 이미지에서 상기 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 도출된 용기의 형태 및 부피를 참조하여 상기 용기에 담겨진 상기 음식의 부피를 도출하며, 미리 저장된 음식의 부피당 칼로리 정보를 참조하여 상기 도출된 음식의 부피에 해당하는 상기 음식의 칼로리를 도출하는 제어부;를 포함하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  2. 제1항에 있어서,
    상기 제어부는
    미리 저장된 음식 재료 이미지 정보로부터 상기 음식에 포함된 적어도 하나의 음식 재료를 식별하고, 미리 저장된 음식 재료의 부피당 칼로리 정보를 참조하여 상기 음식 재료에 따라 상기 음식의 칼로리를 도출하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 대상 이미지에서 상기 음식 재료의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 대상 이미지에서 음식에 대한 음식 재료가 차지하는 부피의 비율을 도출하며, 상기 비율에 따라 상기 음식에 포함된 음식 재료의 부피를 도출하고, 상기 도출된 음식 재료의 부피에 따라 상기 음식의 칼로리를 도출하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 카메라부로부터 상기 용기의 특징점들까지의 거리를 이용하여 상기 용기의 형태 및 부피를 도출하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  5. 제2항에 있어서,
    상기 미리 저장된 음식 이미지 정보, 상기 미리 저장된 음식의 부피당 칼로리 정보, 상기 미리 저장된 음식 재료 이미지 정보 및 상기 미리 저장된 음식 재료의 부피당 칼로리 정보를 저장하는 저장부;를 더 포함하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    사용자가 시각, 청각 및 촉각 중 적어도 하나를 통해 인지할 수 있도록 정보를 출력하는 출력부를 더 포함하며,
    상기 제어부는
    상기 도출된 음식의 칼로리가 미리 설정된 칼로리 이상이면, 상기 출력부를 통해 경고 콘텐츠를 출력하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  7. 제2항에 있어서,
    사용자가 시각, 청각 및 촉각 중 적어도 하나를 통해 인지할 수 있도록 정보를 출력하는 출력부를 더 포함하며,
    상기 제어부는 상기 식별된 음식 재료가 섭취하지 않도록 설정된 음식 재료이면, 상기 출력부를 통해 경고 콘텐츠를 출력하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 장치.
  8. 음식 정보를 제공하기 위한 방법에 있어서,
    음식 및 음식을 포함하는 용기가 포함되어 있는 대상 이미지를 촬영하는 단계;
    상기 대상 이미지에서 상기 용기의 특징점들을 추출하고, 추출된 용기의 특징점들로부터 상기 용기의 형태 및 부피를 도출하는 단계;
    미리 저장된 음식 이미지 정보로부터 상기 음식을 식별하는 단계;
    상기 대상 이미지에서 상기 음식의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 도출된 용기의 형태 및 부피를 참조하여 상기 용기에 담겨진 상기 음식의 부피를 도출하는 단계; 및
    미리 저장된 음식의 부피당 칼로리 정보를 참조하여 상기 도출된 음식의 부피에 해당하는 상기 음식의 칼로리를 도출하는 단계;를 포함하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 방법.
  9. 제8항에 있어서,
    상기 칼로리를 도출하는 단계는
    미리 저장된 음식 재료 이미지 정보로부터 상기 음식에 포함된 적어도 하나의 음식 재료를 식별하는 단계; 및
    미리 저장된 음식 재료의 부피당 칼로리 정보를 참조하여 상기 음식 재료에 따라 상기 음식의 칼로리를 도출하는 단계;를 포함하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 방법.
  10. 제9항에 있어서,
    상기 음식 재료에 따라 상기 음식의 칼로리를 도출하는 단계는
    상기 대상 이미지에서 상기 음식 재료의 특징점들을 추출하고, 추출된 음식의 특징점들에 따라 상기 대상 이미지에서 음식에 대한 음식 재료가 차지하는 부피의 비율을 도출하는 단계;
    상기 비율에 따라 상기 음식에 포함된 음식 재료의 부피를 도출하는 단계; 및
    상기 도출된 음식 재료의 부피에 따라 상기 음식의 칼로리를 도출하는 단계;를 포함하는 것을 특징으로 하는
    음식 정보를 제공하기 위한 방법.
KR1020120133198A 2012-11-22 2012-11-22 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치 KR101375018B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120133198A KR101375018B1 (ko) 2012-11-22 2012-11-22 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120133198A KR101375018B1 (ko) 2012-11-22 2012-11-22 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101375018B1 true KR101375018B1 (ko) 2014-03-17

Family

ID=50648872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120133198A KR101375018B1 (ko) 2012-11-22 2012-11-22 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101375018B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018828A1 (ko) * 2015-07-29 2017-02-02 피도연 식품 정보 제공 방법 및 장치
WO2017043686A1 (ko) * 2015-09-11 2017-03-16 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
WO2017091024A1 (en) * 2015-11-25 2017-06-01 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
KR20200036314A (ko) * 2018-09-28 2020-04-07 가천대학교 산학협력단 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
WO2020222561A1 (ko) * 2019-04-29 2020-11-05 주식회사 누비랩 음식 측정 방법, 장치, 및 프로그램
KR20200126576A (ko) * 2019-04-30 2020-11-09 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR20220083347A (ko) * 2020-12-11 2022-06-20 주식회사 제로클래스랩 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
KR20220089258A (ko) * 2020-12-21 2022-06-28 한국기술교육대학교 산학협력단 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법
KR102473072B1 (ko) 2022-08-25 2022-12-01 주식회사 두잉랩 인공지능 기반의　영상 인식 및 증강현실을 이용한 식기 크기 측정 및 영양정보 제공 시스템 및 방법
KR102473284B1 (ko) 2022-08-25 2022-12-02 주식회사 두잉랩 인공지능을 활용한　영상 분석 기반 음식 검출을 이용한 영양정보 제공 시스템 및 방법
KR102473283B1 (ko) 2022-08-25 2022-12-02 주식회사 두잉랩 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법
KR102473282B1 (ko) 2022-08-25 2022-12-02 주식회사 두잉랩 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템 및 방법
KR20230011444A (ko) 2023-01-03 2023-01-20 주식회사 팬라이트 다중 모드를 지원하는 조명 제어 시스템 및 방법
KR20230018018A (ko) 2021-07-29 2023-02-07 동의대학교 산학협력단 인공지능을 이용한 한식 정보 제공 시스템 및 방법
KR102544742B1 (ko) * 2022-06-21 2023-06-20 가천대학교 산학협력단 딥러닝 기반 음식 이미지 부피 측정 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164038A (ja) 2002-11-08 2004-06-10 Masaru Mizutani カメラ付き携帯電話機を用いた栄養管理システム
KR20070006465A (ko) * 2005-07-08 2007-01-11 에스케이 텔레콤주식회사 Ｒｆｉｄ를 이용한 다이어트 관리 시스템 및 방법
KR100824350B1 (ko) 2006-10-26 2008-04-22 김용훈 실시간 음식물 정보 제공 방법 및 장치
JP2012113627A (ja) 2010-11-26 2012-06-14 Terumo Corp 携帯端末、カロリー推定方法及びカロリー推定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164038A (ja) 2002-11-08 2004-06-10 Masaru Mizutani カメラ付き携帯電話機を用いた栄養管理システム
KR20070006465A (ko) * 2005-07-08 2007-01-11 에스케이 텔레콤주식회사 Ｒｆｉｄ를 이용한 다이어트 관리 시스템 및 방법
KR100824350B1 (ko) 2006-10-26 2008-04-22 김용훈 실시간 음식물 정보 제공 방법 및 장치
JP2012113627A (ja) 2010-11-26 2012-06-14 Terumo Corp 携帯端末、カロリー推定方法及びカロリー推定プログラム

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101789732B1 (ko) * 2015-07-29 2017-10-25 피도연 식품 정보 제공 방법 및 장치
WO2017018828A1 (ko) * 2015-07-29 2017-02-02 피도연 식품 정보 제공 방법 및 장치
WO2017043686A1 (ko) * 2015-09-11 2017-03-16 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10861153B2 (en) 2015-11-25 2020-12-08 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
WO2017091024A1 (en) * 2015-11-25 2017-06-01 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US10521903B2 (en) 2015-11-25 2019-12-31 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US11568981B2 (en) 2015-11-25 2023-01-31 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
KR102243452B1 (ko) 2018-09-28 2021-04-22 가천대학교 산학협력단 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
KR20200036314A (ko) * 2018-09-28 2020-04-07 가천대학교 산학협력단 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
WO2020222561A1 (ko) * 2019-04-29 2020-11-05 주식회사 누비랩 음식 측정 방법, 장치, 및 프로그램
CN113874678A (zh) * 2019-04-29 2021-12-31 诺维莱株式会社 食物测量方法、装置及程序
KR20200126576A (ko) * 2019-04-30 2020-11-09 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR102471775B1 (ko) * 2019-04-30 2022-11-28 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR20220083347A (ko) * 2020-12-11 2022-06-20 주식회사 제로클래스랩 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
KR102597692B1 (ko) * 2020-12-11 2023-11-03 주식회사 제로클래스랩 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
KR20220089258A (ko) * 2020-12-21 2022-06-28 한국기술교육대학교 산학협력단 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법
KR102457237B1 (ko) 2020-12-21 2022-10-19 한국기술교육대학교 산학협력단 칼로리 측정용 휴대디바이스, 칼로리 측정 시스템 및 방법
KR20230018018A (ko) 2021-07-29 2023-02-07 동의대학교 산학협력단 인공지능을 이용한 한식 정보 제공 시스템 및 방법
KR102544742B1 (ko) * 2022-06-21 2023-06-20 가천대학교 산학협력단 딥러닝 기반 음식 이미지 부피 측정 방법 및 시스템
KR102473284B1 (ko) 2022-08-25 2022-12-02 주식회사 두잉랩 인공지능을 활용한　영상 분석 기반 음식 검출을 이용한 영양정보 제공 시스템 및 방법
KR102473283B1 (ko) 2022-08-25 2022-12-02 주식회사 두잉랩 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법
KR102473282B1 (ko) 2022-08-25 2022-12-02 주식회사 두잉랩 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템 및 방법
KR102473072B1 (ko) 2022-08-25 2022-12-01 주식회사 두잉랩 인공지능 기반의　영상 인식 및 증강현실을 이용한 식기 크기 측정 및 영양정보 제공 시스템 및 방법
US11688187B1 (en) 2022-08-25 2023-06-27 doinglab Corp. System and method for measuring dish size and providing nutrition information using image recognition and augmented reality based on artificial intelligence
US11830603B1 (en) 2022-08-25 2023-11-28 doinglab Corp. System and method for providing nutrition information using artificial intelligence
KR20230011444A (ko) 2023-01-03 2023-01-20 주식회사 팬라이트 다중 모드를 지원하는 조명 제어 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101375018B1 (ko) 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치
US9298989B2 (en) Method and apparatus for recognizing actions
Zhang et al. “snap-n-eat” food recognition and nutrition estimation on a smartphone
WO2011070871A1 (ja) 情報処理装置、情報処理方法およびプログラム
US9530078B2 (en) Person recognition apparatus and person recognition method
US8768006B2 (en) Hand gesture recognition
US10803315B2 (en) Electronic device and method for processing information associated with food
EP2182469B1 (en) System and method for sensing facial gesture
CN104081438B (zh) 姓名气泡处理
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
JP5664553B2 (ja) 人物服装特徴抽出装置、人物検索装置、人物服装特徴抽出方法、人物検索方法及びプログラム
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3646776B1 (en) Skin checking device, product information determination method, device and system
KR101789732B1 (ko) 식품 정보 제공 방법 및 장치
JP5287333B2 (ja) 年令推定装置
KR102209741B1 (ko) 음식과 관련된 정보를 처리하기 위한 전자 장치 및 방법
EP2219134A2 (en) Information processing apparatus and information processing method
US9047504B1 (en) Combined cues for face detection in computing devices
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
KR101952804B1 (ko) 감정인식 인터페이스 장치
US20160070960A1 (en) Image processing apparatus
CN109377834A (zh) 一种辅助盲人阅读的文本转换方法及系统
WO2022009301A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011193325A (ja) ディスプレイを有するデジタル写真表示装置、システム及びプログラム
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170911

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190423

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 7