KR102243452B1

KR102243452B1 - 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법

Info

Publication number: KR102243452B1
Application number: KR1020180115806A
Authority: KR
Inventors: 이해정; 박선주
Original assignee: 가천대학교 산학협력단
Priority date: 2018-09-28
Filing date: 2018-09-28
Publication date: 2021-04-22
Also published as: KR20200036314A

Abstract

본 발명의 식품 정보 추정을 위한 가이드 카드는 바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴; 상기 배경 패턴에 동일한 모양으로 도시되고, 가감하여 모든 색상이 구현가능한 최소 기본 단위의 기준 색상의 기준 마커; 및 상기 배경 패턴 및 상기 기준 마커가 구비된 ID 카드; 를 포함한다.

Description

식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법{Guide card for food information recognition, food information recognition system and method thereof}

본 발명은 식품 정보 추정을 위한 가이드 카드, 시스템 및 이를 이용한 식품 정보 추정 방법에 관한 것으로, 더 상세하게는, 식품 정보 추정을 위하여 가이드 카드에 일정 간격의 패턴을 제시하여 음식의 사이즈를 파악하고, 기본 색상의 기준 마커를 활용하여 음식과 식품의 색깔과 종류를 인식하는 식품 정보 추정을 위한 가이드 카드, 시스템 및 이를 이용한 식품 정보 추정 방법에 관한 것이다.

많은 연구 조사는 식이 요인과 건강 상태 간에 명확한 상관관계가 있음을 보여주었다. 식이요인은 당뇨병, 암, 심장 질환, 고혈압, 신장 질환, 비만 등과 같은 만성질환과 밀접하게 연관되어 있다. 이와 같은 질병을 예방하고 관리하기 위해서는 정확한 식습관 평가가 필요하다. 본인이 섭취하는 식품과 음식의 섭취량 및 포함된 영양소를 정확히 파악하고 개선하기 위한 노력이 필요하다

따라서, 섭취하는 식품과 음식에 포함된 열량 및 영양소의 함량을 정확하게 평가하기 위해 소비되는 음식과 음식의 무게의 종류를 인식하는 시스템 및 방법이 필요하다.　또한, 섭취하는 식품과 음식의 종류를 식별 할 수 있는 정확한 컴퓨터 비전 기술 시스템 및 방법이 필요하다.

현재까지 음식 사진을 활용한 영양상태 평가방법은 음식 이미지를 캡쳐하여 영양 성분 분석을 제공하고 있으나,　종래의 식품이미지 인식 방법은 음식을 담은 그릇, 조명, 초점 거리 변화 요인 등의 영향을 받아 인식 정확도는 매우 낮은 편이다.　정확한 영양 데이터를 평가할 때 이러한 기존 이미지 인식 기술이 제대로 수행되어야 하는 이유 중 하나는 음식의 이미지에서 음식의 부피, 밀도, 무게 등을 추정함에 기인한다. 도 1을 참조하면, 특허문헌 1에는 중량 측정센서(6)가 구비되고, 무선통신모듈(7)이 구비되어 용기(1) 현재 중량정보를 외부로 실시간 무선 전송하게 되는 스마트 패드(5)와, 음식물을 섭취하는 사용자가 소지하게 되고, 스마트 패드(5)로부터 실시간 무선 전송되는 용기(1) 현재 중량정보를 수신하게 되는 사용자 휴대단말기(2); 및 사용자 휴대단말기(2)에 설치되고, 사용자 휴대단말기(2)로부터 용기(1) 현재 중량정보를 전달받게 되며, 용기(1) 현재 중량의 변동 이력으로부터 사용자의 음식물 섭취량을 계산한 후, 음식물 섭취량으로부터 섭취칼로리 수치값을 산출하게 되는 칼로리정보 관리 애플리케이션(3)을 포함하는 것을 특징으로 하는 스마트패드 기반 섭취칼로리 계측시스템이 개시되어 있다. 그러나 특허문헌 1에서 사용자의 음식물 섭취량을 계산하기 위해서는 사전에 음식에 관한 정보가 수기로 입력되어야 하는 번거로움이 있었다.

전술한 종래의 기술은 영양섭취상태를 파악하기 위한 방법으로 일반적으로 24시간 회상법을 사용하는데 이 방법은 지난 24시간 동안 섭취한 음식과 식품을 회상하는 인터뷰 과정에서 리콜 바이어스(recall bias)가 발생하기 때문에 음식 사진을 활용하는 것이 정확한 영양섭취 상태 평가를 위해 필요하다. 음식 사진을 이용하여 섭취한 음식과 식품의 종류와 양을 추정하기 위해서는 기준이 되는 카드가 필요하다. 그러나, 기존 해외에서 활용되는 카드는 검정과 하얀색을 이용한 단색으로 되어 있어 정확한 음식의 종류를 파악하지 못하는 한계가 있었고, 정확한 영양섭취상태를 파악하기 위해서 섭취한 음식의 종류와 양을 수기로 입력해야 하는 불편함이 있었다.

KR 10-2016-0084866 A

본 발명의 목적은 가이드 카드의 패턴 간격으로 식품의 사이즈를 파악하고, 검은색과 기준 마커로 식품의 종류를 인식하는 식품 정보 추정을 위한 가이드 카드, 시스템 및 이를 이용한 식품 정보 추정 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 식품 정보 추정을 위한 가이드 카드 는 바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴; 상기 배경 패턴에 동일한 모양으로 도시되고, 가감하여 모든 색상이 구현 가능한 최소 기본 단위의 기준 색상으로 구성된 기준 마커; 및 상기 배경 패턴 및 상기 기준 마커가 구비된 ID 카드; 를 포함할 수 있다.

또한, 상기 배경 패턴의 상기 바탕의 색상은 흰색이고, 상기 이격된 선의 색상은 검은색이며, 상기 이격된 선은 서로 교차하여 복수개의 사각형을 형성하고, 상기 이격된 선의 상기 소정의 간격은 0.5cm에서 1.5cm의 범위일 수 있다.

또한, 상기 배경 패턴의 상기 바탕의 색상은 흰색이고, 상기 이격된 선은 검은색이며, 상기 선은 크기가 다른 복수개의 동심원을 형성하고, 상기 이격된 선의 상기 소정의 간격은 1.0cm에서 1.5cm 의 범위일 수 있다.

또한, 상기 기준 마커는 상기 배경 패턴의 상기 이격된 선이 서로 교차하여 형성되는 복수개의 사각형에 이웃하는 4개의 상기 사각형 내에 상기 기준 색상이 채색되어 복수개가 형성되고 서로 연접하지 않은 상태로 배치될 수 있다.

또한, 상기 기준 마커는 상기 배경 패턴의 상기 이격된 선이 서로 교차하여 형성되는 복수개의 사각형 중의 하나에 상기 기준 색상이 채색되어 복수개가 형성되고 서로 연접하지 않은 상태로 배치될 수 있다.

또한, 상기 기준 마커는 상기 배경 패턴의 상기 이격된 선으로 형성되는 복수개의 동심원 내부에 동일한 크기로 형성되는 복수개의 원에 상기 기준 색상이 채색되어 복수개가 형성되고 서로 연접하지 않은 상태로 배치될 수 있다.

또한, 상기 기준 색상은 마젠타(magenta), 옐로우(yellow), 시안(cyan)의 감산혼합의 삼원색과 검은색을 포함할 수 있다.

또한, 상기 기준 색상은 마젠타(magenta), 옐로우(yellow), 시안(cyan)으로 감산혼합되어 생성되는 복수의 색상과 검은색을 포함할 수 있다.

또한, 상기 ID 카드는 크기가 가로 5cm 내지 6cm 이고, 세로 8cm 내지 9cm 이고, 두께 0.1cm 내지 1cm 일 수 있다.

또한, 상기 ID 카드는 펼쳐져서 입체가 되는 절첩식으로 접혀진 복수개의 면이 구비될 수 있다.

본 발명의 다른 목적을 달성하기 위한 가이드 카드를 이용한 식품 정보 추정 방법은 (a) 가이드 카드를 식사 전 식품과 동일 평면상에서 촬영하여 제1 이미지를 획득하는 단계; (b) 상기 가이드 카드를 식사 후 식품과 동일 평면상에서 촬영하여 제2 이미지를 획득하는 단계; (c) 상기 가이드 카드의 기준 마커로 상기 제1 이미지 및 상기 제2 이미지와 비교하여 식품 정보를 추정하는 단계; 및 (d) 상기 제1 이미지와 상기 제2 이미지를 가감 연산하여 상기 식품 정보의 변동량을 계산하는 단계; 를 포함할 수 있다.

또한, 상기 (a) 단계는 음성이나 문자로 상기 제1 이미지에 대한 식사 전 식품 정보 데이터를 수집하는 단계; 를 더 포함하고, 상기 (b) 단계는 음성이나 문자로 상기 제2 이미지에 대한 식사 후 식품 정보 데이터를 수집하는 단계; 를 더 포함할 수 있다.

또한, 상기 (c) 단계는 음성이나 문자로 획득한 상기 식사 전 식품 정보 데이터 및 상기 식사 후 식품 정보 데이터와 상기 식품 정보를 비교하여 상기 식품 정보를 보완하는 단계를 더 포함할 수 있다.

본 발명의 다른 목적을 달성하기 위한 가이드 카드를 이용한 식품 정보 추정 방법은 식품 이미지 인식 방법을 실행하기 위한 가이드 카드를 이용한 식품 정보 추정 방법에 있어서, (a) 제1 이미지와 제2 이미지로부터 식품 용기와 식품 이미지를 추출하여 프로젝트 이미지를 추출하는 단계; (b) 상기 식품 이미지의 원근 왜곡, 채도, 조명, 크기 및 방향을 상기 가이드 카드의 배경 패턴으로부터 유도되는 기준 이미지로 변형하는 단계;　(c) 상기 식품 용기의 파티션을 구분선으로 하여 각각의 식품 항목으로 구분되는 식품 세그먼트 파티션 이미지로 분할하는 단계; 및 (d) 상기 식품 용기의 이미지를 제외하여 식품 세그먼트 이미지를 확보하는 단계; 를 포함할 수 있다.

또한, (e) 상기 가이드 카드 이미지와 상기 식품 세그먼트 이미지와 비교하여 상기 식품 항목의 면적을 계산하여 식품의 정량을 추정하는 단계; 를 더 포함할 수 있다.

본 발명의 또 다른 목적을 달성하기 위한 가이드 카드를 이용한 식품 정보 추정 시스템은 식품 이미지 인식 방법을 실행하기 위한 가이드 카드를 이용한 식품 정보 추정 시스템에 있어서, 시스템은, 식품 이미지 인식 프로그램을 탑재한 서버; 식품 이미지와 식품 정보를 송수신하는 식품 용기; 및 상기 식품 이미지와 상기 식품 정보를 송수신하는 통신모듈이 구비된 가이드 카드; 를 포함하고, 상기 서버는, 상기 식품 용기와 상기 가이드 카드를 촬영하기 위한 촬영부; 상기 식품 용기와 상기 가이드 카드의 기준 마커를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 제어부; 상기 제어부에 의해 제공된 상기 증강현실 데이터를 출력하는 출력부; 를 포함하고, 상기 시스템이 상기 식품 이미지 인식 방법을 실행하여 산출된 결과를 증강현실로 구현시킬 수 있다.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 따른 식품 정보 추정을 위한 가이드 카드에 의하면, 가이드 카드의 배경 패턴으로 식품의 사이즈를 파악하고, 검은색과 삼원색의 기준 마커로 식품의 종류를 인식하고 이를 머신 러닝 알고리즘으로 분석하여 섭취한 음식의 분량과 영양상태를 정량적으로 분석할 수 있는 효과가 있다.

도 1은 종래의 식품 정보 추정을 위한 방법을 도시한 모식도이다.
도 2는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드의 사용 예를 도시한 모식도이다.
도 3은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드이다.
도 4는 본 발명의 다른 실시예에 의한 식품 정보 추정을 위한 가이드 카드이다.
도 5는 본 발명의 또 다른 실시예에 의한 식품 정보 추정을 위한 가이드 카드이다.
도 6(a)는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 식사 전에 식품 용기에 배치한 모습을 도시한 모식도이고, 도 6(b)는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 식사 후에 식품 용기에 배치한 모습을 도시한 모식도이다.
도 7은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 도시한 모식도이다.
도 8은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 이미지 인식 방법을 도시한 모식도이다.
도 9는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 도시한 순서도이다.
도 10은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 구현하기 위한 시스템의 구성도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는" 과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "부", "기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

도 1은 종래의 식품 정보 추정을 위한 방법을 도시한 모식도이다.

도 2는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드의 사용 예를 도시한 모식도이다.

도 3은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드이다.

도 4는 본 발명의 다른 실시예에 의한 식품 정보 추정을 위한 가이드 카드이다.

도 5는 본 발명의 또 다른 실시예에 의한 식품 정보 추정을 위한 가이드 카드이다.

도 6(a)는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 식사 전에 식품 용기에 배치한 모습을 도시한 모식도이고, 도 6(b)는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 식사 후에 식품 용기에 배치한 모습을 도시한 모식도이다.

도 7은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 도시한 모식도이다.

도 8은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 이미지 인식 방법을 도시한 모식도이다.

도 9는 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 도시한 순서도이다.

도 10은 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 구현하기 위한 시스템의 구성도이다.

본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드는 흰색 바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴(51); 배경 패턴(51)에 동일한 모양으로 도시되고, 가감하여 모든 색상이 구현가능한 최소 기본 단위의 기준 색상으로 구성된 기준 마커(55); 및 배경 패턴(51) 및 상기 기준 마커(55)가 구비된 ID 카드; 를 포함할 수 있다.

식품 정보는 식품의약품안전처고시 제2018-58호의 "식품등의 표시기준"에 정의된 식품, 식품첨가물, 기구 또는 용기·포장(이하 "식품 등"이라 한다)의 표시기준에 관한 사항 및 영양성분 표시대상 식품의 영양표시에 관하여 필요한 사항을 규정한 식품 등의 모든 정보를 포함한다. 즉, 식품 정보는 제품명, 식품의 유형, 제조연월일, 유통기한, 품질유지기한, 원재료, 성분, 영양성분, 당류, 트랜스지방, 1회 섭취참고량, 영양성분표시, 1일 영양성분 기준치, 정보표시면, 복합원재료, 통·병조림식품, 레토르트(retort)식품, 냉동식품, 품목보고번호, 표시사항 등을 포함한다.

도 2를 참조하면, 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드의 사용 예가 도시되어 있다.

먼저, 사용자는 식품 정보 추정을 위한 식품 용기(10)에 식품을 담는다. 사용자가 직접 모바일 폰의 촬영부(30)로 식사 전후의 식품 용기(10), 식품(20)을 가이드 카드(50)와 동일 평면에 배열하여 촬영해서, 식품 용기 이미지(10'), 식품 이미지(20'), 가이드 카드 이미지(50')를 획득할 수 있는데, 이때 획득된 식품의 이미지(20')는 식품(20)과 촬영부(30)의 거리에 따라 식품 이미지(20')의 사이즈가 달라질 수 있다. 이러한 거리에 따른 식품 이미지의 사이즈를 정확한 실물 사이즈로 환산하기 위해서 본 발명의 식품 정보 추정을 위한 가이드 카드(50)를 가이드 카드(50')의 비율로 환산하는 과정이 필요하게 된다.

식품 정보 추정을 위한 식품 용기(10)는 일반적인 접시나 식기일 수 있지만, 전자저울, 카메라, 통신모듈과 같은 IOT 전자장비가 부착된 전자 용기일 수 있다.

식품 용기(10)의 촬영부(30)는 구획된 구간의 저면 또는 측면에 설치되어 식품 용기가 투명한 재질로 되어 있다면 구획된 구간에 저장된 각각의 음식의 사진을 여러 각도에서 촬영할 수 있다.

식품 용기(10)의 전자저울은 구획된 구간에 복수개가 배치되어 구획된 구간에 저장된 각각의 음식의 중량을 측정할 수도 있다.

식품 용기(10)의 통신모듈은 전자저울이나 촬영부(30)에서 측정한 데이터를 서버(100)에 무선 또는 유선통신으로 자료를 전송할 수 있다.

도 3을 참조하면, 본 발명의 식품 정보 추정을 위한 가이드 카드(50)는 일면에 흰색 바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴(51)을 포함한다.

배경 패턴(51)은 검은색 바탕에 흰색의 라인으로 그려질 수도 있다.

배경 패턴(51) 내부에는 동일한 크기와 모양이 반복되어 도시되고, 가감하여 모든 색상이 구현가능한 최소 기본 단위의 기준 색상과 검은색의 기준 마커(55)가 도시된다.

본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드(50)는 배경 패턴(51)의 바탕의 색상은 흰색이고, 배경 패턴(51)의 이격된 선의 색상은 검은색이며, 배경 패턴(51)의 이격된 선은 서로 교차하여 복수개의 사각형을 형성하고, 배경 패턴(51)의 이격된 선의 소정의 간격은 0.5cm에서 1.5cm 범위가 바람직하다.

가이드 카드(50)의 기준 마커(55)의 복수개의 기준 색상은, 배경 패턴(51)의 이격된 선이 서로 교차하여 형성하는 복수개의 사각형에 이웃하는 4개의 사각형 내부에 서로 연접하지 않은 상태로 배치되고, 마젠타(magenta), 옐로우(yellow), 시안(cyan)의 감산혼합의 삼원색과 검은색으로 채색된다.

본 발명의 다른 실시예에 의한 식품 정보 추정을 위한 가이드 카드(50)의 기준 마커(55)의 복수개의 기준 색상은, 배경 패턴(51)의 이격된 상기 선이 서로 교차하여 형성하는 복수개의 사각형에 서로 연접하지 않은 상태로 배치되고, 마젠타(magenta), 옐로우(yellow), 시안(cyan)으로 감산혼합되어 생성되는 복수의 색상과 검은색으로 채색된다.

또한, 기준 마커(55)의 복수개의 기준 색상은 적색(red), 녹색(green), 청색(blue)의 가산혼합의 삼원색, 가산혼합되어 생성되는 복수의 색상과 흰색으로 구현될 수도 있다.

본 발명의 또 다른 실시예에 의한 식품 정보 추정을 위한 가이드 카드(50)는 배경 패턴(51)의 바탕의 색상은 흰색이고, 배경 패턴(51)의 이격된 선은 검은색이며, 배경 패턴(51)의 선은 크기가 다른 복수개의 동심원을 형성하고, 배경 패턴(51)의 이격된 선의 소정의 간격은 1.0cm 내지 1.5cm 이고, 기준 마커(55)의 기준 색상은 배경 패턴(51)의 이격된 선이 형성하는 복수개의 동심원 내부에 동일한 크기의 원으로 채색되어 서로 연접하지 않은 상태로 배치된다.

본 발명의 일 실시예에 의한 ID 카드(57)는, 크기는 가로 8cm 내지 9cm, 세로 5cm 내지 6cm 이고, 두께는 0.1cm 내지 1cm 이지만, 이에 한정되지는 않으며, 크기와 모양과 두께에 제한이 없으며, 식품 용기, 식탁, 의복, 패드 등에 일체로 형성될 수도 있다.

본 발명의 다른 실시예에 의한 ID 카드(57)는, 주로 플라스틱 재질로 구성되나, 이에 한정되지는 않으며, 재질에 재한이 없고, 투명한 재질로 구성될 수도 있고, 플랙서블한 재질로 구성되어 펼쳐져서 입체가 되는 절첩식으로 접혀진 복수개의 면이 구비될 수 있다.

도 4를 참조하면, 기준 마커(55)의 기준색은 합산하여 모든 색상이 구현가능한 색으로 구성되며, 기준색의 개수는 삼원색과 검은색인 것이 바람직하나, 합산하여 삼원색과 기준색을 구현할 수 있다면, 4개 이상의 색으로 구성되는 것도 가능하다.

이러한 배경 패턴(51) 및 기준 마커(55)은 ID 카드(57) 상에 그래픽 영상으로 그려진다.

본 발명의 일 실시예에 의한 ID 카드(57)는 휴대가 간편한 신용카드의 사이즈로 구성되지만, 복수개의 면이 접혀진 형태로 구성되어 펼쳤을때 접혀진 면이 주사위 형태의 입체를 구성하는 카드도 가능하다.

도 5를 참조하면, 본 발명의 일 실시예에 의한 배경 패턴(51)은 흰색바탕에 검은색의 씨줄과 날줄이 교차되는 복수개의 사각형의 격자 형태이지만, 이에 한정되지 않으며, 배경 패턴(51)은 복수개의 원, 삼각형, 또는 다각형의 크기가 다른 도형이 일정한 간격으로 도시될 수 있다.

도 6(a) 및 도 6(b)를 참조하면, 본 발명의 식품 정보 추정을 위한 가이드 카드(50)를 이용한 식품 정보 추정 방법은 식품 정보 추정을 위한 가이드 카드(50)를 식품과 동일면 상에 나란히 두고 동일면의 상부에서 모바일 폰의 촬영부를 이용하여 도 6(a)의 식사 전 사진과 도 6(b)의 식사 후 사진을 촬영하게 된다. 식품 용기(10)의 식사 전 식품 이미지(11a 내지 16a)와 식사 후 식품 이미지(11b 내지 16b)는 식품의 양에 변화가 있다.

만일 식품 용기(10)가 투명한 재질로 구성되고, 본 발명의 식품 정보 추정을 위한 가이드 카드(50)를 식품 용기(10)가 놓여진 수평면에 나란하게 위치한 상태로 휴대폰 촬영부(30)로 촬영하여 기준 카드(50)와 식품 이미지를 획득하고, 식품 용기(10)가 놓여진 수평면에 수직하게 위치한 상태로 휴대폰 촬영부(30)로 촬영하여 식품 이미지를 획득하는 방법을 반복하여, 다각도에서 복수개의 기준 카드와 식품 이미지를 획득하면 계산을 통하여 섭취한 식품의 부피를 파악할 수 있다.

이러한 방법으로 식사 전 식품 이미지(11a 내지 16a)와 식사 후 식품 이미지(11b 내지 16b)를 가감 연산하여 섭취한 식사량을 계산할 수 있게 된다.

본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법은, (a) 식품 정보 추정을 위한 가이드 카드는 식사 전 식품과 동일 평면상에서 촬영하여 제1 이미지를 획득하는 단계(S1000); (b) 식사 후 식품과 동일 평면상에서 촬영하여 제2 이미지를 획득하는 단계(S2000); (c) 기준 마커로 제1 이미지 및 제2 이미지와 비교하여 상기 식품 정보를 추정하는 단계(S3000); 및 (d) 제1 이미지와 제2 이미지를 가감 연산하여 상기 식품 정보의 변동량을 계산하는 단계(S4000);를 포함한다.

도 7 내지 도 9를 참조하면, 본 발명의 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 개요가 도시되어 있다.

S1000 단계에서 상기 식품 정보 추정을 위한 가이드 카드는 식사 전 식품과 동일 평면상에서 촬영하여 제1 이미지를 획득한다.

S1000 단계는 전화로 사용자와 식품 정보를 인터뷰하는 단계가 더 포함될 수 있다(S1010). 이때 표준화된 인터뷰 프로토콜을 사용하여 식품 정보 데이터를 수집한다.

식사 전 식품 정보 추정을 위한 가이드 카드와 식품을 동일 평면상에서 촬영하고 이를 서버에 저장하여 제1 이미지를 획득한다(S1020).

S2000 단계에서 식사 후 식품과 동일 평면상에서 촬영하여 제2 이미지를 획득한다.

S2000 단계는 전화로 사용자와 식품 정보를 인터뷰하는 단계가 더 포함될 수 있다(S2010). 이때 표준화된 인터뷰 프로토콜을 사용하여 식품 정보 데이터를 수집한다.

식사 후 식품 정보 추정을 위한 가이드 카드와 식품을 동일 평면상에서 촬영하고 이를 서버에 저장하여 제2 이미지를 획득한다(S2020).

S3000 단계에서 상기 기준 마커로 상기 제1 이미지 및 상기 제2 이미지와 비교하여 식품 정보를 추정한다.

기록 항목에 포함된 식품 항목을 확인하고 정량화하여 분석한다(S3010). DEAT(Dietary Estimation and Assessment Tool)를 사용하여 양을 정량화한다(S3020).

이때, S1010 단계에서 전화 통화한 식품 정보를 이용하여 식품 정보 데이터를 보완한다.

S4000 단계에서 상기 제1 이미지와 상기 제2 이미지를 가감 연산하여 식품 정보의 변동량을 계산한다.

식품 품목, 영양 데이터 등의 식품 정보 데이터를 영양 분석 소프트웨어 프로그램에 직접 입력하여 영양 섭취량을 추정한다(S4010).

본 발명의 일 실시예에 의한 가이드 카드를 이용한 식품 정보 추정 방법은 식품 이미지 인식 방법을 실행하기 위한 가이드 카드를 이용한 식품 정보 추정 방법에 있어서, (a) 제1 이미지와 제2 이미지로부터 식품 용기와 식품 이미지를 추출하여 프로젝트 이미지를 추출하는 단계; (b) 식품 이미지의 원근 왜곡, 채도, 조명, 크기 및 방향을 상기 가이드 카드의 배경 패턴으로부터 유도되는 기준 이미지로 변형하는 단계;　(c) 식품 용기의 파티션을 구분선으로 하여 각각의 식품 항목으로 구분되는 식품 세그먼트 파티션 이미지로 분할하는 단계; 및 (d) 식품 용기의 이미지를 제외하여 식품 세그먼트 이미지를 확보하는 단계; 를 포함할 수 있다.

또한, (e) 가이드 카드 이미지와 상기 식품 세그먼트 이미지와 비교하여 식품 항목의 면적을 계산하여 식품의 정량을 추정하는 단계; 를 더 포함할 수 있다.

도 8을 참조하면, 본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 식품 이미지 인식 방법의 모식도가 도시되어 있다.

본 발명의 일 실시예에 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 식품 이미지 인식 방법은 식품을 인식하고 식품 섭취량의 데이터를 분석하고 이로부터 섭취한 영양적 가치를 결정한다.

본 발명의 일 실시예에서는 배치된 식품(20)의 종류와 정량을 분석하기 위한 식품 용기(10)와 가이드 카드(50)를 이용한다.　

서버는 제1 이미지와 제2 이미지로부터 식품 용기(10)와 식품(20)의 이미지만을 추출하여 프로젝트 이미지(71)를 추출한다(S5000).

이미지는 원근 왜곡, 채도, 조명, 크기 및 방향을 식품 정보 추정을 위한 가이드 카드(50)의 배경 패턴(51)으로부터 유도되는 소정의 기준 이미지(73)로 변형된다(S6000).　

식품 용기(10)의 파티션을 구분선으로 하여 각각의 식품 항목으로 구분되는 식품 세그먼트 파티션 이미지(75)로 분할한다(S7000).

　식품 용기(10)의 이미지는 미리 정의되었으므로 식품 용기(10)의 이미지를 제외하여 식품 세그먼트 이미지(77)를 확보한다(S8000).

이러한 방법으로 식품 정보 추정을 위한 가이드 카드(50)로 식품 세그먼트 이미지(77)가 차지하는 면적을 계산하여 식품의 정량을 추정한다(S9000).

본 발명의 또 다른 목적을 달성하기 위한 가이드 카드를 이용한 식품 정보 추정 시스템은 식품 이미지 인식 방법을 실행하기 위한 가이드 카드를 이용한 식품 정보 추정 시스템에 있어서, 시스템은, 식품 이미지 인식 프로그램을 탑재한 서버(100); 식품 이미지와 식품 정보를 송수신하는 식품 용기(10); 및 식품 이미지와 식품 정보를 송수신하는 통신모듈이 구비된 가이드 카드(50); 를 포함하고, 서버(100)는, 식품 용기(10)와 가이드 카드(50)를 촬영하기 위한 촬영부(150); 식품 용기(10)와 가이드 카드(50)의 기준 마커(55)를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 제어부(110); 제어부(110)에 의해 제공된 상기 증강현실 데이터를 출력하는 출력부(120);를 포함하고, 시스템이 상기 식품 이미지 인식 방법을 실행하여 산출된 결과를 증강현실로 구현시킬 수 있다.

도 10을 참조하면, 본 발명의 일 실시예에 의한 가이드 카드를 이용한 식품 정보 추정 방법은 증강 현실(AR; Augmented Reality)을 이용하여 구현될 수도 있다. 증강 현실은 가상현실의 한 분야로, 사용자가 눈으로 보는 현실의 세계에 가상의 사물이나 정보를 겹쳐 보여주는 기술로서, 현실의 세계에 실시간으로 부가정보를 갖는 가상의 세계를 합쳐 하나의 영상으로 보여주므로 혼합 현실(MR; Mixed Reality)라고도 한다. 증강 현실 서비스가 가능한 사용자 단말기는 카메라에 의해 촬영된 영상을 이용하여 촬영된 영상을 분석하고, 분석 결과를 바탕으로 부가적인 정보를 제공한다.

본 발명의 일 실시예에 의한 가이드 카드를 이용한 식품 정보 추정 방법의 증강현실 제공 단말기는 일 예로 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable device) 등이 포함될 수 있다.

증강현실을 제공하는 서버(100)는 제어부(110), 출력부(120), 저장부(130), 통신부(140), 촬영부(150), 입력부(160), 분석부(170), 전원 공급부(190)를 포함하며, 이에 한정되지는 않으며, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.

제어부(110)는 통상적으로 단말기(100)의 전반적인 동작을 제어하는 수단으로서, 각종 연산을 수행하거나 각종 정보를 처리할 수 있다.

출력부(120)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 출력부(120)는 디스플레이부(121) 및 음향출력부(122) 등을 포함할 수 있다.

디스플레이부(121)는 서버(100)에서 처리되는 정보를 화면에 출력할 수 있다. 예를 들어, 서버(100)가 촬영 모드인 경우에 디스플레이부(121)는 촬영 또는/및 수신된 영상 또는 이와 관련된 UI 등을 표시하거나, 동영상 미디어를 재생하는 경우에 디스플레이부(121)는 재생 영상 및/또는 이와 관련된 UI 등을 표시할 수 있다.

이러한 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

서버(100)의 구현 형태에 따라 디스플레이부(121)가 2개 이상 존재할 수 있으며, 일 예로, 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또 서로 다른 면에 각각 배치될 수도 있다.

음향출력부(122)는 호신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(140)로부터 수신되거나 저장부(130)에 저장된 오디오 데이터를 출력할 수 있다. 물론 음향출력부(122)는 서버(100)에서 수행되는 각종 기능, 예를 들어, 호신호 수신, 메시지 수신 등의 알람 신호와 관련된 음향 신호를 출력할 수도 있다. 이러한 음향출력부(122)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

저장부(130)는 제어부(110)의 동작을 위한 적어도 하나의 프로그램을 저장할 수 있고, 그에 따라 입출력되는 데이터들이 동영상 미디어, 사운드 미디어 등으로 저장할 수 있다.

저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 서버(100)는 인터넷(internet) 상에서 상기 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

이와 관련하여, 본 발명의 일 실시예에 따른 제어부(110)는 저장부(130)에 저장된 각종 프로그램인 카메라 촬영 프로그램, 피사체 인식 프로그램, 동영상 미디어 플레이어 등으로 제어 또는 구동할 수 있으며, 이와 관련하여 저장부(130)에 저장된 각종 데이터를 이용할 수 있다.

통신부(140)는 서버(100)와 각종 네트워크 간에 통신 가능하도록 연결하기 위한 것으로서, 적어도 하나의 네트워크를 통해 원격의 각종 형태의 단말기나 서버 등과 데이터를 송수신할 수 있다.

본 발명의 일 실시예에 따른 서버(100)는 각종 서버 또는 단말기 등과 통신 가능하도록 연결되어, 화면에 출력할 컨텐츠에 대한 정보를 내려받거나, 또는 제어부(110)가 식품 용기, 홀더 또는 가이드 카드의 기준 마커 등의 대상을 인식하기 위해 요구되는 기준 정보를 내려받거나, 또는 사용자가 시간의 흐름에 따라 섭취한 음식물의 양을 서버에 전송할 수 있다.

통신부(140)는 서버(100)에 내장 또는 외장 가능한 것으로서, WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등과 같은 무선 인터넷 모듈이나 이동통신 모듈일 수 있고, 또는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등과 같은 근거리 통신(short range communication) 모듈일 수도 있다.

촬영부(150)는 비디오 신호 입력을 위한 것으로, 촬영부(150)는 화상 통화 모드 또는 촬영 모드 등에서 이미지 센서를 통해 얻어지는 화상 프레임을 처리함으로써 정지 영상 또는 동영상 등을 디스플레이부(121)에 표시하거나 저장부(130)에 저장할 수 있다.

입력부(160)는 사용자로부터 인가되는 각종 명령을 입력받고 그에 따른 입력 데이터를 발생시킬 수 있다. 입력부(160)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압 또는 정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

본 발명에 따른 입력부(160)는 사용자로부터 각종 문자나 펜 입력 등을 받아 설정된 컨텐츠를 증강현실 데이터로 디스플레이부(121)를 통해 화면 출력하도록 할 수 있다.

분석부(170)는 촬영부(105)와 입력부(160)으로부터 입력된 데이터를 상호비교하고 분석하여 이를 출력부(120)에서 출력하도록 한다. 분석부(170)는 본 발명의 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 식품 이미지 인식 방법을 실행한다.

전원 공급부(190)는 제어부(110)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 서버(100)의 각 구성요소들의 동작에 필요한 전원을 공급한다.

본 발명의 일 실시예 의한 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 증강현실 제공 방법에 대해 구체적인 실시예를 설명한다.

본 발명의 일 실시예에 따른 서버(100)는, 촬영부(150)를 이용하여 식품 용기(10) 또는 식품 용기(10)에 장착되어 사용자가 이를 매개로 식품 용기(10)를 들 수 있도록 하는 수단인 홀더에 부착되는 가이드 카드(50)의 기준 마커(55)를 촬영하면, 제어부(110)는 식품 용기(10)와 가이드 카드(50)의 기준 마커(55)를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 디스플레이부(121)가 화면에 출력할 수 있도록 생성 및 제공할 수 있다.

이에 따라 디스플레이부(121)는 제어부(110)에 의해 제공된 증강현실 데이터를 화면에 출력하되, 바람직하게는 인식되어 화면에 출력되는 식품 용기(10)의 내측에 위치하도록 출력하는 것이 좋다.

제어부(110)가 촬영부(150)에 의해 촬영되는 피사체로부터 식품 용기(10)나 가이드 카드(50)의 기준 마커(55)를 인식하기 위해, 저장부(130)에 저장된 식품 용기(10)나 가이드 카드(50)의 기준 마커(55)에 대한 식품 정보와 비교할 수 있다.

구체적으로, 제어부(110)는 화상 프레임으로부터 인식되는 객체들, 또는 화상 프레임으로부터 인식되는 객체들의 경계를 식별하고, 식별된 경계와 저장부(130)에 저장된 식품 정보를 비교하여 식품 용기(10)나 가이드 카드(50)의 기준 마커(55)를 인식할 수 있다.

여기서, 식품 용기(10)는 음식물을 수용할 수 있는 용기인 것이면 특별히 한정하지 않으며, 예를 들면, 식판, 텀블러, 물병, 유리컵 등일 수 있다.

만약 식품 용기(10)가 구획이 나누어진 복수의 칸을 가진 식판인 경우, 제어부(110)는 복수의 칸 각각마다 별개로 인식하고 개별적으로 증강현실 데이터를 제공하여 디스플레이부(121)에는 각 칸마다 서로 다른 내용의 컨텐츠가 출력되도록 할 수 있다.

일 예로, 디스플레이부(121)는 칸마다 서로 다른 그래픽 영상을 출력할 수 있으며, 산출된 내용물의 잔존량에 따라 서로 다른 그래픽 영상들이 서로 조합되어 또 다른 형태의 그래픽 영상을 출력할 수도 있다.

제어부(110)는 인식된 식품 용기(10)를 일 요소로, 그리고 인식된 가이드 카드(50)의 기준 마커(55)를 또 다른 요소로 하여, 두 요소를 근거로 이에 대응하는 증강현실 데이터를 선정할 수 있다.

여기서, 증강현실 데이터는 서버(100)를 통해 출력하고자 하는 출력물 또는 컨텐츠로서, 일 예로 그래픽 영상, 이미지, 오디오, 텍스트 등일 수 있고, 특별히 그 형태나 내용을 한정하지 않는다.

제어부(110)가 식품 용기(10)와 식품 용기(10)의 전면 중앙부에 바나나 형태의 가이드 카드(50)의 기준 마커(55)를 인식한 경우, 인식된 식품 용기(10) 및 가이드 카드(50)의 기준 마커(55)에 대응하는 증강현실 데이터를 디스플레이부(121)에 제공할 수 있다.

디스플레이부(121)는 증강현실 데이터를 화면에 출력하되, 식품 용기(110) 내에 위치하도록 출력할 수 있다. 제어부(110)가 내용물 잔존량을 산출하는 경우, 내용물 잔존량에 따라 서로 다른 모습을 하고 있는 그래픽 영상이나 효과음을 출력할 수도 있다.

또한, 본 발명의 일 실시예에 따라 상기 증강현실 데이터를 화면에 출력하되, 식품 용기(110) 내에 증강현실 데이터를 출력함은 물론, 가이드 카드(50)의 기준 마커(55) 뒤에 출력할 수 있다. 이와 같이, 화면에 그래픽 영상을 출력하는 경우, 그래픽 영상이 식품 용기(110) 내에 담겨진 것으로 나타내어짐으로써, 사용자에게 가상의 물체가 현실의 세계에 있는 듯한 착각을 불러일으켜, 사용자에게 생동감을 줄 수 있다.

한편, 본 발명의 일 실시예에 따른 가이드 카드의 기준 마커는 외부에서 식별가능하도록 식품 용기의 내측면 또는 외측면에 위치하면 되며, 일 예로 식품 용기에 인쇄되거나 식품 용기에 부착될 수 있다.

본 발명의 일 실시예에 다른 가이드 카드의 기준 마커는 스티커 형태로 구현될 수 있고, 스티커 형태로 구현된 가이드 카드(50)의 기준 마커(55)는 투명한 식품 용기(10)의 일 측면에 부착될 수 있다.

가이드 카드(50)의 기준 마커(55)가 부착된 식품 용기(10)를 촬영한 단말기는 식품 용기(10) 및 가이드 카드(50)의 기준 마커(55)를 인식하여, 디스플레이부(121)를 통해 화면에 식품 용기 출력물 내에 그래픽 영상이 위치하도록 출력하되, 그래픽 영상이 가이드 카드(50)의 기준 마커(55) 출력물의 뒤에 위치하도록 하여 사용자에게 가상의 그래픽 영상이 실제하는 듯한 착각을 불러일으키도록 하는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따라, 가이드 카드(50)의 기준 마커(55)는 본 발명의 일 실시예에 따라 투명한 식품 용기의 양 측면에 부착될 수 있다.

구체적으로 가이드 카드(50)의 기준 마커(55)는 투명도가 있는 식품 용기의 양 측면에 서로 대향하도록 부착되어, 어느 한 방향에서 식품 용기를 바라보았을 때, 시선과 마주하는 가이드 카드(50)의 기준 마커(55)는 각각 정면과 배면으로 서로 다른 면일 수 있다.

제어부(110)는 가이드 카드(50)의 기준 마커(55)를 인식하되, 기준 마커(55)의 정면은 물론이고 좌우반전된 모습도 인식하여, 기준 마커(55)의 정면과 후면을 서로 구분하여 인식할 수 있고, 또 가이드 카드(50)의 기준 마커(55) 각각의 일부분 및 전체에 대해 인식할 수 있다.

이를 통해 제어부(110)는 가이드 카드(50)의 기준 마커(55) 중 후면에 위치한 가이드 카드의 기준 마커가 식품 용기 내 수용된 내용물에 의해 가려지거나 노출된 부분의 영역의 크기 또는 비율을 근거로 식품 용기의 내용물 잔존량을 산출할 수 있다.

즉, 후면에 위치한 가이드 카드(50)의 기준 마커(55)는 투명한 식품 용기에 수용된 내용물에 의해 적어도 일부가 가려지기 때문에, 후면에 위치한 기준 마커(55)의 노출된 영역의 크기 또는 비율을 산출하고 이를 근거로 식품 용기 내 내용물 잔존량을 산출할 수 있다.

이때, 제어부(110)가 후면에 위치한 가이드 카드(50)의 기준 마커(55)의 노출된 영역의 크기 또는 비율을 산출하기 위해, 일 실시예에 따라 전면에 위치한 기준 마커(55)를 기준으로 후면에 위치한 기준 마커(55)의 노출된 영역의 크기 또는 비율을 산출할 수 있으나, 반드시 이에 한정되는 것은 아니다.

만일, 식품 용기에 높이를 달리하여 복수 쌍의 가이드 카드(50)의 기준 마커(55)가 부착된 경우, 제어부(110)는 식품 용기 내 내용물 잔존량을 보다 세밀하게 산출할 수 있다. 마찬가지로 하부, 중부, 상부 각각에 위치한 후면 가이드 카드(50)의 기준 마커(55)의 식별된 노출 영역의 비율에 따라 제어부(110)는 식품 용기 내 내용물의 수준을 상세하게 산출할 수 있다.

식품 용기가 식판인 경우, 제어부(110)는 식판에 구획된 영역 중 어느 하나를 인식하고, 해당 영역의 저면에 부착된 가이드 카드(50)의 기준 마커(55)가 노출된 일부분을 인식하여, 인식된 칸과 인식된 가이드 카드(50)의 기준 마커(55)의 노출 영역의 크기 또는 비율을 근거로 상기 식품 용기의 내용물 잔존량을 산출할 수 있다.

즉, 가이드 카드(50)의 기준 마커(55)의 노출된 부분이 전체 가이드 카드(50)의 기준 마커(55) 중 차지하는 비율을 근거로 구획 영역 내 내용물 잔존량을 산출할 수 있으며, 구획 영역의 내용물 잔존량에 따라 그리고 식판의 또 다른 구획 영역의 내용물 잔존량에 따라 화면에 출력된 그래픽 영상이나 음향을 달리할 수도 있다.

본 발명의 일 실시예에 따른 증강현실 제공 방법은, 촬영부(150)가 가이드 카드(50)의 기준 마커(55)가 부착된 식품 용기(10)를 촬영하는 단계, 제어부(110)가 식품 용기(10)와 가이드 카드(50)의 기준 마커(55)를 인식하고, 인식된 객체에 대응하는 증강현실 데이터를 제공하는 단계와, 디스플레이부(121)가, 제어부(110)에 의해 제공된 증강현실 데이터를 식품 용기(10) 내 또는 가이드 카드(50)의 기준 마커(55) 뒤에 위치하도록 화면을 출력하는 단계를 포함할 수 있다.

그리고, 본 발명의 일 실시예에 따라, 제어부(110)는 촬영부(150)에 의해 촬영된 가이드 카드(50)의 기준 마커(55)를 인식하고, 가이드 카드(50)의 기준 마커(55) 중 후면에 위치한 가이드 카드(50)의 기준 마커(55)가 식품 용기(10)의 내용물에 의해 가려지거나 노출된 부분을 근거로 상기 식품 용기의 내용물 잔존량을 산출하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 따라, 상기 식품 용기는, 구획이 나누어진 복수의 칸을 포함한 식판일 수 있고, 이 경우 제어부(110)는, 칸 각각의 저면에 부착된 가이드 카드(50)의 기준 마커(55)를 인식하고, 칸 별로 위치한 기준 마커(55)의 가려지거나 노출된 부분을 근거로 상기 칸 별로 내용물의 잔존량을 산출하는 단계를 더 포함할 수 있다. 이때, 디스플레이부(121)는 칸마다 서로 다른 그래픽 영상을 출력하되, 칸 별로 산출된 내용물의 잔존량에 따라 서로 다른 그래픽 영상들이 서로 조합되어 또 다른 형태의 그래픽 영상을 출력할 수 있다. 전술한 단계는 필수적인 것은 아니어서, 그보다 많은 단계들을 갖거나 그보다 적은 단계들을 갖는 증강현실 제공 방법이 구현될 수도 있다.

본 발명의 일 실시예에 따른 증강현실 제공 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.

컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이하, 본 발명의 식품 정보 추정을 위한 가이드 카드를 이용한 식품정보 추정방법의 다양한 실시예를 구체적으로 설명한다.

본 발명의 식품 정보 추정을 위한 식품 인식 방법은 컴퓨터 비전 기술을 포함한다.　본 발명의 식품 용기는 그 안에 배치된 식품 항목을 갖는 식품 용기의 화상을 처리할 때 참조로서 제공될 수 있는 소정의 식별 구조체 및 / 또는 시각적 특성을 가질 수 있다.　식품 용기 등의 칸막이, 파티션의 경계, 색상, 패턴 등의 구조적 및 시각적 특성을 가질 수 있다.　모델 기준으로 식품 용기를 포함함으로써, 음식 이미지 처리는 식품의 종류의 더 정확한 식별을 제공하기 위하여 간소화 될 수 있다.　식품 용기를 포함하는 컴퓨터 비전 기술 방법은 화상 정류 이미지 분할 한 모델 식품 용기의 공지된 구조 및 또는 시각적 특성을 기반으로 하는 식품 식별 단계를 포함 할 수 있다.

본 발명의 일 실시예는 서로 통신하는, 하나 이상의 컴퓨터 또는 컴퓨터화된 요소를 포함할 수도 있는 음식 인식 처리에 기초하여 식품 항목의 영양 가치를 결정하는 시스템의 다른 기능을 함께 수행하도록 작동하는 시스템이다.　본 발명은 시스템 및 방법의 단계들 및 기능들을 수행하기 위해 컴퓨터 또는 컴퓨터에 지시하도록 구성되는 컴퓨터 판독 가능 매체를 포함할 수 있다.　일부 실시 예에서, 하나 이상의 컴퓨터들 사이의 통신 또는 하나 이상의 프로세서는 암호화, 복호화 및 각종 데이터의 메커니즘을 복수 지원할 수 있다.

시스템은 서로 네트워크로 통신하는 하나 이상의 컴퓨팅 장치에 구비된 컴퓨터의 사용자 인터페이스를 포함할 수 있다.　컴퓨터나 메모리, 프로세서, 입 출력 시스템을 포함할 수 있다. 본 발명의 컴퓨터 사용자 인터페이스 시스템에서, 컴퓨터는 네트워크 연결 및 디스플레이 스크린을 포함할 수 있다.　이 컴퓨터 요소는 컴퓨터 사용자 인터페이스 기능을 제공하기 위해 네트워크 내에서 함께 작동 할 수 있다.　컴퓨터화된 사용자 인터페이스는 입력 데이터에 사용자를 허용하고 그로부터 피드백을 받을 수 있는 당해 분야에 공지된 컴퓨터 인터페이스의 임의의 타입일 수 있다.　컴퓨터화된 사용자 인터페이스는 본 발명의 시스템에 의해 실행된 출력을 제공 할 수 있다.

본 발명의 데이터는 XML에 한정되지 않고, JSON, CSV, 이진, 모든 접속 방식을 통해 시리얼, 이더넷 등 임의의 프로토콜을 통해 UDP, TCP, 컴퓨터 또는 컴퓨팅 장치는 가상 시스템 클라우드, 원격 시스템, 데스크톱 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 핸드 헬드 컴퓨터, 스마트 폰 등 휴대 전화 및 유사한 인터넷 가능 모바일 장치를 포함할 수 있으나 이에 한정되지 않는다. 디지털 카메라와 사용자 정의된 컴퓨팅 장치는 특히 본 명세서에서 고려된 방법 등을 수행하도록 구성된다.

본 명세서에서 고려한 네트워크는 예를 들어, 하나 이상의 인터넷 이상의 광역 네트워크 (WAN), 근거리 통신망 (LAN), 아날로그 또는 디지털 유무선 전화망, 예를 들면, PSTN, 통합 서비스 디지털 네트워크 (ISDN), 셀룰러 네트워크, 디지털 가입자 회선(xDSL), 라디오, 텔레비젼, 케이블, 위성, 및 데이터를 운반하기 위한 다른 전달 또는 터널링 메커니즘.　네트워크를 포함할 수 있는 각각 복수의 네트워크 또는 서브 네트워크들, 예를 들어 유선 또는 무선 데이터 경로를 포함할 수 있다.　네트워크는 회선 교환 음성 네트워크, 패킷 교환 데이터 네트워크, 또는 전자 통신을 수행할 수 있는 임의의 다른 네트워크를 포함 할 수 있다.　예를 들면, 그에 한정되는 것은 아니지만, 네트워크를 통한 인터넷 프로토콜(IP), IP 블루투스를 통해 와이파이 이상의 IP 및 PTP 를 통한 사진 전송 프로토콜일 수 있다.

여러 가지의 식품 항목의 중량을 측정할 수 있는 중량 센서가 포함될 수 있는데, 중량 센서는 주로 전기 저항성 스트레인 게이지이지만, 이에 한정되지 않고, 저항기 광전 중량 센서, 유압 중량 센서, 공기압 중량 센서일 수 있다.

이미지를 촬영하는 촬영부(150)는 DSLR 또는 비 SLR 디지털이지만 이에 한정 되지 않고, 컴팩트 디지캠 및 SLR형 디지털 카메라 등을 포함할 수 있다. 디지털 카메라로 는SLR 형 렌즈 교환식 디지털 카메라뿐만 아니라, 비디오 레코더, 캠코더, 아날로그 카메라, IP 카메라, DVR 등 동영상을 제공할 수 있는 장치면 되고, DVR (Digital Video Recorder)은 태블릿 컴퓨터, 노트북 컴퓨터, 스마트 폰 등이 있다.

본 발명의 이미지 파일은 컴퓨터 또는 컴퓨팅 장치에 의해 해석될 수 있는 임의의 디지털 화상 포맷일 수 있다.　이미지 파일은 JPEG, GIF, TIFF, PNG, Bitmap RAW, PNM, WebP 형식 등으로 한정되는 것은 아니다.

본 발명의 일 실시예에서는 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법을 구현하기 위한 시스템이 제공된다.　본 발명의 시스템은 식품 용기, 중량 센서, 촬상 장치, 데이터베이스, 및 식품 정보 추정 시스템을 포함할 수 있다.　시스템의 구성 요소는 네트워크 시스템 환경에서 서로 통신할 수 있다.　식품 용기는　하나 이상의 프로세서와 메모리를 포함하는 시스템의 구성 요소와 전기 통신하도록 작동될 수 있다.　시스템의 각 구성 요소는 수신한 다른 데이터를 전송하기 위해 트랜시버 또는 다른 통신 장치의 다양한 형태로 구비될 수 있다.

식품 용기는 하나 이상의 파티션들 각각을 수신하는 경우, 하나 이상의 파티션을 형성하고 사용자에 의해 소비될 수 있는 음식물 항목이 그 위에 유지된다.　하나 이상의 파티션은 식품 용기의 하나 이상의 파티션을 개략적 경계로 정의될 수 있다.　하나 이상의 파티션 분할기 및 식품 용기에 의해 형성된 둘레의 벽에 의해 구획되어 하나 이상의 파티션이 될 수 있다

본 발명의 식품 용기는 하나 이상의 파티션들 각각의 구성 및 크기를 조정하여 재배치 가능하게 구성될 수도 있다.　

본 발명의 일 실시예에서, 식품 용기는 경계에 의해 정의된 하나 이상의 파티션의 소정의 구성을 가질 수 있고, 하나 이상의 파티션을 배열 구조 모델로 제공될 특정 방식으로 설계될 수 있다.　

이와 같이, 하나 이상의 파티션의 배치 및 설계는 음식 인식 및 컴퓨터 비전 기술로 이용될 수 있다.　예를 들면, 식품 용기는 내부에 형성된 세 개의 파티션을 갖는 플레이트일 수 있다.　세 개의 각각의 파티션의 크기가 다를 수 있고, 시계 방향으로 그 크기 순으로 배열된 형상일 수 있고.　배열 방향은 본 명세서에 기재된 컴퓨터 비전 기술을 이용한 식품 인식 방법에 이용될 수 있다.

다른 실시예에서, 식품 용기는 형상, 방향, 디자인, 크기, 치수, 중량 등의 소정의 구조적 특성으로 할당될 수 있다.　식품 용기의 다른 구조적 특성은 당해 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.

또 다른 실시예에서, 식품 용기의 소정의 구조적 특성은 색상과 같은 영상 특성을 포함할 수 있다.　식품 용기는 하나 이상의 파티션 및 식품 용기의 하나 이상의 색상을 가진 다른면을 형성할 수 있다.　일 실시예에서, 식품 용기의 하나 이상의 파티션은 소정의 색을 가질 수 있다.　소정의 색이 같은 적색, 녹색 청색의 값, 색상 값이 할당될 수 있다.　경계의 소정의 색이 될 수　있는 조건은 하나 이상의 파티션의 주변 표면과 그래픽 영상이 대조되거나 식품 용기의 다른 표면과 명확히 구별되는 이종의 경계 그래픽 영상으로, 이미지가 식품 용기의 다른 표면과 혼합되지 않도록, 하나 이상의 파티션이 정의될 수 있다.

일부 실시 예에서, 경계 라인의 다양한 패턴은 점선, 파선 또는 다른 시각적 특징적인 패턴으로 요약될 수 있다.　경계의 소정의 색과 유사하게 이 라인 패턴은 식품 용기의 다른 측면과의 경계를 구별 할 수 있다.

다른 일 실시예에서, 경계는 동일한 또는 식품 용기의 다른 표면과 같은 색을 가질 수 있다.　경계는 기준으로 사용되는 소정의 구조적 특성 중 하나 일 수 있다.　식품 용기의 소정의 구조적 특성은 경계의 위치, 크기, 방향, 형상의 임의의 조합 등을 포함 할 수 있다.

식품 항목을 포함하는 임의의 형태일 수 있지만 액체, 고체, 파우더, 가스 등을 포함하지만 이에 한정되는 것은 아니다.　

식품 용기의 중량을 측정하기 위한 복수의 중량 센서를 수용할 수 있다.　중량 센서의 복수의 각각 식품 용기에 의해 형성된 하나 이상의 파티션들 각각에 의해 식품 항목의 중량을 측정하기 위해 배치될 수 있다.　중량 센서는 복수의 네트워크를 통해 식품 정보 추정 시스템과 같은 하나 이상의 프로세서와 전자 통신할 수 있다.　중량 센서 각각에 의해 측정된 중량은 식품 항목의 추가 평가를 처리하기 위한 식품 정보 추정 시스템의 하나 이상의 프로세서에 전송될 수 있다.

다른 일 실시예에서, 식품 용기는 하나 이상의 파티션에 배치되는 식품의 중량을 측정한 중량 센서를 수용할 수 있다.　식품 항목의 누적 중량은 단일 중량 센서에 의해 계량될 수 있는 하나 이상의 파티션들 각각에 배치된다.　마찬가지로, 하나의 파티션과 식품 항목의 중량을 측정한 중량 센서를 포함할 수 있는 식품 용기는 하나의 파티션에 의해 유지된다.

일 실시예에서, 중량 센서는 복수의 파티션에 복수의 구성으로 재배치되어 재 배열된다.　일 실시예에서, 중량 센서들로부터 측정된 무게는 하나 이상의 파티션으로 유지되어 식품의 총 중량을 식별하기 위해 조합될 수 있다.

하나 이상의 파티션들 각각은 모듈형일 수 있다.　일 실시예에서, 기능성 식품용 용기가 착탈 가능하게 조립된 베이스 및 하나 이상의 파티션을 포함할 수 있다.　하나 이상의 파티션들 각각은 착탈 가능하게 베이스에 장착될 수 있다.　이 실시예에서, 하나 이상의 파티션들 각각을 개별적으로 교체 가능한 다양한 형상 및 디자인으로 설계될 수 있다.　하나 이상의 파티션 또한 착탈 가능한 베이스에 장착 될 수 있는 단일 유닛일 수 있다.　이 장치는 파티션, 디자인과 형태가 다양한 경우의 수로 구성될 수 있다. 기능성 식품용 용기는 중량 센서 및 임의의 다른 컴포넌트를 포함할 수 있다.

일 실시예에서, 식품 항목의 영양 가치를 결정하는 시스템의 식품 용기는 전자적으로 안전한 식기 세척기를 포함할 수 있다.　중량 센서 및 식품 용기의 다른 전자 부품을 포함할 수 있는 식품 용기는 하나 이상의 파티션으로부터 분리될 수 있다.　하나 이상의 파티션의 모듈로 구성되는 식품 용기는 전자 세척기에 사용할 수 있도록 구성될 수 있다. 하나 이상의 파티션은 별도로 전자 세척기에 사용될 수 있다.

본 발명의 시스템은 식품을 포함하는 식품 용기의 화상을 촬영하는 화상 촬상 소자를 포함하는 촬상 장치일 수 있다.　촬상 장치에 의해 촬영된 이미지는 하나 이상의 파티션에 의해 유지되는 식품의 종류를 식별하기 위해 식품 정보 추정 시스템에 의해 분석될 수 있다.　촬상 장치에 의해 획득된 이미지는 하나 이상의 파티션에 의해 유지되는 음식 제품의 종류를 결정하기 위해 식품 정보 추정 시스템의 하나 이상의 프로세서들에 의해 통신 될 수 있다.

일 실시예에서, 촬상 장치는 하드웨어 밀접 소프트웨어의 요구 사항 및 기능에 매칭되는 하드웨어와 소프트웨어를 포함하여 설치된 독립형 전용 장치로 구현될 수 있다.　

또한, 일 실시예에서, 촬상 장치에 설치될 수도 있고, 식품 정보 추정 시스템과 통합하여　하나 이상의 파티션에 배치된 식품의 각각의 화상을 취하도록 위치된 복수의 촬상 장치가 있을 수 있다.

본 발명의 식품 정보 추정을 위한 가이드 카드를 이용한 식품 정보 추정 방법의 시스템은 표면 센서를 포함할 수 있다.　표면 센서는 식품 항목의 조성물은 하나 이상의 파티션에 의해 유지되는 영역에 위치될 수 있다.　표면 센서는 식별할 수　다양한 방법으로 식품 항목의 구성을 분석할 수 있다.　예를 들면, 표면 센서는 표면 플라즈몬 공명(SPR)일 수 있다.　표면 플라즈몬 공명은 식품 항목의 종류, 식품 항목의 준비 상태 및 식품 항목의 추가 요리 재료를 식별할 수 있다.　다른 예로서, 표면 센서는 식품의 표면에서 농약, 알레르겐, 화학 성분, 병원체를 검출할 수 있는 분석 장치일 수 있다.　분광계는 스펙트럼을 분석하여 식품 항목의 요리 재료를 식별 할 수 있다.　식품 항목의 구성에 따라, 하나 또는 그 이상의 식품 항목의 추가 요리 재료를 식별할 수 있다.　일 실시예에서, 표면 센서는 식품 정보 추정 시스템과 통합될 수 있다.

또 다른 실시예에서, 본 발명의 시스템은 상기 음식 제품의 온도를 검출하는 온도 측정 장치를 포함 할 수 있다.　음식 유형 및 식품 항목의 준비 상태를 온도 측정 디바이스에 의해 식별된 온도에 기초하여 결정될 수 있다.　일부 실시 예에서, 음식 제품의 온도는 열 센서에 의해 검출 될 수 있다.

촬상 장치 및 식품 용기의 소정의 구조적 특성에 의해 취해진 식품 항목을 포함하는 식품 용기의 형상을 감안하여 식품 정보 추정 시스템은 식품 용기의 파티션에 배치된 하나 이상의 음식 제품의 종류를 식별할 수 있다.　식품 정보 추정 시스템은 하나 이상의 프로세서와 메모리를 포함할 수 있다.　또한, 식품 정보 추정 시스템은 네트워크를 통해 데이터베이스와 통신할 수 있다.　식품 정보 추정 시스템은 하나 이상의 프로세서 및 공지된 사용자 통신 장치 및 사용자 컴퓨팅 장치의 다양한 메모리 및 저장 장치의 각종 관련 기술 및 이후에 개발된 장치를 포함할 수 있다.

본 발명의 식품 정보 추정 시스템은 식품 항목의 영양 가치를 결정하기 위해 서버를 포함한 컴퓨팅 장치의 임의의 다양한 구성으로 구현될 수 있다. 예를 들어, 서버 팜 클러스터 범용 컴퓨팅 장치와 같은 복수의 네트워크 서버는 통합 설치되거나 또는 식품 항목의 영양 가치를 결정하도록 구성될 수 있는 식품 정보 추정 시스템과 연관 될 수 있다.　서버는 데이터베이스에 다양한 데이터를 저장할 수 있다.

일 실시예에서, 식품 정보 추정 시스템의 하드웨어는 밀접 소프트웨어의 요구 사항 및 기능에 매칭되는 하드웨어와 소프트웨어를 포함하여 설치된 독립형 전용 장치로 구현될 수 있다.　또 다른 실시 예에서, 식품 정보 추정 시스템에 설치 될 수 있거나 또는 시스템의 구성 요소들 사이에서 네트워크를 구축하도록 구성되는 네트워크 기기와 통합될 수 있다. 하나 이상의 식품 정보 추정 시스템과 네트워크 장비로 운영되는 식품 용기, 중량 센서, 이미지 캡처 디바이스, 및 식품 정보 추정 시스템 사이의 소프트웨어 명령들 및 데이터의 교환을 지원하기 위해 인터페이스를 제공할 수 있다.　일 실시예에서, 네트워크 장비는 미리 구성되거나 동적으로 다른 장치와 통합된 식품 정보 추정 시스템을 포함하도록 구성될 수 있다.

또 다른 실시예에서, 식품 정보 추정 시스템은 식품 정보 추정 시스템에 설치 될 수 있거나, 서버와 통합되어 설치될 수 있다.　예를 들어, 서버 또는 시스템의 네트워크에 연결된 다른 컴퓨팅 장치에 통합될 수 있다.　서버는 식품 정보 추정 시스템을 호출하는 네트워크 장비를 가능하게 하는 네트워크 기기에 도입되는 서버를 가능하게 하는 모듈을 포함할 수 있다.　네트워크 장비의 예로는, DSL 모뎀, 무선 액세스 포인트, 라우터, 기지국 및 식품 정보 추정 시스템을 구현하기에 충분한 소정의 연산 능력 및 메모리 용량을 갖는 게이트웨이에 한정되지 않는다.

또 다른 실시 예에서, 촬상 장치는 식품 정보 추정 시스템이 설치될 수 있거나 또는 하나 이상의 장치로 통합될 수 있다.　식품 정보 추정 시스템은 식품 정보 추정 시스템의 기능을 제공할 수 있는 촬상 장치를 구비하는 다양한 컴퓨팅 장치들 중 하나 일 수 있다.　예를 들어, 집적 카메라, 스마트 폰 또는 태블릿 촬상 장치와 본 발명의 식품 정보 추정 시스템의 기능을 수행하는 시스템에서 구현될 수 있다. 이 실시예에서, 식품 정보 추정 시스템 등의 촬상 장치, 식품 용기 및 식품 정보 추정 시스템에 통합되거나 설치되는 것으로, 분산 방식에서 임의의 수의 디바이스로 통합될 수 있다.　

식품 정보 추정 시스템은 하드웨어 또는 하드웨어와 소프트웨어의 적절한 조합으로 구현될 수 있다.　일 실시예에서, 식품 정보 추정 시스템일 수 있는 식품 용기와 촬상 소자 사이의 프로세서 데이터를 분석하기 위한 컴퓨터 판독 가능 프로그램 명령들을 실행하고, 하드웨어 장치와 상호 작용할 수 있다.　하드웨어는 개별 소자, 집적 회로, 주문형 반도체, 필드 프로그래머블 게이트 어레이, 디지털 신호 프로세서, 또는 다른 적절한 하드웨어의 조합을 포함할 수 있다.　소프트웨어는 코드, 서브 루틴, 별도의 소프트웨어 애플리케이션의 하나 이상의 객체 에이전트 스레드 라인을 포함할　하나 이상의 소프트웨어 애플리케이션 또는 하나 이상의 프로세서상에서 동작하는 코드 또는 다른 적절한 소프트웨어 구조 예를 들어 라인　프로세서를 포함 할 수 있고, 마이크로 프로세서, 마이크로 컴퓨터, 마이크로 컨트롤러, 디지털 신호 프로세서, 중앙 처리 장치, 상태 기계, 로직 회로, 및 동작 명령들에 기초하여 신호를 조작하는 어떤 장치, 예를 들면　다른 기능 중에서 프로세서를 페치하거나 신호 부호화 데이터 처리부의 입력 및 출력 처리, 전력 제어 등의 작업을 수행하기 위한 식품 정보 추정 시스템과 연관된 메모리에 컴퓨터 판독 가능 명령들을 실행하도록 구성될 수 있다. 식품 정보 추정 시스템은 프로세서상에서 실행되는 소프트웨어 모듈 유닛 등을 포함할 수 있다.

일 실시예에서, 식품 정보 추정 시스템을 포함할 수 있으며, 전체적으로 또는 부분적으로 하나 이상의 하드웨어 리소스가 단독으로 또는 함께 작동하는 소프트웨어 애플리케이션을 포함할 수 있다.　이러한 소프트웨어 애플리케이션은 다른 하드웨어 플랫폼의 프로세서에 의해 실행된 또는 가상의 환경을 에뮬레이트(emulate)할 수 있다.　식품 정보 추정 시스템의 양태는 공지된, 종래 기술, 또는 이후에 개발되는 상용 소프트웨어를 활용할 수 있고, 식품 정보 추정 시스템을 포함하는 실시예에 포함될 수 잇다.

이동 교환국, 네트워크 게이트웨이 시스템, 인터넷 액세스 노드, 애플리케이션 서버, IMS 코어 서비스 노드, 또는 이들의 임의의 조합을 포함하는 다른 통신 시스템들과 통신일 수 있다.　일부 실시 예에서, 식품 정보 추정 시스템과 통합 될 수 있거나 또는 포함하는 웨어러블 장치로 구현되지만 이에 한정되는 것은 아니며, 패션 액세서리, 예를 들어, 손목 밴드, 반지, 손목 시계 등의 유틸리티 장치, 펜, 우산, 시계, 의류, 또는 이들의 임의의 조합을 포함한다.

소프트웨어 인터페이스를 포함하는 하나 또는 공지의 다양한 이상, 종래 기술, 또는 이후에 개발 인터페이스를 포함 할 수 있다. 식품 정보 추정 시스템은 애플리케이션 프로그래밍 인터페이스, 그래픽 사용자 인터페이스,　하드웨어 인터페이스, 예를 들면, 케이블 커넥터, 키보드, 카드 판독기, 바코드 리더, 생체 인식 스캐너, 마이크로폰, 카메라, 대화식 디스플레이 스크린 등을 포함할 수 있다.

본 명세서에 기재된 식품 정보 추정 시스템 및 식품 정보 추정 방법은, 식품 용기 내에 배치된 식품 항목의 영양 가치를 결정할 수 있다.　식품 항목의 영양 가치를 결정하는 프로세스를 시작하기 위해 식품 정보 추정 시스템은, 촬상 장치에 의해 촬영한 식품 용기의 이미지를 인식하는 컴퓨터 비전 기술을 사용할 수 있다.　식품 정보 추정을 위한 방법은 일반적으로 영상 획득, 영상 정류, 영상 분할, 식품 식별 및 영양 가치 판단을 포함한다.　식품 항목을 함유하는 식품 용기의 이미지를 획득할 수 있다. 식품 정보 추정 시스템은, 네트워크를 통해 촬영 장치에서 획득한 인스턴트 이미지에 대하여 식품 용기가 수납된 중량 센서에 의해 측정된 음식 제품의 중량을 얻을 수 있다. 이러한 방법으로 인스턴트 이미지 및 중량 식품 정보 추정 시스템에 의해 식별될 수 있다.　

데이터베이스는 식품 정보 추정 시스템과의 통신에 있어서, 식품 용기의 소정의 구조적 특성 및 시각적 특성에 관한 정보를 저장할 수 있다.　모델이 촬상 소자로부터 얻어지는 인스턴트 이미지와 비교되는 바와 같이 또한, 데이터베이스는 기준 식품 용기 이미지를 저장할 수 있다.　하나 이상의 파티션이 촬상 장치, 식품 항목을 포함하는 것과 같이 사용자가 식품 용기의 화상을 취할 수 있다.　기준 식품 용기 이미지 내에 있는 왜곡된 이미지 또는 컬러 왜곡이 없는 식품 용기의 이미지일 수 있다.　

일 실시예에서, 식품 용기의 기준화상은 2 차원 화상을 제공하고, 평면도에서 수행될 수 있다.

식품 용기의 인스턴트 이미지는 기준 식품 용기 화상과 비교하여 화상을 인스턴트 시정하기 위해 이용될 수 있다.　사용자가 다양한 촬상 장치에서 사용할 수 있는 식품 용기의 이미지를 포착된 바와 같이, 이미지는 이미지의 왜곡 또는 컬러 왜곡들을 포함할 수 있다.　소정의 구조적 특성 및 식품 용기의 시각적 특성은 인스턴트 이미지의 구조 및 시각적 특성과 비교될 수 있다.

일 실시예에서, 인스턴트 이미지의 하나 이상의 파티션의 배치는 촬상 장치에 의해 촬영된 인스턴트 이미지 식품 용기의 구조를 정정하기 위해 기준 식품 용기 이미지와 비교될 수 있다.　

일 실시예에서, 기준 식품 용기 화상의 화상 왜곡을 식별하기 위해 인스턴트 이미지에 대해 픽셀 간 비교를 실행할 수 있다.　식품 용기의 소정의 구조적 특성을 알면, 인스턴트 이미지의 왜곡이 있는 경우 조절될 수 있다.　

일 실시예에서, 경계는 식품 용기의 인스턴트 이미지의 방향을 정정하기 위해 이용될 수 있다.　이미지의 경계는 촬상 장치에 의해 촬영한 식품 용기의 인스턴트 이미지에 존재하는 화상의 왜곡인 배향 왜곡을 식별하기 위해, 기준 식품 용기의 이미지와 비교될 수 있다.　예를 들어, 하나 이상의 파티션이 소정의 순서로 배열 될 수 있다.　기준 식품 용기의 화상으로부터 하나 이상의 파티션의 공지된 배향을 감안할 때, 식품 용기의 인스턴트 이미지를 이용함으로써 인스턴트 이미지의 방향을 조정하여 회전할 수 있다.　분할기는 식품 용기의 경계를 인스턴트 이미지의 식품 용기 등의 방향의 왜곡을 보정하기 위해 이용될 수 있다.

일 실시예에서, 식품 용기는 용기의 올바른 방향을 나타내기 위해 마킹될 수 있다.　인스턴트 이미지의 방향이 표시의 소정의 위치를 기준으로 조절될 수 있도록 소정의 위치에서 식품 용기에 표기될 수 있는 임의 문자, 문자 등으로 표시를 할 수 있다 또한, 마킹은 인스턴트 영상의 색 조정을 지원하기 위해 소정의 색을 가질 수 있다.　마킹의 소정의 색상이 인스턴트 이미지의 색 구성을 조정하기 위한 기준으로서 사용될 수 있다.　식품 용기의 경계는 본원에 기술된 마크로서 이용될 수 있다.

식품 정보 추정 시스템이 제공하는 방법은 정규보기로 식품 용기의 인스턴트 이미지의 보정을 포함할 수 있다.　정규보기는 기준 식품 용기의 화상에 의해 설정될 수 있다.　하나 이상의 파티션에 배치된 식품의 종류를 식별하기 위해 필요할 경우 인스턴트 이미지에 스케일 왜곡, 회전 왜곡, 사영 왜곡 및 배럴 왜곡과 같은 이미지 왜곡을 보정할 수 있다.　정규보기는 이미지 왜곡을 보상하는 기하학적 변환을 적용하여 얻어질 수 있다.　

일 실시예에서, 기준 식품 용기 화상의 인스턴트 이미지로부터 식품 용기의 크기와 모양을 비교함으로써 식별될 수 있다. 변환　비교는 식품 용기 이미지에서 식별되는 경계 사이에서 인스턴트 이미지 식별 및 경계 기준을 위해 이루어질 수 있다.　

이와 같이, 인스턴트 이미지와 기준 식품 용기 화상으로부터 식품 용기의 경계부의 크기와 모양을 비교함으로써 식별될 수 있다. 변환　비교는 또한 식품 용기의 소정의 구조적 특성에 인스턴트 이미지의 식품 용기의 구조적 특성 사이에 이루어질 수 있다.　일례로서, 화상의 해상도를 비교할 수 있다.　마찬가지로, 화상의 해상도는 화소 간 mm 변환을 식별하는 것과 같이 실제 크기로 변환할 수 있다.　

다른 실시예로서, 두 개의 이미지의 크기, 인스턴트 이미지와 기준 식품 용기 이미지에 의한 촬상 장치와 촬상 순간 식품 용기 사이의 다양한 거리에 차이가 있다.　인스턴트 이미지의 크기가 상기 기준 식품 용기 이미지의 식품 용기의 크기를 참조하여 조정할 수 있다.　유사하게, 얻어진 각종 촬상 장치 간의 초점 거리를 변화하여 기준 식품 용기 화상으로부터 식품 용기의 소정의 크기를 확인함으로써 조정될 수 있다.

다른 실시예에서, 음식은 식품 용기에 적어도 두 개의 표시를 확인함으로써 식별될 수 있다. 식품 용기 표시, 패턴 또는 기준점으로 사용될 수 있는 식품 용기의 표면에 각인 등을 가질 수 있다.　마킹의 이차원 좌표는 식품 용기의 인스턴트 이미지 내에서 식별될 수 있다.　마킹은 인스턴트 이미지의 표시의 2 차원 좌표가 변환을 식별할 소정의 2 차원 좌표와 비교될 수 있도록 소정의 2 차원 좌표가 할당될 수 있다.　인스턴트 이미지는 인스턴트 이미지와 기준 식품 용기 화상과 두 마크의 위치의 차이를 확인함으로써 조정될 수 있다.　차이는 2 차원 공간 내의 인스턴트 이미지를 조정함으로써 보상될 수 있다.　예를 들어, 조정은 X 축, Y 축 두 표시간의 거리 등 2개의 마크 사이의 각도에 따라 실행될 수 있다.

유사하게, 인스턴트 이미지의 표시의 위치는 그 어떤 영상 왜곡을 보정할 수 변환 식별 기준 식품 용기의 이미지와 비교될 수 있다.　일단 어떤 왜곡이 있는 경우, 인스턴트 이미지는 기준 식품 용기의 화상의 마킹과 일치하게 조절될 수 있다.

또 다른 실시 예에서, 식품 용기는 단일 마킹될 수 있다.　마킹 하나의 방향이 직교 좌표계의 모든 삼차원 회전 왜곡, 즉 피치(pitch), 요(yaw), 및 롤(roll)을 식별하는 데에 이용될 수 있다.　데이터베이스는 임의의 입체적인 왜곡없이 표시하는 화상을 모델을 포함할 수 있다.　마찬가지로, 기준 식품 용기 화상의 경계에는 입체적인 왜곡을 갖지 않는 모델로서 이용될 수 있다.　기준 식품 용기 화상과 인스턴트 이미지의 경계는 임의의 입체 왜곡을 식별하기 위해 비교될 수 있다.　모든 입체 왜곡이 식별되면, 이러한 왜곡을 보상하기 위해 계산될 수 있다.　

일 실시예에서, 촬상 장치 및 식품 용기 사이의 다양한 거리에 의한 인스턴트 이미지의 크기가 시스템 및 왜곡을 조정할 입체 데카르트의 XYZ 축을 따라 각도의 3 차원 변형을 나타내기 위해 변환되어 임의의 입체적인 왜곡을 제거하기 위해 인스턴트 이미지에 적용될 수 있다. 식품 용기의 인스턴트 이미지의 컬러 구성은 식품 용기의 소정의 색에 기초하여 조정될 수 있다.　

일 실시예에서,　할당된 RGB 값으로 경계의 소정의 색은 인스턴트 이미지의 경계의 색과 비교될 수 있다.　차이점이 확인되면, 이미지의 색상 구성을 조정할 수 있다.　컬러 구성 채도, 조명 변화, 콘트라스트, 휘도 등을 포함할 수 있다.　인스턴트 이미지의 색 구성은 경계의 소정의 색의 RGB 값 할당에 매칭될 수 있다.

다른 실시예에서, 식품 용기의 다른 표면의 소정의 색이 촬상 장치에 의해 촬영된 인스턴트 이미지의 색 구성을 조정함으로써 임의의 색 왜곡을 보정하기 위해 유사한 방식으로 이용될 수 있다.　경계의 소정의 색을 이용하는 실시 형태와 마찬가지로, 식품 용기의 다른 측면이 일치하는 인스턴트 이미지의 색 구성을 조정하기 위한 기준으로서 이용될 수 있는 소정의 색의 기준 식품 용기 이미지의 RGB 값으로 할당될 수 있다.

또 다른 실시 예에서, 식품 용기에 소정 컬러 촬영 장치에 의해 촬영된 인스턴트 이미지의 색 구성을 조정하기 위해 유사한 방식으로 이용될 수 있다.　

식품 용기에 포함된 식품 항목의 인스턴트 이미지는 하나 이상의 파티션에 기초하여 분할될 수 있다.　식품 용기의 경계는 식품 용기의 하나 이상의 파티션들 각각을 분리하는데 사용될 수 있다.　또한, 인스턴트 이미지의 식품 항목은 식품 용기로부터 분리될 수 있다.

인스턴트 이미지의 배경이 제거될 수 있다.　인스턴트 이미지는 식품 항목을 포함하는 식품 용기 및 식품 용기의 주위 환경을 나타내는 배경을 포함할 수 있다.　예를 들어, 인스턴트 이미지가 식품 용기 및 식품 용기를 탑재하는 테이블을 포함할 수 있다.　일부 실시 예에서, 인스턴트 이미지의 배경은 식품 용기와 배경의 색의 차이를 분석함으로써 제거 될 수 있다.　색차는 화소에 의해 인스턴트 이미지 픽셀을 분석함으로써 식별될 수 있다.　

본 실시예에 있어서, 식품 용기의 소정의 색은 음식물 용기와 배경에 속하는 화소에 속하는 화소를 식별하는 데에 이용될 수 있다.　

일 실시예에서, 인스턴트 이미지 백그라운드는 경계에 기초하여 제거될 수 있다.　경계의 색상은 인스턴트 이미지의 배경에서, 배경에서 이종 경계 그래픽 영상이 대조되도록 하거나 명백해질 수 있다.　

이와 같이, 인스턴트 이미지의 배경은 배경을 나타내는 인스턴트 이미지의 부분을 제거함으로써 제거될 수 있고, 인스턴트 이미지 내의 경계의 외측 부분의 인스턴트 이미지의 배경은 경계의 소정의 구조적 특성에 기초하여 제거될 수 있다.　경계는 기준으로 사용되는 소정의 구조적 특성 중 하나 일 수 있다.　식품 용기의 소정의 구조적 특성은 경계의 위치, 크기, 방향, 형상의 임의의 조합 등을 포함할 수 있다.　경계의 소정의 구조적 특성을 따라서 인스턴트 이미지 내에 경계의 바깥 부분을 제거하여 인스턴트 이미지 내에 경계의 위치와 윤곽을 파악하기 위해 이용 될 수 있다.

일 실시예에서, 인스턴트 이미지의 분할은 식품 용기의 인스턴트 이미지와 기준 식품 용기 이미지의 경계를 정렬하여 수행될 수 있다.　제거된 화상의 왜곡, 두 이미지, 인스턴트 이미지와 기준 식품 용기 화상으로, 하나 이상의 파티션 아웃 세그먼트에 정렬될 수 있다.　

일 실시예에서, 식품 용기의 둘레 벽의 개략적 경계는 하나 이상의 파티션 세그먼트에 정렬될 수 있다.　

일 실시예에서, 분배기의 개략적 경계는 하나 이상의 파티션을 개별적 세그먼트에 정렬될 수 있다.　식품 용기의 둘레 벽을 개략적 경계를 포함하는 템플릿 화상은 데이터베이스에 저장될 수 있다.　유사하게, 분배기의 개략적으로 경계를 포함하는 템플릿 화상은 데이터베이스에 저장될 수 있다.　이러한 두 개의 템플릿이 세그먼트에 순서대로 선택적으로, 개별적으로 집합적으로 인스턴트 이미지 정렬 및 하나 이상의 파티션을 분리 할 수 있다. 인스턴트 이미지의 식품 용기 내의 색이 화소 대 화소로 분석될 수 있다. 식별 및 식품 용기의 인스턴트 이미지 내의 식품 항목을 분리하는 것이 가능하게 될 수 있다.　

일 실시예에서, 인스턴트 이미지의 분할된 하나 이상의 파티션들 각각을 식별하고 하나 이상의 각 파티션 내의 식품 항목을 분리하기 위해 분석될 수 있다.　하나 이상의 파티션 각각의 색으로, 예를 들면, 화소 대 화소로 인스턴트 이미지의 식품 용기 내에 식품 항목을 분리하기 위해 분석될 수 있다.　식품 항목을 나타내지 않는 인스턴트 이미지의 화소를 제거함으로써 분할된 하나 이상의 파티션이 단지 식품 항목의 이미지를 획득하기 위해 분리될 수 있다.　마찬가지로, 몇몇 실시 예에서, 인스턴트 이미지 내의 음식 제품의 식별될 수 있으며, 분할 과정이 없이 격리될 수 있다.

일 실시예에서, 식품 정보 추정 시스템은 식품 항목의 종류를 식별하기 위해 정류되고 분할된 이미지에서 인스턴트 식품 항목의 기능에 관한 정보를 수집할 수 있다.　식품 제품의 특징은 부피, 질감, 색상 스펙트럼의 형상 등의 시각적 요소를 포함할 수 있다.　식품 항목의 기능도 포함할 수 있다.　비 시각적인 요소, 온도, 화학 성분을 포함할 수 있다.　식품 항목의 인스턴트 이미지로부터 수신된 정보에 기초하여, 식품 정보 추정 시스템은 하나 이상의 파티션들 각각에 의해 유지된 음식 제품의 종류를 식별할 수 있다.　

일 실시예에서, 인스턴트 이미지에서 식별되는 식품 제품의 특징은 일치하는 음식 유형을 결정하기 위해 데이터베이스와 비교될 수 있다.　데이터베이스는 해당 식품 항목을 표시 예상되는 기능을 저장할 수 있다.　데이터베이스는 식품과 기능의 다양한 종류를 저장할 수 있다.　식품 정보 추정 시스템은 식품의 다양한 종류가 식품 항목의 다양한 유형의 각각에서 예상하는 해당 기능에 링크 될 수 있는 데이터베이스와 통신할 수 있다.　예로서, 같은 색상, 모양, 질감 같은 시각적 기능은 인스턴트 이미지의 식품 항목과 일치하는 것을 확인하는 인스턴트 이미지의 식품 항목과 일치할 수 있다.　

식품의 다양한 유형의 해당 기능은 데이터베이스에 저장될 수 있다.　이 데이터베이스는 기계 학습 과정을 통해 구축할 수 있다.　식품의 다양한 형태의 특징은 모델 식품의 이미지에서 대응하는 기능을 수집하여 수집될 수 있다.　모델 식품과 해당 기능이 충분히 해당 식품의 기능에 따라 식품의 유형을 인식하기 위해, 모델 식품의 유형에 따라 수집된 여부를 확인하기 위해 테스트할 수 있다.　 시스템이 갱신될 수 있는 데이터베이스가 식품의 유형을 사용자가 여기에 개시된 식품 용기를 이용하여 각각의 시간을 식별한다.　

일 실시예에서, 식품의 다양한 형태의 각각으로부터 예상되는 해당 기능이 수집될 수 있고, 시스템의 임의의 사용에 앞서 데이터베이스에 제시된다.

또 다른 일실시예에서, 인스턴트 이미지의 식품으로부터 추출된 특징이 데이터베이스에 저장된 참조 이미지 분할 식품으로부터 추출된 특징과 비교될 수 있다.　이 데이터베이스는 임의의 색의 왜곡없이 모델 식품의 이미지를 왜곡 구조, 또는 시각적으로 왜곡되는 기준 세그먼트 음식 이미지를 포함할 수 있다.　기능 식품의 유형에 따라, 기준 분할 음식 이미지로부터 추출 및 인스턴트 이미지 내의 식품 항목의 종류를 식별하기 위한 참조로서 사용되는 데이터베이스에 저장될 수 있다.

또 다른 실시예에서, 식품 정보 추정 시스템은 음식물의 이미지, 참조로 사용되는 저장하는 데이터베이스와 통신할 수　인스턴트 이미지와 비교될 수 있는 기준 식품 이미지 분할의 식품 항목의 유형을 식별한다.　예를 들어, 인스턴트 이미지와 데이터베이스에서 식품의 이미지가 인스턴트 이미지의 식품 항목의 종류를 식별하기 위해 화소 간 비교될 수 있다.　

인스턴트 이미지와 데이터베이스에서 식품 항목의 이미지 사이의 유사성은 일치를 식별하기 위해 분석할 수 있다.　유사도가 임계 값보다 높은 경우, 식품 정보 추정 시스템이 일치하는지를 식별할 수 있도록 두 이미지 사이의 유사도를 분석할 때 임계 값이 사용될 수 있다.

식품 항목은 식품의 각종 성분의 혼합물일 수 있다.　일 실시예에서, 식품 항목의 유형을 개별적 식품 항목의 여러 성분의 각각을 식별뿐만 아니라, 일괄 식품 항목의 전체 기능을 식별하여 식별될 수 있다.　식품 정보 추정 시스템은 식품 항목의 정합형 재료를 다양 링크 정보를 저장하는 데이터베이스와 통신할 수 있다.　　

전술한 바와 같이 몇몇 실시 예에서, 요리는 종종 다양한 재료가 포함되어 있다. 추가 요리 재료는 다양한 컴퓨터 비전 기술로부터 식별될 수 있다.　식품 정보 추정 시스템은 추출된 식품 항목의 기능에 따라 추가 요리 기름 등의 재료와 향신료를 식별할 수 있다.　특징 및 추가 요리 재료의 이미지는 데이터베이스에 저장될 수 있다.　

다른 실시예에서, 식품 정보 추정 시스템에 의해 얻어진 정보는 식품 항목의 준비 상태를 식별하기 위해 처리될 수 있다.　일단 부피, 질감, 스펙트럼, 화학 조성, 컬러, 형상, 온도를 변경할 수 조리 식품 항목 등의 재료.　식품 제품의 제조 상태는 인스턴트 이미지 및 식품 항목으로부터 추출된 특징에 기초하여 결정될 수 있다.　예를 들면, 음식을 조리 할 때 식품의 색이 변화하는 경향이 있다.　

인스턴트 이미지에서 식품 항목의 색상을 인식함으로써, 식품 항목의 준비 상태가 식별될 수 있다.　다양한 식품의 준비 상태를 표시 기능 및 이미지를 데이터베이스에 저장될 수 있다. 식품 용기 및 중량 센서에 의해 측정된 음식 제품의 무게의 인스턴트 이미지로부터 인식된 식품 항목의 유형으로부터 식품 정보 추정 시스템은 하나에 배치된 음식 제품의 영양적 가치를 결정할 수 있다.

일 실시예에서, 데이터베이스는 중량 당 식품의 다양한 형태의 영양적 가치를 나타낼 수 영양가 변환 정보를 저장할 수 있다.　따라서, 식품 항목의 영양 가치가 결정된 인스턴트 이미지의 식품 항목의 중량 및 유형에 기초할 수 있다.　영양 값은 포함하지만 칼로리, 비타민, 나트륨 함량, 지방 함량, 탄수화물, 등으로 제한하지 않을 수 있다.

또 다른 실시예에 있어서, 식품 항목은 여러 재료의 혼합물일 수 있다.　본 실시예에 있어서, 식품 항목의 집합적으로 또는 개별적으로 다양한 성분의 중량과 유형에 기초하여 결정될 수 있다.　

일 실시예에서, 식품 정보 추정 시스템은 혼합 식품의 다양한 형태의 영양적 가치를 저장하는 데이터베이스와 통신할 수 있다.　다양한 성분의 혼합물로 만들어지는 음식 제품의 종류가 인식되면, 영양가가 혼합 식품 항목 및 중량의 유형에 따라 결정될 수 있다.

일 실시예에서, 각종 성분의 혼합물의 성분은 개별적 식품 항목의 영양 가치를 결정하기 위해 식별될 수 있다.　

일 실시예에서, 각종 성분의 혼합물 내 성분의 공간 비율 혼합 식품 항목의 영양 가치를 결정하여 식별될 수 있다.　공간 혼합 비율은 음식 제품의 다양한 성분들 각각의 조성물을 나타낸다.　데이터베이스는 혼합 식품의 다양한 형태는 소정의 공간의 비율이 할당될 수 있는 공간에 형태 정보 이외의 정보를 저장할 수 있다.　이러한 혼합된 음식 제품의 종류가 인식되면, 공간에 타입 정보 이외의 정보는 각 성분의 영양 가치를 결정한다 성분의 공간율을 찾기 위해 사용될 수 있다.　

일 실시예에서, 혼합된 식품 항목의 공간율은 인스턴트 이미지를 분석함으로써 식별될 수 있다.　혼합 식품 항목의 성분은 개별적으로 인스턴트 이미지를 분석하여 인식할 수 있다.　예를 들어, 인스턴트 이미지로부터 격리하여 식품 혼합 식품 항목의 성분 사이의 공간의 비율을 결정하는 화소에 의해 화소를 분석할 수 있다.

식품 정보 추정 시스템이 하나 이상의 파티션에 배치된 음식 제품의 체적을 결정할 수 있다.　종류와 인스턴트 이미지의 식품 항목의 중량을 기준으로, 볼륨이 추정될 수 있다.　데이터베이스는 다양한 식품 유형의 밀도를 수반 유형에 밀도 정보를 저장할 수 있다.　공지된 중량으로　알려진 밀도 식품 항목의 체적이 도출될 수 있다.　식품 항목의 영양가가 식품 항목 및 형식의 유도 체적에 기초하여 결정될 수 있다.　

일 실시예에서, 음식 제품의 부피는 인스턴트 이미지를 차지하는 식품 항목의 화소 수를 이용하여 식품 항목의 표면적에 의해 근사될 수 있다.　일 실시예에서, 음식 제품의 부피는 다양한 각도에서 찍은 같은 식품 용기 둘 이상의 인스턴트 이미지에 기초하여 식별될 수 있다.　볼륨은 두 개 이상의 이미지에 기초하여 인스턴트 식품 제품의 3 차원 볼륨의 삼각 측량에 의해 근사될 수 있다.

식품 정보 추정 시스템은 사용자의 컴퓨터와 통신할 수 있고, 사용자의 컴퓨터의 사용자 인터페이스 상호 작용, 시스템 및 그 구성 요소의 동작을 제어한다.　컴퓨터화된 사용자 인터페이스는 시스템의 구성 요소로부터 유도된 임의의 입력과 출력을 표시할 수 있다.　식품 정보 추정 시스템의 하나 이상의 프로세서에 의해 처리된 데이터는 컴퓨터 사용자 인터페이스에 의해 표시될 수 있다.

일 실시예에서, 컴퓨터의 사용자 인터페이스는 디스플레이를 통해 식품 항목의 중량을 나타낼 수 있다.　중량 센서에 의해 측정된 중량을 표시할 수 있다.

또 다른 실시예에서, 컴퓨터 사용자 인터페이스는 인스턴트 이미지의 음식 화상으로부터 얻어진 정보에 기초하여 식품 정보 추정 시스템에 의해 결정되는 음식 제품의 종류를 표시할 수 있다.　

또 다른 실시예에서, 컴퓨터 사용자 인터페이스는 인스턴트 이미지의 음식 화상으로부터 얻어진 정보에 기초하여 식품 정보 추정 시스템에 의해 결정되는 음식 제품의 준비 상태를 나타낼 수 있다.　

또 다른 실시 예에서, 컴퓨터 사용자 인터페이스는 식품 항목의 영양 가치를 나타낼 수 있다.　식품 정보 추정 시스템은 중량 센서와 인스턴트 이미지로부터 얻어진 정보에 기초하여 식품 항목의 영양 가치를 결정할 수 있다.　영양가가 식품 정보 추정 시스템에 의해 식별되는 준비 상태에 기초하여 식품 정보 추정 시스템에 의해 결정될 수 있다.

컴퓨터화된 사용자 인터페이스는 사용자로부터의 입력을 수신하도록 구성될 수 있다.　컴퓨터화된 사용자 인터페이스는 이러한 건강 상태, 음식 알레르기 정보 등 요구 사항에 대한 사용자로부터 입력을 받을 수 있다.　사용자로부터 수신된 입력은 또한 평가하고 식품 항목의 영양가 및 사용자의 먹는 습관을 모니터링 식품 정보 추정 시스템으로 전달될 수 있다.　섭식 습관은 사용자가 식품 항목을 소비하는 속도를 포함하여　사용자가 식품의 특정 범주를 소비하는 빈도, 사용자가 각각의 섭취 또는 식사 중에 소비하는 식품의 양 등을 포함한다.　

섭식 습관은 식사 패턴과 행동을 파악하기 위해 모니터링 할 수 있다.　식품 정보 추정 시스템은 사용자의 입력에 따라 사용자에게 적합한 권장 식사 계획을 제공할 수 있다.　사용자 입력을 포함하는 임의의 형태일 수 있지만, 텍스트 입력, 가청 입력 등을 포함하지만 이에 한정되는 것은 아니다.　권장 식사 계획은 식품 정보 추정 시스템과 통신 사용자 또는 외부 장치에서 식품 정보 추정 시스템에 의해 수신될 수 사용자의 건강 상태에 따라 변경될 수 있다.

사용자는 또한 컴퓨터 사용자 인터페이스를 통해 식품 용기를 사용하지 않고 소비되는 식품 항목에 대한 정보를 제공할 수 있고, 컴퓨터 사용자 인터페이스를 사용하여 다른 영양 정보를 제공한다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

10: 식품 용기
10': 식품 용기 이미지
20: 식품
20': 식품 이미지
30: 촬영부
50: 가이드 카드
50': 가이드 카드 이미지
51: 배경 패턴
55: 기준 마커
57: ID 카드
71: 프로젝트 이미지
73: 기준 이미지
75: 식품 세그먼트 파티션 이미지
77: 식품 세그먼트 이미지
100: 서버
110: 제어부
120: 출력부
121: 디스플레이부
122: 음향출력부
130: 저장부
140: 통신부
150: 촬영부
160: 입력부
170: 분석부
190: 전원 공급부

Claims

식품 정보 추정을 위한 가이드 카드에 있어서,
바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴;
상기 배경 패턴에 동일한 모양으로 도시되고, 가감하여 모든 색상이 구현 가능한 최소 기본 단위의 기준 색상으로 구성된 기준 마커; 및
상기 배경 패턴 및 상기 기준 마커가 구비된 ID 카드; 를 포함하며,
상기 가이드 카드를 투명 재질의 식품 용기 옆에 눕혀서 배열하고 상부에서 상기 가이드 카드의 기준 마커가 보이도록 촬영한 식사 전후의 이미지와,
상기 가이드 카드를 상기 식품 용기 옆에 세워서 위치시킨 상태에서 상기 기준 마커가 보이도록 촬영한 식사 전후의 이미지와,
상기 식품 용기 옆에 세워진 상기 가이드 카드를 다각도로 회전시켜 위치된 다각도 상태에서 상기 기준 마커가 보이도록 촬영한 식사 전후의 이미지를 각각 획득하고,
각각의 식사 전후의 이미지로부터 상기 기준 마커를 이용하여 식품의 변동량을 계산하여 섭취한 식품의 부피를 파악하는,
식품 정보 추정을 위한 가이드 카드.
제1항에 있어서,
상기 배경 패턴의 상기 바탕의 색상은 흰색이고,
상기 이격된 선의 색상은 검은색이며,
상기 이격된 선은 서로 교차하여 복수개의 사각형을 형성하고,
상기 이격된 선의 상기 소정의 간격은 0.5cm 부터 1.5cm 의 간격을 가지는 것을 특징으로 하는,
식품 정보 추정을 위한 가이드 카드.
제1항에 있어서,
상기 배경 패턴의 상기 바탕의 색상은 흰색이고,
상기 이격된 선은 검은색이며,
상기 이격된 선은 크기가 다른 복수개의 동심원을 형성하고,
상기 이격된 선의 상기 소정의 간격은 1.0cm 에서 1.5cm 의 범위를 가지는 것을 특징으로 하는,
식품 정보 추정을 위한 가이드 카드.
제2항에 있어서,
상기 기준 마커는 상기 배경 패턴의 상기 이격된 선이 서로 교차하여 형성되는 상기 복수개의 사각형에 이웃하는 4개의 사각형 내에 상기 기준 색상이 채색되어 복수개가 형성되고 서로 연접하지 않은 상태로 배치되는 것을 특징으로 하는,
식품 정보 추정을 위한 가이드 카드.
제2항에 있어서,
상기 기준 마커는 상기 배경 패턴의 상기 이격된 선이 서로 교차하여 형성되는 상기 복수개의 사각형 중의 하나에 상기 기준 색상이 채색되어 복수개가 형성되고 서로 연접하지 않은 상태로 배치되는 것을 특징으로 하는,
식품 정보 추정을 위한 가이드 카드.
제3항에 있어서,
상기 기준 마커는 상기 배경 패턴의 상기 이격된 선으로 형성되는 상기 복수개의 동심원 내부에 동일한 크기로 형성되는 복수개의 원에 상기 기준 색상이 채색되어 복수개가 형성되고 서로 연접하지 않은 상태로 배치되는 것을 특징으로 하는,
식품 정보 추정을 위한 가이드 카드.
제4항 내지 제6항 중의 어느 한 항에 있어서,
상기 기준 색상은 마젠타(magenta), 옐로우(yellow), 시안(cyan)의 감산혼합의 삼원색과 검은색을 포함하는,
식품 정보 추정을 위한 가이드 카드.
제4항 내지 제6항 중의 어느 한 항에 있어서,
상기 기준 색상은 마젠타(magenta), 옐로우(yellow), 시안(cyan)으로 감산혼합되어 생성되는 복수의 색상과 검은색을 포함하는,
식품 정보 추정을 위한 가이드 카드.
제1항에 있어서,
상기 ID 카드는 크기가 가로 5cm 내지 6cm 이고, 세로 8cm 내지 9cm 이고, 두께 0.1cm 내지 1cm 인,
식품 정보 추정을 위한 가이드 카드.
제1항에 있어서,
상기 ID 카드는 펼쳐져서 입체가 되는 절첩식으로 접혀진 복수개의 면이 구비되는,
식품 정보 추정을 위한 가이드 카드.
바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴; 상기 배경 패턴에 동일한 모양으로 도시되고, 가감하여 모든 색상이 구현 가능한 최소 기본 단위의 기준 색상으로 구성된 기준 마커; 및 상기 배경 패턴 및 상기 기준 마커가 구비된 ID 카드; 를 포함하는 가이드 카드를 이용한 식품 정보 추정 방법에 있어서,
(a) 가이드 카드를 식사 전 식품과 촬영하여 제1 이미지를 획득하는 단계;
(b) 상기 가이드 카드를 식사 후 식품과 촬영하여 제2 이미지를 획득하는 단계;
(c) 상기 가이드 카드의 기준 마커로 상기 제1 이미지 및 상기 제2 이미지와 비교하여 식품 정보를 추정하는 단계; 및
(d) 상기 제1 이미지와 상기 제2 이미지를 가감 연산하여 상기 식품 정보의 변동량을 계산하는 단계; 를 포함하며,
상기 제 1 이미지와 상기 제 2 이미지는,
상기 가이드 카드를 투명 재질의 식품 용기 옆에 눕혀서 배열하고 상부에서 상기 가이드 카드의 기준 마커가 보이도록 촬영한 식사 전후의 이미지와,
상기 가이드 카드를 상기 식품 용기 옆에 세워서 위치시킨 상태에서 상기 기준 마커가 보이도록 촬영한 식사 전후의 이미지와,
상기 식품 용기 옆에 세워진 상기 가이드 카드를 다각도로 회전시켜 위치된 상태에서 상기 기준 마커가 보이도록 촬영한 식사 전후의 이미지이며,
상기 식품 정보의 변동량을 계산하여 섭취된 상기 식품의 부피를 추정하는,
가이드 카드를 이용한 식품 정보 추정 방법.
제11항에 있어서,
상기 (a) 단계는 음성이나 문자로 상기 제1 이미지에 대한 식사 전 식품 정보 데이터를 수집하는 단계; 를 더 포함하고,
상기 (b) 단계는 음성이나 문자로 상기 제2 이미지에 대한 식사 후 식품 정보 데이터를 수집하는 단계; 를 더 포함하는,
가이드 카드를 이용한 식품 정보 추정 방법.
제12항에 있어서,
상기 (c) 단계는 음성이나 문자로 획득한 상기 식사 전 식품 정보 데이터 및 상기 식사 후 식품 정보 데이터와 상기 식품 정보를 비교하여 상기 식품 정보를 보완하는 단계를 더 포함하는,
가이드 카드를 이용한 식품 정보 추정 방법.
식품 이미지 인식 방법을 실행하기 위해, 바탕에 소정의 간격으로 이격된 선으로 구성된 배경 패턴; 상기 배경 패턴에 동일한 모양으로 도시되고, 가감하여 모든 색상이 구현 가능한 최소 기본 단위의 기준 색상으로 구성된 기준 마커; 및 상기 배경 패턴 및 상기 기준 마커가 구비된 ID 카드; 를 포함하는 가이드 카드를 이용한 식품 정보 추정 방법에 있어서,
(a) 제1 이미지와 제2 이미지로부터 식품 용기와 식품 이미지를 추출하여 프로젝트 이미지를 추출하는 단계;
(b) 상기 식품 이미지의 원근 왜곡, 채도, 조명, 크기 및 방향을 상기 가이드 카드의 배경 패턴으로부터 유도되는 기준 이미지로 변형하는 단계;　
(c) 상기 식품 용기의 파티션을 구분선으로 하여 각각의 식품 항목으로 구분되는 식품 세그먼트 파티션 이미지로 분할하는 단계; 및
(d) 상기 식품 용기의 이미지를 제외하여 식품 세그먼트 이미지를 확보하는 단계; 를 포함하며,
상기 제 1 이미지와 상기 제 2 이미지는,
상기 가이드 카드를 투명 재질의 식품 용기 옆에 눕혀서 배열하고 상부에서 상기 가이드 카드의 기준 마커가 보이도록 촬영한 식사 전후의 이미지와,
상기 가이드 카드를 상기 식품 용기 옆에 세워서 위치시킨 상태에서 상기 기준 마커가 보이도록 촬영한 식사 전후의 이미지와,
상기 식품 용기 옆에 세워진 상기 가이드 카드를 다각도로 회전시켜 위치된 상태에서 상기 기준 마커가 보이도록 촬영한 식사 전후의 이미지이며,
상기 제 1 이미지와, 상기 제 2 이미지로부터 상기 기준 마커를 이용하여 식품의 변동량을 계산하여 섭취한 식품의 부피를 추정하는,
가이드 카드를 이용한 식품 정보 추정 방법.
제14항에 있어서,
(e) 상기 가이드 카드의 이미지와 상기 식품 세그먼트 이미지와 비교하여 상기 식품 항목의 면적을 계산하여 식품의 정량을 추정하는 단계; 를 더 포함하는,
가이드 카드를 이용한 식품 정보 추정 방법.
삭제