KR20190066361A - 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 - Google Patents
건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 Download PDFInfo
- Publication number
- KR20190066361A KR20190066361A KR1020170166012A KR20170166012A KR20190066361A KR 20190066361 A KR20190066361 A KR 20190066361A KR 1020170166012 A KR1020170166012 A KR 1020170166012A KR 20170166012 A KR20170166012 A KR 20170166012A KR 20190066361 A KR20190066361 A KR 20190066361A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- unit
- image
- color
- information
- Prior art date
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 174
- 238000004458 analytical method Methods 0.000 title claims abstract description 115
- 230000036541 health Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 20
- 235000002864 food coloring agent Nutrition 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 7
- 235000015097 nutrients Nutrition 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 3
- 235000012054 meals Nutrition 0.000 abstract description 15
- 238000010191 image analysis Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 7
- 241000234295 Musa Species 0.000 description 5
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004040 coloring Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 235000005686 eating Nutrition 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000032928 Dyslipidaemia Diseases 0.000 description 1
- 208000034826 Genetic Predisposition to Disease Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 208000017170 Lipid metabolism disease Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000005548 health behavior Effects 0.000 description 1
- 235000020981 healthy eating habits Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Nutrition Science (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법을 제공하기 위한 것으로, 건강관리 서비스를 이용하는 사용자가 식사 때마다 음식의 이미지를 사진 촬영하여 서버에 업로드 하면 사진의 이미지 패턴을 인식하여 음식에 해당하는 정보를 이미지 분석에 맞게 데이터화하여 저장하고, 서버에 구현된 알고리즘을 통해 분석결과에 대한 정보 및 그에 따른 건강관리 지침을 제공할 수 있다.
Description
본 발명은 음식이미지의 컬러패턴 분석에 관한 것으로, 특히 건강관리 서비스를 이용하는 사용자가 복잡한 음식 명칭과 분량의 입력을 하지 않고 식사 때마다 음식의 이미지를 사진 촬영하여 서버에 업로드 하면 사진의 이미지 패턴을 인식하여 음식에 해당하는 정보를 이미지 분석에 맞게 데이터화하여 저장하고, 서버에 구현된 알고리즘을 통해 분석결과에 대한 정보 및 그에 따른 건강관리 지침을 제공하기에 적당하도록 한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법에 관한 것이다.
당뇨병, 고혈압, 비만, 이상지질혈증 등 현대인에서 높은 발병률을 보이는 생활습관병의 발생과 경과에 영향을 미치는 요소들 중 성별, 노화, 유전적 소인 등의 요소들은 변경 불가하지만 음식과 운동 등의 생활 습관은 개인의 관리와 노력으로 개선될 수 있어 일상생활에서의 건강관리에 중요한 부분을 차지한다.
이에 건강관리 서비스 시스템에 식습관과 운동을 관리하는 도구가 필수적인 역할을 한다. 최근 가속도 센서 기술의 발달로 활동량을 포함한 운동의 정도를 추적하여 모니터링하는 기술은 많은 발전이 있었으나, 건강한 식습관을 모니터링하는 방법은 제한적이다.
모바일 앱 등에서 제공하는 고전적인 방법은 시스템에 사용자가 식사를 한 이후에 섭취한 음식명과 양을 입력하면 구축되어 있는 영양소, 열량 정보가 포함된 음식 데이터베이스를 기반으로 섭취한 음식에 대한 평가를 제공하는 것이며, 보조적으로 식사 사진을 촬영하여 입력하면 서비스에 따라 전문가(영양사)가 사진을 보고 평가를 해 주게 된다.
최근 시도된 기술은 음식 사진을 이미지 분석 기술을 이용하여 데이터베이스에서 일치하는 음식 명칭을 찾고 그에 따른 정보와 평가를 제공하는 것이다.
그러나 음식은 같은 메뉴라 하더라도 형태와 양이 매우 다양하여 일관된 평가에는 제한이 있다.
또한 종래기술 중에는 한국공개특허 제10-2017-0050516호의 ‘체질개선을 위한 오색 음식분류 시스템’이 개시된 바 있다.
도 7은 종래기술에 의한 체질개선을 위한 오색 음식분류 시스템의 구성도이다.
이는 생년월일에 따라 체질을 정의하는 정보를 저장하고 있는 오색 정보저장부(110)와 해당자의 생년월일이 입력되는 해당자 정보 입력부(120)와 상기 해당자 정보 입력부(120)에 입력된 생년월일로 오색 정보저장부(110)에 저장된 정보를 검색하여 해당자의 체질을 오색으로 분류하는 오색 분류부(130)와 상기 오색 분류부(130)에 의해 분류된 색상으로 해당자의 체질정보와 체질에 맞는 음식정보를 확정하는 체질정보 확정부(140)와 상기 체질정보 확정부(140)의 결과를 표시하는 체질정보 표시부(150)와 상기 체질정보 표시부(150)에 표시된 데이터를 중앙서버(300)로 송신하는 체질정보 통신부(160) 및 상기 오색 정보저장부(110), 해당자 정보 입력부(120), 오색 분류부(130), 체질정보 확정부(140), 체질정보 표시부(150), 체질정보 통신부(160)의 기능을 제어하고 총괄하는 제어부(170)로 이루어진 해당자의 생년월일 정보를 입력하여 체질을 분석하는 체질개선 단말기(100);와 통신망(200)을 통하여 상기 체질개선 단말기(100)에서 송신되는 해당자의 데이터를 저장하고 처리하는 체질개선 단말기(100)의 체질정보 통신부(160)에서 송신되는 데이터를 수신하여 수신된 데이터를 저장하는 해당자 데이터 수신 저장부(310)와 상기 해당자 데이터수신 저장부(310)에 저장된 정보를 해당자 단말기(320)로 송신하는 해당자 데이터 처리부(330)로 이루어진 중앙서버(300)로 구성된 체질개선을 위한 오색 음식분류 시스템에 있어서, 상기 오색 정보저장부(110)는, 고서인 주역의 운기체질편과 오운육기, 천간, 지간, 24절기, 오행, 별자리를 토대로 인체의 에너지를 녹색, 적색, 황색, 백색, 흑색의 5[가지] 색상으로 정의하여 5[가지] 색상 중 해당자의 에너지가 약한 색상과 에너지가 강한 색상을 해당자에게 제공하되, 특정 연도별로 그 해에 해당하는 색상의 기운이 강하거나 약하게 작용하는 것을 바탕으로 해당 해의 기운에 대한 강약에 따라 해당자의 체질정보의 색상이 결정되는 정보를 이용하여, 에너지가 약한 색상에 대한 음식정보를 해당자에게 제공할 수 있는 정보가 저장되어 있으며, 상기 오색 분류부(130)는, 해당자의 생년월일을 입태(入胎)시기로 변환하는 입태시기 변환부(131);와 상기 입태시기 변환부(131)에 의해 변환된 정보를 바탕으로 오색 정보저장부(110)에 저장된 색상정보를 검색하여 해당자의 체질을 오색으로 산출하는 오색 산출부(132); 및 상기 오색 산출부(132)에서 산출된 색상에 맞는 음식정보를 제공하는 음식정보 제공부(133);로 구성되어 해당자의 입태시기를 기준으로 오색 정보저장부(110)에 저장된 정보를 이용하여 해당자의 체질정보를 검색/정의함으로서 해당자에게 체질정보 및 체질에 맞는 음식정보를 제공하는 것을 특징으로 하는 체질개선을 위한 오색 음식분류 시스템으로 구성된다.
이러한 종래기술은 오색 정보저장부(110)에 저장된 정보를 기준으로 해당자 개인의 체질을 분류하여 체질정보 및 체질에 맞는 음식정보를 제공함으로서 올바른 음식섭취를 통하여 다양한 질병을 예방하고 개인의 면역력을 높일 수 있다.
그러나 종래기술은 체질정보를 이용하여 5가지 색깔로 음식정보를 분류하는 것으로서, 음식 자체의 이미지 패턴 분석을 통해 정확한 음식 정보 및 건강관리 지침을 제공하지는 못한 한계가 있다.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 건강관리 서비스를 이용하는 사용자가 복잡한 음식 명칭과 분량의 입력을 하지 않고 식사 때마다 음식의 이미지를 사진 촬영하여 서버에 업로드 하면 사진의 이미지 패턴을 인식하여 음식에 해당하는 정보를 이미지 분석에 맞게 데이터화하여 저장하고, 서버에 구현된 알고리즘을 통해 분석결과에 대한 정보 및 그에 따른 건강관리 지침을 제공할 수 있는 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법을 제공하는데 있다.
도 1은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치의 개념도이고, 도 2는 도 1의 사용 예시를 보인 개념도이다.
이에 도시된 바와 같이, 사용자의 휴대 단말기를 통해 사진 촬영된 음식이미지 정보를 입력받는 음식이미지 입력부(10)와; 상기 음식이미지 입력부(10)에서 입력받은 음식이미지의 패턴을 추출하여 분석하는 이미지패턴 분석부(20)와; 상기 이미지패턴 분석부(20)에서 분석한 결과를 저장하는 분석결과 저장부(30)와; 상기 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 음식정보를 산출하는 컬러분석 알고리즘부(40)와; 상기 컬러분석 알고리즘부(40)에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출하는 분석결과 해석부(50)와; 상기 분석결과 해석부(50)의 도출 결과를 사용자의 단말기로 전송하는 사용자 전송부(60);를 포함하여 구성된 것을 특징으로 한다.
도 3은 도 1에서 이미지패턴 분석부의 상세 개념도이다.
이에 도시된 바와 같이, 상기 이미지패턴 분석부(20)는, 상기 음식이미지 입력부(10)에서 입력받은 음식이미지에서 음식영역을 구분하는 음식영역 구분부(21)와; 상기 음식영역 구분부(21)에 의해 구분된 음식영역에 대해 음식컬러를 구분하는 음식컬러 구분부(22)와; 상기 음식영역 구분부(21)에 의해 구분된 음식영역에 대해 음식형태를 구분하는 음식형태 구분부(23)와; 상기 음식영역 구분부(21)에 의해 구분된 음식영역에 대해 사용자 메모 및 부가정보가 포함된 음식의 기타정보를 분류하는 기타정보 분류부(24);를 포함하여 구성된 것을 특징으로 한다.
도 4는 도 1에서 컬러분석 알고리즘부의 상세 개념도이다.
이에 도시된 바와 같이, 상기 컬러분석 알고리즘부(40)는, 상기 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 해당 음식의 컬러 분포에 따라 7가지의 색으로 음식이미지의 컬러를 구분하는 음식컬러 산출부(41)와; 상기 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 해당 음식의 종류와 이름을 딥러닝 기법을 활용하여 산출하는 음식종류 이름 산출부(42)와; 상기 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 해당 음식의 영양소 정보, 칼로리 정보를 포함하여 산출하는 기타정보 산출부(43);를 포함하여 구성된 것을 특징으로 한다.
도 5는 도 1에서 사용자 전송부의 전송결과를 보인 예시도이다.
상기 사용자 전송부(60)는, 음식컬러 분포도 정보, 특정기간 동안 사용자가 입력한 음식이미지에 의한 음식종류 정보와 가장 많이 먹은 대표음식 정보를 포함하여 제공하는 것을 특징으로 한다.
도 6은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석방법을 보인 흐름도이다.
이에 도시된 바와 같이, 사용자의 휴대 단말기를 통해 사진 촬영된 음식이미지 정보를 입력받는 음식이미지 입력단계(ST1)와; 상기 음식이미지 입력단계에서 입력받은 음식이미지의 패턴을 추출하여 분석하는 이미지패턴 분석단계(ST2)와; 상기 이미지패턴 분석단계에서 분석한 결과를 저장하는 분석결과 저장단계(ST3)와; 상기 분석결과 저장단계에서 저장된 분석결과를 이용하여 음식정보를 산출하는 컬러분석 알고리즘단계(ST4)와; 상기 컬러분석 알고리즘단계에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출하는 분석결과 해석단계(ST5)와; 상기 분석결과 해석단계의 도출 결과를 사용자의 단말기로 전송하는 사용자 전송단계(ST6);를 포함하여 수행하는 것을 특징으로 한다.
본 발명에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법은 건강관리 서비스를 이용하는 사용자가 복잡한 음식 명칭과 분량의 입력을 하지 않고 식사 때마다 음식의 이미지를 사진 촬영하여 서버에 업로드 하면 사진의 이미지 패턴을 인식하여 음식에 해당하는 정보를 이미지 분석에 맞게 데이터화하여 저장하고, 서버에 구현된 알고리즘을 통해 분석결과에 대한 정보 및 그에 따른 건강관리 지침을 제공할 수 있는 효과가 있다.
또한 본 발명에 의해 사용자는 복잡한 식사 일지 입력(음식 종류, 양, 시간 등을 DB에서 찾아서 입력, DB에 없는 식사는 입력할 수 없는 문제점이 있음)을 하지 않고 간단히 사진만 찍어서 업로드 하면 식사에 대한 평가를 받을 수 있으며, 기타 건강정보와 융합 분석하여 개인 건강상태와 상황에 맞게 적절한 평가와 지침을 제공받아 양질의 건강관리 서비스가 유지될 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치의 개념도이다.
도 2는 도 1의 사용 예시를 보인 개념도이다.
도 3은 도 1에서 이미지패턴 분석부의 상세 개념도이다.
도 4는 도 1에서 컬러분석 알고리즘부의 상세 개념도이다.
도 5는 도 1에서 사용자 전송부의 전송결과를 보인 예시도이다.
도 6은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석방법을 보인 흐름도이다.
도 7은 종래기술에 의한 체질개선을 위한 오색 음식분류 시스템의 구성도이다.
도 2는 도 1의 사용 예시를 보인 개념도이다.
도 3은 도 1에서 이미지패턴 분석부의 상세 개념도이다.
도 4는 도 1에서 컬러분석 알고리즘부의 상세 개념도이다.
도 5는 도 1에서 사용자 전송부의 전송결과를 보인 예시도이다.
도 6은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석방법을 보인 흐름도이다.
도 7은 종래기술에 의한 체질개선을 위한 오색 음식분류 시스템의 구성도이다.
이와 같이 구성된 본 발명에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법의 바람직한 실시예를 첨부한 도면에 의거하여 상세히 설명하면 다음과 같다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있으며, 이에 따라 각 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 해석되어야 할 것이다.
먼저 본 발명은 건강관리 서비스를 이용하는 사용자가 식사 때마다 음식의 이미지를 사진 촬영하여 서버에 업로드 하면 사진의 이미지 패턴을 인식하여 음식에 해당하는 정보를 이미지 분석에 맞게 데이터화하여 저장하고, 서버에 구현된 알고리즘을 통해 분석결과에 대한 정보 및 그에 따른 건강관리 지침을 제공하고자 한 것이다.
하지만 영양소에 따라 음식이 가지고 있는 색깔의 패턴과 고유의 색깔들을 가지고 있는 채소 과일들의 구성 정도 등에 따라 각 음식의 이미지에서 추출할 수 있는 색깔 패턴의 데이터가 달라질 것이다. 따라서 본 기술은 음식 자체의 데이터베이스가 아닌, 식품군, 음식의 양, 구성 영양소 등을 고려한 색깔 기반 분석 결과를 체계화 하고 머신 러닝 기법을 활용하여 수집되는 음식 사진 정보의 양을 누적하여 지속적으로 정교화를 거치는 역동적인 시스템을 구현하여 음식사진에 대한 식사 평가 도구로 활용하고, 평가 결과를 이용하여 건강관리 서비스를 구성하고자 한다.
도 1은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치의 개념도이다.
음식이미지 입력부(10)는 사용자의 휴대 단말기를 통해 사진 촬영된 음식이미지 정보를 입력받는다. 여기서 사용자의 휴대 단말기는 사진 촬영을 할 수 있는 스마트폰, 디지털 카메라 등이 될 수 있다.
이미지패턴 분석부(20)는 음식이미지 입력부(10)에서 입력받은 음식이미지의 패턴을 추출하여 분석한다.
분석결과 저장부(30)는 이미지패턴 분석부(20)에서 분석한 결과를 저장한다.
컬러분석 알고리즘부(40)는 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 음식정보를 산출한다.
분석결과 해석부(50)는 컬러분석 알고리즘부(40)에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출한다.
사용자 전송부(60)는 분석결과 해석부(50)의 도출 결과를 사용자의 단말기로 전송한다.
도 2는 도 1의 사용 예시를 보인 개념도이다.
그래서 사용자가 식사를 할 때 바나나의 사진을 촬영하여 서버에 입력시킨다. 음식이미지 입력부(10)는 사용자의 휴대 단말기를 통해 사진 촬영된 바나나의 음식이미지 정보를 입력받는다.
이미지패턴 분석부(20)는 음식이미지 입력부(10)에서 입력받은 바나나의 패턴을 추출하여 분석한다.
분석결과 저장부(30)는 이미지패턴 분석부(20)에서 분석한 결과를 저장한다. 이때 다양한 형태의 보정이미지로 저장한다.
컬러분석 알고리즘부(40)는 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 음식정보를 산출한다.
분석결과 해석부(50)는 컬러분석 알고리즘부(40)에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출한다. 그래서 음식의 이미지에서 노랑색은 90%이고, 녹색은 8%이고, 검정색이 2%라고 구분되었을 경우, 해당 음식은 ‘바나나’일 것이라고 95%의 정확도에 의해 음식을 구분할 수 있다. 그리고 1개 바나나의 예상칼로리는 65kcal라고 계산할 수 있다. 또한 음식을 섭취한 예상시간은 음식사진을 서버에 올린 시간이 오전 07:20일 경우, 오전 07:20에 음식을 섭취했다고 해석하게 된다.
사용자 전송부(60)는 분석결과 해석부(50)의 도출 결과를 사용자의 단말기로 전송한다. 그래서 기간별 분석과 음식관련 컨텐츠를 사용자에게 제공하게 된다.
도 3은 도 1에서 이미지패턴 분석부의 상세 개념도이다.
이미지패턴 분석부(20)는 음식영역 구분부(21), 음식컬러 구분부(22), 음식형태 구분부(23), 기타정보 분류부(24)를 포함하여 구성될 수 있다.
음식영역 구분부(21)는 음식이미지 입력부(10)에서 입력받은 음식이미지에서 음식영역을 구분한다.
음식컬러 구분부(22)는 음식영역 구분부(21)에 의해 구분된 음식영역에 대해 음식컬러를 구분한다.
음식형태 구분부(23)는 음식영역 구분부(21)에 의해 구분된 음식영역에 대해 음식형태를 구분한다.
기타정보 분류부(24)는 음식영역 구분부(21)에 의해 구분된 음식영역에 대해 사용자 메모 및 부가정보가 포함된 음식의 기타정보를 분류한다.
도 4는 도 1에서 컬러분석 알고리즘부의 상세 개념도이다.
컬러분석 알고리즘부(40)는 음식컬러 산출부(41), 음식종류 이름 산출부(42), 기타정보 산출부(43)를 포함하여 구성될 수 있다.
음식컬러 산출부(41)는 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 해당 음식의 컬러 분포에 따라 7가지의 색으로 음식이미지의 컬러를 구분한다.
음식종류 이름 산출부(42)는 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 해당 음식의 종류와 이름을 딥러닝 기법을 활용하여 산출한다.
기타정보 산출부(43)는 분석결과 저장부(30)에서 저장된 분석결과를 이용하여 해당 음식의 영양소 정보, 칼로리 정보를 포함하여 산출한다.
도 5는 도 1에서 사용자 전송부의 전송결과를 보인 예시도이다.
그래서 사용자 전송부(60)는 음식컬러 분포도 정보, 특정기간 동안 사용자가 입력한 음식이미지에 의한 음식종류 정보와 가장 많이 먹은 대표음식 정보를 포함하여 제공한다.
도 6은 본 발명의 일 실시예에 의한 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석방법을 보인 흐름도이다.
음식이미지 입력단계(ST1)에서는 사용자의 휴대 단말기를 통해 사진 촬영된 음식이미지 정보를 입력받는다.
이미지패턴 분석단계(ST2)에서는 음식이미지 입력단계에서 입력받은 음식이미지의 패턴을 추출하여 분석한다.
분석결과 저장단계(ST3)에서는 이미지패턴 분석단계에서 분석한 결과를 저장한다.
컬러분석 알고리즘단계(ST4)에서는 분석결과 저장단계에서 저장된 분석결과를 이용하여 음식정보를 산출한다.
분석결과 해석단계(ST5)에서는 컬러분석 알고리즘단계에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출한다.
사용자 전송단계(ST6)에서는 분석결과 해석단계의 도출 결과를 사용자의 단말기로 전송한다.
이러한 본 발명은 모바일 어플리케이션을 통한 건강 행태 평가 서비스를 제공할 수 있다. 본 발명에 의해 제공 가능한 기능은 다음과 같다.
모바일 어플리케이션을 통한 식사 사진 입력 (식사 사진 입력 시 위치 정보를 통한 식사 장소나 식당명에 대한 정보를 부가적으로 수집)
입력된 음식 사진에 대한 평가 및 지침을 제공
입력된 음식 사진의 누적 데이터에 대한 주기적 평가를 제공 (주, 월, 분기 등)
음식 사진 데이터와 질환 정보(당뇨병 고혈압, 등의 만성질환 동반 여부 ) 기타 건강 모니터링 정보 (혈당, 혈압, 체중, 운동 및 활동 모니터링 기록 등)를 통합 분석하여 평가를 제공
또한 본 발명은 모바일 어플리케이션을 통해 입력된 사진 데이터를 분석하는 서버 시스템을 구현할 수 있다. 모바일 어플리케이션에서 제공할 수 있는 핵심 기능은 다음과 같이 정리할 수 있다.
- 음식 사진 데이터를 누적 저장
- 각각의 사진 데이터를 색깔을 중점적으로 이미지 패턴 분석 알고리즘을 통해 분석하여 저장
- 분석된 패턴을 그룹화
- 이미지 분석 평가 결과 각 그룹에 따른 음식 사진 자체의 평가 알고리즘
- 음식사진 평가에 부가적인 건강정보를 통합하여 평가 알고리즘
이와 같은 본 발명에 의해 식사/음식 이미지 데이터 누적 관리가 가능하다. 그래서 스마트폰을 이용하여 촬영한 음식사진을 업로드 하고 누적 저장 관리할 수 있다.
또한 식사/음식 이미지 데이터 분석을 통한 분류 및 DB 화가 가능하다. 이는 머신러닝 기법을 이용하여 식사 이미지 패턴 인식, 분류하여 저장하게 된다.
또한 식사/음식 이미지 데이터에 대한 영양 전문가 분석 결과 분류 및 DB화가 가능하다.
또한 이미지 패턴과 영양 전문가 분석 결과 분류 융합하여 평가 알고리즘 구축이 가능하다.
또한 영양 전문가 분석 데이터를 추가하여 알고리즘 정교화를 지속할 수 있는 시스템을 구축할 수 있게 된다.
이처럼 본 발명은 건강관리 서비스를 이용하는 사용자가 식사 때마다 음식의 이미지를 사진 촬영하여 서버에 업로드 하면 사진의 이미지 패턴을 인식하여 음식에 해당하는 정보를 이미지 분석에 맞게 데이터화하여 저장하고, 서버에 구현된 알고리즘을 통해 분석결과에 대한 정보 및 그에 따른 건강관리 지침을 제공하게 된다.
이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술적 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 음식이미지 입력부
20 : 이미지패턴 분석부
21 : 음식영역 구분부
22 : 음식컬러 구분부
23 : 음식형태 구분부
24 : 기타정보 분류부
30 : 분석결과 저장부
40 : 컬러분석 알고리즘부
41 : 음식컬러 산출부
42 : 음식종류 이름 산출부
43 : 기타정보 산출부
50 : 분석결과 해석부
60 : 사용자 전송부
20 : 이미지패턴 분석부
21 : 음식영역 구분부
22 : 음식컬러 구분부
23 : 음식형태 구분부
24 : 기타정보 분류부
30 : 분석결과 저장부
40 : 컬러분석 알고리즘부
41 : 음식컬러 산출부
42 : 음식종류 이름 산출부
43 : 기타정보 산출부
50 : 분석결과 해석부
60 : 사용자 전송부
Claims (5)
- 사용자의 휴대 단말기를 통해 사진 촬영된 음식이미지 정보를 입력받는 음식이미지 입력부와;
상기 음식이미지 입력부에서 입력받은 음식이미지의 패턴을 추출하여 분석하는 이미지패턴 분석부와;
상기 이미지패턴 분석부에서 분석한 결과를 저장하는 분석결과 저장부와;
상기 분석결과 저장부에서 저장된 분석결과를 이용하여 음식정보를 산출하는 컬러분석 알고리즘부와;
상기 컬러분석 알고리즘부에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출하는 분석결과 해석부와;
상기 분석결과 해석부의 도출 결과를 사용자의 단말기로 전송하는 사용자 전송부;
를 포함하여 구성된 것을 특징으로 하는 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치.
- 청구항 1에 있어서,
상기 이미지패턴 분석부는,
상기 음식이미지 입력부에서 입력받은 음식이미지에서 음식영역을 구분하는 음식영역 구분부와;
상기 음식영역 구분부에 의해 구분된 음식영역에 대해 음식컬러를 구분하는 음식컬러 구분부와;
상기 음식영역 구분부에 의해 구분된 음식영역에 대해 음식형태를 구분하는 음식형태 구분부와;
상기 음식영역 구분부에 의해 구분된 음식영역에 대해 사용자 메모 및 부가정보가 포함된 음식의 기타정보를 분류하는 기타정보 분류부;
를 포함하여 구성된 것을 특징으로 하는 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치.
- 청구항 1에 있어서,
상기 컬러분석 알고리즘부는,
상기 분석결과 저장부에서 저장된 분석결과를 이용하여 해당 음식의 컬러 분포에 따라 7가지의 색으로 음식이미지의 컬러를 구분하는 음식컬러 산출부와;
상기 분석결과 저장부에서 저장된 분석결과를 이용하여 해당 음식의 종류와 이름을 딥러닝 기법을 활용하여 산출하는 음식종류 이름 산출부와;
상기 분석결과 저장부에서 저장된 분석결과를 이용하여 해당 음식의 영양소 정보, 칼로리 정보를 포함하여 산출하는 기타정보 산출부;
를 포함하여 구성된 것을 특징으로 하는 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치.
- 청구항 1에 있어서,
상기 사용자 전송부는,
음식컬러 분포도 정보, 특정기간 동안 사용자가 입력한 음식이미지에 의한 음식종류 정보와 가장 많이 먹은 대표음식 정보를 포함하여 제공하는 것을 특징으로 하는 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치.
- 사용자의 휴대 단말기를 통해 사진 촬영된 음식이미지 정보를 입력받는 음식이미지 입력단계와;
상기 음식이미지 입력단계에서 입력받은 음식이미지의 패턴을 추출하여 분석하는 이미지패턴 분석단계와;
상기 이미지패턴 분석단계에서 분석한 결과를 저장하는 분석결과 저장단계와;
상기 분석결과 저장단계에서 저장된 분석결과를 이용하여 음식정보를 산출하는 컬러분석 알고리즘단계와;
상기 컬러분석 알고리즘단계에서 산출한 정보를 이용하여 분석결과를 도출하고, 사용자에 대한 건강관리 지침을 도출하는 분석결과 해석단계와;
상기 분석결과 해석단계의 도출 결과를 사용자의 단말기로 전송하는 사용자 전송단계;
를 포함하여 수행하는 것을 특징으로 하는 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170166012A KR20190066361A (ko) | 2017-12-05 | 2017-12-05 | 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170166012A KR20190066361A (ko) | 2017-12-05 | 2017-12-05 | 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190066361A true KR20190066361A (ko) | 2019-06-13 |
Family
ID=66847839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170166012A KR20190066361A (ko) | 2017-12-05 | 2017-12-05 | 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190066361A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102335374B1 (ko) * | 2021-05-31 | 2021-12-06 | 주식회사 써클인컴퍼니 | 헬스케어 관리 장치 및 방법 |
| KR102544742B1 (ko) | 2022-06-21 | 2023-06-20 | 가천대학교 산학협력단 | 딥러닝 기반 음식 이미지 부피 측정 방법 및 시스템 |
| WO2023182873A1 (ko) * | 2022-03-25 | 2023-09-28 | 주식회사 누비랩 | 인공지능 기반 식사 모니터링 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170050516A (ko) | 2015-10-30 | 2017-05-11 | 박영수 | 체질개선을 위한 오색 음식분류 시스템 |
-
2017
- 2017-12-05 KR KR1020170166012A patent/KR20190066361A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170050516A (ko) | 2015-10-30 | 2017-05-11 | 박영수 | 체질개선을 위한 오색 음식분류 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102335374B1 (ko) * | 2021-05-31 | 2021-12-06 | 주식회사 써클인컴퍼니 | 헬스케어 관리 장치 및 방법 |
| WO2023182873A1 (ko) * | 2022-03-25 | 2023-09-28 | 주식회사 누비랩 | 인공지능 기반 식사 모니터링 방법 및 장치 |
| KR102544742B1 (ko) | 2022-06-21 | 2023-06-20 | 가천대학교 산학협력단 | 딥러닝 기반 음식 이미지 부피 측정 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7518878B2 (ja) | ヘルストラッキングデバイス | |
| US11222422B2 (en) | Hyperspectral imaging sensor | |
| KR101562364B1 (ko) | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 | |
| EP2481025B1 (en) | Estimating aesthetic quality of digital images | |
| US8330826B2 (en) | Method for measuring photographer's aesthetic quality progress | |
| CN107238427A (zh) | 智能营养秤系统及提供膳食建议的方法 | |
| CN109068983A (zh) | 用于跟踪食物摄入和其它行为并提供相关反馈的方法和设备 | |
| US20110075930A1 (en) | Method for comparing photographer aesthetic quality | |
| CN111063419A (zh) | 智能健康饮食管理系统 | |
| KR20190066361A (ko) | 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 | |
| CN111159539B (zh) | 基于多模态信息关联分析的食物推荐方法和系统 | |
| CN111599438A (zh) | 一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法 | |
| KR20140089729A (ko) | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 | |
| CN101615223A (zh) | 健康数据整合系统及其方法 | |
| US20220270720A1 (en) | Adjustment method for an analytical determination of an analyte in a body fluid | |
| CN103841175B (zh) | 一种图像特征信息传输方法、装置及系统 | |
| CN112970026A (zh) | 一种估算物体参数的方法以及电子设备 | |
| US20170300628A1 (en) | Health tracking system including subjective health perception tool | |
| US10438507B2 (en) | Health tracking system including subjective nutrition perception tool | |
| KR102577604B1 (ko) | 인공지능에 기반한 일식 주점 메뉴 추천 시스템 | |
| KR102130772B1 (ko) | 딥러닝을 이용한 음식인식 및 식단관리 시스템 | |
| KR20200136876A (ko) | 섭취음식물 및 활동량 분석을 기반으로 하는 맞춤형 영양제 성분 결정 시스템 및 그 방법 | |
| KR20190138147A (ko) | 모바일을 이용한 푸드 다이어리 장치 | |
| CN111584037A (zh) | 一种针对慢性病的营养数据分析指导方法 | |
| KR20200005030A (ko) | 섭취음식물 및 활동량 분석을 기반으로 하는 맞춤형 영양제 성분 결정 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |