KR101959762B1 - 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 - Google Patents
인공 지능 기반 영상 및 음성 인식 영양 평가 방법 Download PDFInfo
- Publication number
- KR101959762B1 KR101959762B1 KR1020170049119A KR20170049119A KR101959762B1 KR 101959762 B1 KR101959762 B1 KR 101959762B1 KR 1020170049119 A KR1020170049119 A KR 1020170049119A KR 20170049119 A KR20170049119 A KR 20170049119A KR 101959762 B1 KR101959762 B1 KR 101959762B1
- Authority
- KR
- South Korea
- Prior art keywords
- food
- meal
- amount
- artificial intelligence
- type
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 78
- 235000016709 nutrition Nutrition 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 22
- 235000013305 food Nutrition 0.000 claims abstract description 339
- 235000005911 diet Nutrition 0.000 claims abstract description 87
- 238000011156 evaluation Methods 0.000 claims abstract description 80
- 230000037213 diet Effects 0.000 claims abstract description 77
- 235000012054 meals Nutrition 0.000 claims abstract description 71
- 235000015097 nutrients Nutrition 0.000 claims abstract description 50
- 230000035764 nutrition Effects 0.000 claims abstract description 43
- 238000010801 machine learning Methods 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 21
- 235000021067 refined food Nutrition 0.000 claims description 19
- 230000000378 dietary effect Effects 0.000 claims description 11
- 239000005022 packaging material Substances 0.000 claims description 7
- 208000004262 Food Hypersensitivity Diseases 0.000 claims description 4
- 206010016946 Food allergy Diseases 0.000 claims description 4
- 235000020932 food allergy Nutrition 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 235000004251 balanced diet Nutrition 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000009406 nutrient management Methods 0.000 claims description 3
- 230000001932 seasonal effect Effects 0.000 claims description 3
- 208000017667 Chronic Disease Diseases 0.000 claims description 2
- 238000013523 data management Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 11
- 235000021076 total caloric intake Nutrition 0.000 description 6
- 235000006286 nutrient intake Nutrition 0.000 description 5
- 235000012046 side dish Nutrition 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 239000003925 fat Substances 0.000 description 3
- 235000019197 fats Nutrition 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 235000010755 mineral Nutrition 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- FPIPGXGPPPQFEQ-UHFFFAOYSA-N 13-cis retinol Natural products OCC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-UHFFFAOYSA-N 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- FPIPGXGPPPQFEQ-BOOMUCAASA-N Vitamin A Natural products OC/C=C(/C)\C=C\C=C(\C)/C=C/C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-BOOMUCAASA-N 0.000 description 2
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Chemical compound OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 description 2
- 235000014633 carbohydrates Nutrition 0.000 description 2
- 150000001720 carbohydrates Chemical class 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000018823 dietary intake Nutrition 0.000 description 2
- 235000005686 eating Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- OVBPIULPVIDEAO-LBPRGKRZSA-N folic acid Chemical compound C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)N[C@@H](CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-LBPRGKRZSA-N 0.000 description 2
- 235000003715 nutritional status Nutrition 0.000 description 2
- 235000018102 proteins Nutrition 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 235000013343 vitamin Nutrition 0.000 description 2
- 229940088594 vitamin Drugs 0.000 description 2
- 229930003231 vitamin Natural products 0.000 description 2
- 239000011782 vitamin Substances 0.000 description 2
- 235000019155 vitamin A Nutrition 0.000 description 2
- 239000011719 vitamin A Substances 0.000 description 2
- 229940045997 vitamin a Drugs 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- OVBPIULPVIDEAO-UHFFFAOYSA-N N-Pteroyl-L-glutaminsaeure Natural products C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)NC(CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 235000008452 baby food Nutrition 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 235000021004 dietary regimen Nutrition 0.000 description 1
- 235000015872 dietary supplement Nutrition 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011724 folic acid Substances 0.000 description 1
- 229960000304 folic acid Drugs 0.000 description 1
- 235000019152 folic acid Nutrition 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005417 food ingredient Substances 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000020803 food preference Nutrition 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 235000004280 healthy diet Nutrition 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 235000021374 legumes Nutrition 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 235000021590 normal diet Nutrition 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 235000019198 oils Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 235000000346 sugar Nutrition 0.000 description 1
- 150000008163 sugars Chemical class 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Child & Adolescent Psychology (AREA)
- Epidemiology (AREA)
- Nutrition Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 인공 지능 기반 영상 및 음성 인식 영양 평가 방법을 공개한다. 이 방법은 카메라, 제어부, 저장부, 마이크 및 디스플레이부를 구비하는 휴대용 단말기를 이용한 영상 및 음성 인식 영양 평가 방법에 있어서, (a) 카메라가 식사 전 식단의 식품 또는 음식을 촬영하는 단계; (b) 제어부가 촬영된 식사 전 식단의 식품 또는 음식의 제1 영상을 인가받아 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하고, 열량 및 영양소를 판별하는 단계; (c) 저장부가 인식된 식사 전 식단의 식품 또는 음식의 종류 및 분량과 판별된 열량 및 영양소를 임시 저장하는 단계; (d) 식사 종료시 카메라가 식사 후 식단의 식품 또는 음식을 촬영하는 단계; (e) 제어부가 촬영된 식사 후 식단의 식품 또는 음식의 제2 영상을 인가받아 임시 저장된 식사 전 식단의 식품 또는 음식의 종류 및 분량과의 차이를 산출하여 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계; 및 (f) 제어부가 추정한 섭취된 식품 또는 음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 산출하여 디스플레이부에 표시하는 단계;를 포함하고, 식사 전 식단의 식품 또는 음식의 종류 및 분량의 인식은 검색 엔진을 통한 인공 지능의 머신 러닝이 동작하고, 검색되지 않는 식품 또는 음식인 경우에는 딥 러닝이 동작하는 것을 특징으로 한다.
Description
본 발명은 영상 및 음성 인식 영양 평가 방법에 관한 것으로서, 특히 인공 지능의 머신 러닝 기능과 딥 러닝 기능을 영양 평가 방법에 접목하여 사용자의 식단에 대한 영상 및 사용자의 음성 입력으로 정확한 식단 평가 데이터를 실시간으로 제공하고, 사용자에게 맞춤형 식단을 추천할 수 있는 인공 지능 기반 영상 및 음성 인식 영양 평가 방법에 관한 것이다.
최근에 자신이 섭취한 식단이 균형 잡힌 건강한 식단인지 알고 싶어하는 요구가 늘면서 섭취한 식단을 평가해주는 시스템이 등장하고 있다.
대부분의 식단 평가 시스템은 음식의 칼로리 정보를 담고 있는 데이터베이스(DB)에서 사용자가 자신이 섭취한 음식을 검색하여 선택하면 해당 음식의 칼로리를 제공한다.
그런데, 이러한 방식의 식단평가 시스템은 사용자가 자신이 섭취한 모든 음식을 일일이 검색해야 하는 불편이 있으며, 데이터베이스에 모든 식단에 대한 칼로리 정보를 포함하는 것이 현실적으로 어려워, 사용자가 섭취한 음식에 대한 정보가 없을 가능성이 있다는 한계가 있다.
또한, 사용자가 섭취한 음식의 양을 사용자가 직접 입력해야 하는데, 대부분의 사용자는 음식의 양에 대한 지식이 부족하기 때문에 식단 평가 결과의 정확도가 현저하게 떨어질 수 밖에 없고, 사용자의 섭취 칼로리만을 평가하므로 식단이 얼마나 균형 잡혔는지는 평가 받을 수 없다는 단점도 있다.
이러한 한계와 단점을 극복하기 위하여, 사용자가 섭취한 식단 사진을 찍어서 이를 서버로 전달하면, 영양사가 서버로 접근해서 해당 식단에 대한 평가 데이터를 실시간으로 제공하는 식단 평가 시스템이 최근에 연구된 바가 있다.
이러한 종래의 식단평가 시스템에서 사용자는 자신이 섭취한 음식을 데이터베이스에서 일일이 확인할 필요 없이 간단하게 사진을 촬영하여 서버로 전송하기만 하면 되고, 식단 평가는 영양사가 직접 할 수 있게 하여, 간편하면서도 정확한 식단평가 시스템을 제공하는 듯 보인다.
하지만, 종래의 식단평가 시스템은 사용자가 식단을 평가 받기에 적합한 사진을 찍기 위해 촬영 각도나 음식과의 거리 등을 염두하며 사진을 촬영하려고 할 것이고, 이것 자체가 사용자에게는 신경 쓰이는 일이 되어 사용성 저하로 이어지게 된다.
또한, 전문가인 영양사가 직접 식단을 평가 하더라도, 무작위적으로 찍어서 보낸 사진만으로 정확한 섭취량, 음식재료 또는 조리법 등을 확인하고 식단평가를 하는 것이 현실적으로 어려워서 정확하고 자세한 식단 평가에는 여전히 한계가 있다.
결국, 정확한 식단평가를 위해 영양사를 도입했지만 여전히 식단평가의 정확도는 보장받지 못하는 것이다.
그리고, 현실적으로 다수의 영양사가 식단을 평가해야 할 것이며 이런 경우 영양사별로 식단에 대한 평가가 다르기 때문에 서비스의 통일성이 없다는 문제점도 있다.
특히, 보통 식단평가는 전문가인 영양사에 의해 이루어지기 때문에 식단에 대한 평가 데이터를 실시간으로 제공하기 위해서는 영양 평가를 위한 전문 인력이 언제든지 식단 평가가 가능한 환경에서 상시 대기하고 있어야 하는 등 현실적인 제약과 한계가 많아 서비스의 실시간성을 구현하기란 매우 어려운 문제이다.
한편, 인공 지능(Artificial Intelligence, AI)은 인간의 뇌와 뉴런 신경망을 모방해 언젠가는 컴퓨터나 로봇들이 인간처럼 사고하고 행동하게 하는 것이다.
예를 들어, 우리는 사진만으로 개와 고양이를 아주 쉽게 구분할 수 있지만 컴퓨터는 구분하지 못한다.
이를 위해 “머신 러닝(Machine Learning, ML)” 기법이 고안되었는데, 이 기법은 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술로서, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다.
데이터를 어떻게 분류할 것인가에 따라, 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트 벡터 머신(support vector machine, SVM), 그리고 인공 신경망(Artificial neural network) 등 많은 머신 러닝 알고리즘이 등장했다.
그 중에 인공 신경망 알고리즘에서 파생된 딥 러닝(Deep Learning, DL)은 인공신경망을 이용하여 데이터를 군집화하거나 분류하는데 사용하는 기술이다.
머신 러닝과 인지 과학에서의 인공 신경망은 생물학의 신경망(동물의 중추 신경계)에서 영감을 얻은 통계학적 학습 알고리즘이다.
인공 신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(node)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다.
인공 신경망을 이용하는 딥 러닝의 핵심은 분류를 통한 예측이다.
수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나눈다.
이 같은 분별 방식은 지도자(감독자/교사)의 신호(정답) 입력에 의해서 문제에 최적화되어 가는 지도(감독/교사) 학습과 지도자의 교사 신호를 필요로 하지 않는 비지도(감독/교사) 학습이 있다.
일반적으로 입력으로부터 값을 계산하는 뉴런 시스템의 상호 연결로 표현되고 적응성이 있어 패턴 인식과 같은 기계학습을 수행할 수 있다.
데이터로부터 학습하는 다른 기계학습과 같이, 신경망은 일반적으로 규칙 기반 프로그래밍으로 풀기 어려운 컴퓨터 비전(vision) 또는 음성 인식과 같은 다양한 범위의 문제를 푸는 데 이용된다.
즉, 어떠한 데이터가 있을 때 이를 컴퓨터가 인지할 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열 벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(deep neural networks), 합성 곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용되어 우수한 성능의 응용 프로그램들이 개발되고 있다.
이에, 본 발명자들은 입력되는 광범위한 데이터를 유사한 부류끼리 군집화하여 분류하는 머신 러닝 기법과 분류된 데이터를 인공 신경망을 이용하여 예측하는 딥 러닝 기법을 영양 평가 방법에 접목하여 사용자의 식단에 대한 정확한 평가 데이터를 실시간으로 제공하고, 사용자의 영양소 섭취량의 균형을 고려하면서도 사용자의 기호, 건강 상태 및 체질에 맞는 현실적인 식단을 추천할 수 있는 인공 지능 기반 영상 및 음성 인식 영양 평가 방법을 발명하기에 이르렀다.
본 발명의 목적은 휴대용 단말기의 카메라 기능 및 음성 인식 기능을 활용하여 식사 전후 식품 또는 음식의 영상 또는 사용자의 음성 입력을 인가받아 애플리케이션 프로그램에서 머신 러닝 및 딥 러닝이 동작하는 인공 지능 및 빅 데이터와 연동되어 사용자 친화적이고 정확하게 식단의 영양을 평가할 수 있는 인공 지능 기반 영상 및 음성 인식 영양 평가 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법은 카메라, 제어부, 저장부, 마이크 및 디스플레이부를 구비하는 휴대용 단말기를 이용한 영상 및 음성 인식 영양 평가 방법에 있어서, (a) 상기 카메라가 식사 전 식단의 식품 또는 음식을 촬영하는 단계; (b) 상기 제어부가 상기 촬영된 식사 전 식단의 식품 또는 음식의 제1 영상을 인가받아 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하고, 열량 및 영양소를 판별하는 단계; (c) 상기 저장부가 상기 인식된 식사 전 식단의 식품 또는 음식의 종류 및 분량과 상기 판별된 열량 및 영양소를 임시 저장하는 단계; (d) 식사 종료시 상기 카메라가 식사 후 식단의 식품 또는 음식을 촬영하는 단계; (e) 상기 제어부가 촬영된 상기 식사 후 식단의 식품 또는 음식의 제2 영상을 인가받아 상기 임시 저장된 식사 전 식단의 식품 또는 음식의 종류 및 분량과의 차이를 산출하여 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계; 및 (f) 상기 제어부가 추정한 상기 섭취된 식품 또는 음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 산출하여 상기 디스플레이부에 표시하는 단계;를 포함하고, 상기 식사 전 식단의 식품 또는 음식의 종류 및 분량의 인식은 검색 엔진을 통한 인공 지능의 머신 러닝이 동작하고, 검색되지 않는 식품 또는 음식인 경우에는 딥 러닝이 동작하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법은 상기 (b) 단계는 상기 마이크의 음성 메모 기능을 이용하여 사용자의 음성 입력을 인식하여 상기 촬영된 식사 전 식단의 식품 또는 음식의 영상과 매핑되어 상기 제어부가 상기 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 (b) 단계는 상기 휴대용 단말기의 텍스트 메모 기능을 이용하여 사용자의 텍스트 입력을 인식하여 상기 촬영된 식사 전 식단의 식품 또는 음식의 영상과 매핑되어 상기 제어부가 상기 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법은 상기 (b) 단계에서 상기 식단의 식품 또는 음식의 종류가 가공 식품의 경우, 상기 머신 러닝이 상기 가공 식품의 포장재 색깔, 모양 및 글씨체를 인식하여 빅 데이터베이스로부터 상기 가공 식품의 영양소 정보를 로드해 오는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법은 상기 빅 데이터베이스에 상기 영양소 정보가 없는 경우, 상기 카메라가 상기 가공 식품의 포장재에 기재된 영양소 정보를 촬영하여 상기 제어부가 상기 식단의 식품 또는 음식의 열량 및 영양소를 판별하는데 영상을 제공하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 (e) 단계는 상기 카메라의 틸트 기능을 이용하여 식품 또는 음식 용기의 크기, 깊이 및 부피를 인지하는 단계; 및 레이저 판별기의 레이저 또는 초단파 판별기의 마이크로웨이브를 이용하여 상기 식품 또는 음식 용기를 제외한 상기 식품 또는 음식 용기에 담겨진 식품 또는 음식의 종류 및 부피의 3차원 데이터만을 추출하여 상기 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계;를 더 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 딥 러닝 동작은 상기 인공 지능이 딥 러닝 알고리즘을 사용하여 실시간으로 입력되는 식품 또는 음식 정보로 판단 기준을 설정하고 실시간으로 빅 데이터베이스에 저장되는 데이터를 업데이트하는 단계; 및 상기 업데이트되는 데이터로부터 식품 또는 음식 정보를 자동으로 인지하여 상기 제어부에 제공하는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 빅 데이터베이스에 저장되는 데이터는 계절별 음식 데이터, 음식별 칼로리 데이터, 효능 분석 데이터 및 영양소 관리 데이터를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법은 카메라, 제어부, 저장부, 마이크 및 디스플레이부를 구비하는 휴대용 단말기를 이용한 영상 및 음성 인식 영양 평가 방법에 있어서, (a) 상기 마이크가 식사 후 식단의 식품 또는 음식의 종류 및 분량에 대하여 사용자의 음성을 입력받아 음성 데이터로 변환하는 단계; (b) 상기 제어부가 상기 음성 데이터를 전달받아 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계; 및 (c) 상기 제어부가 추정한 상기 섭취된 식품 또는 음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 산출하여 상기 디스플레이부에 표시하는 단계;를 포함하고, 상기 식단의 식품 또는 음식의 종류 및 분량의 추정은 검색 엔진을 통한 인공 지능의 머신 러닝이 동작하고, 검색되지 않는 식품 또는 음식인 경우에는 딥 러닝이 동작하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 (a) 단계는 식사 종료시 상기 마이크 대신 상기 카메라가 상기 식사 후 식단의 식품 또는 음식을 촬영하여 상기 식사 후 식단의 식품 또는 음식의 영상을 상기 제어부에 제공하고, 상기 제어부가 상기 섭취된 식품 또는 음식의 종류와 분량을 추정할 수 있는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 인공 지능은 당해 식사에서 추정된 상기 섭취된 식품 또는 음식의 종류 및 분량과 열량 및 영양소를 기초로 하여 다음 식사에서 균형 식단을 고려하여 사용자와 대화식으로 식품 또는 음식의 종류와 분량을 추천하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 인공 지능은 당해 식사에서 추정된 상기 섭취된 식품 또는 음식의 종류 및 분량과 열량 및 영양소를 기초로 하여 만성 질환자나 특정 음식 알레르기가 있는 사용자의 식이 요법에 관해 사용자와 대화식으로 식품 또는 음식의 종류와 분량을 추천하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 식단의 식품 또는 음식의 종류의 추정은, 빅 데이터베이스에 저장된 자료 또는 딥러닝을 통해 인식된 음식 및 재료 분류 리스트를 활용하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상기 판별되는 열량은 매 끼니마다 음식 별 칼로리 및 총 섭취 칼로리와 하루 총 섭취 칼로리를 포함하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의할 경우, 사용자가 자신이 섭취한 음식의 종류를 일일이 검색하거나, 섭취한 음식의 분량을 사용자가 직접 입력해야 하는 불편이 없어 사용자 친화적으로 식단의 영양 상태를 평가할 수 있다.
또한, 인공 지능은 빅 데이터베이스를 활용하므로 거의 모든 식단에 대한 열량 및 영양소 정보를 검색할 수 있어, 식단 평가 결과의 정확도 및 신뢰도를 향상시킬 수 있다.
또한, 사용자가 식단을 정확하게 평가 받기에 적합한 영상을 촬영하기 위해 각도나 음식과의 거리 등을 신경 쓸 필요가 없고, 간편하고 편리하게 식단 평가 서비스의 실시간성을 생산성 있게 구현할 수 있다.
또한, 형식적이고 비현실적인 추천 식단이 아닌 사용자의 실제 영양소 섭취량의 균형을 고려하면서도 사용자의 건강상태, 식품기호도 및 식습관 등을 바탕으로 실천가능하고 현실적인 맞춤형 식단을 추천함으로써, 사용자로 하여금 건강하고 균형 잡힌 식사를 하는데 실질적인 도움이 될 수 있다.
도 1은 본 발명에 따른 영상 및 음성 인식 영양 평가 방법을 구현하기 위한 영양 평가 시스템의 블록도이다.
도 2는 도 1에 도시된 영양 평가 시스템을 이용한 본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 동작을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 영상 및 음성 인식 영양 평가 방법 내 단계(S200)의 부분 동작을 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 단계(S200) 내 단계(S240)의 부분 동작을 설명하기 위한 순서도이다.
도 5는 도 2에 도시된 영상 및 음성 인식 영양 평가 방법 내 단계(S500)의 부분 동작을 설명하기 위한 순서도이다.
도 6은 도 1에 도시된 영양 평가 시스템을 이용한 본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 동작을 설명하기 위한 순서도이다.
도 2는 도 1에 도시된 영양 평가 시스템을 이용한 본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 동작을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 영상 및 음성 인식 영양 평가 방법 내 단계(S200)의 부분 동작을 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 단계(S200) 내 단계(S240)의 부분 동작을 설명하기 위한 순서도이다.
도 5는 도 2에 도시된 영상 및 음성 인식 영양 평가 방법 내 단계(S500)의 부분 동작을 설명하기 위한 순서도이다.
도 6은 도 1에 도시된 영양 평가 시스템을 이용한 본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 동작을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
도 1은 본 발명에 따른 영상 및 음성 인식 영양 평가 방법을 구현하기 위한 영양 평가 시스템의 블록도로서, 휴대용 단말기(100), 인공 지능(200), 빅 데이터베이스(210) 및 레이저 판별기(또는 초단파 판별기)(300)를 구비하고, 휴대용 단말기(100)는 카메라(110), 제어부(120), 저장부(130), 디스플레이부(140) 및 마이크(160)를 구비한다.
도 2는 도 1에 도시된 영양 평가 시스템을 이용한 본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 동작을 설명하기 위한 순서도이다.
도 1 및 도 2를 참조하여 본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 개략적인 동작을 설명하면 다음과 같다.
카메라(110)가 식사 전 식단의 식품/음식을 촬영하여 제1 영상을 출력하면(S100), 제어부(120)가 상기 촬영된 식사 전 식단의 식품/음식의 제1 영상을 인가받아 인공 지능(200)을 통해 식사 전 식단의 식품/음식의 종류 및 분량과 식품/음식 용기의 크기, 깊이 및 부피 등을 인식하고, 열량 및 영양소를 판별한다(S200).
이때, 식사 전 식단의 식품/음식의 종류 및 분량의 인식은 검색 엔진을 통한 인공 지능(200)의 머신 러닝이 동작하고, 검색되지 않는 식품/음식인 경우에는 딥 러닝이 동작하여 제어부(120)에 제공한다.
저장부(130)는 상기 인식된 식사 전 식단의 식품/음식의 종류 및 분량과 상기 판별된 열량 및 영양소를 임시 저장한다(S300).
사용자의 식사 종료시 카메라(110)가 식사 후 식단의 식품/음식을 촬영하여 제2 영상을 출력하면(S400), 제어부(120)가 촬영된 식사 후 식단의 식품/음식의 제2 영상을 인가받아 임시 저장된 식사 전 식단의 식품/음식의 종류 및 분량과의 차이를 산출하여(S500) 섭취된 식품/음식의 종류와 분량을 추정한다(S600).
제어부(120)가 추정한 섭취된 식품/음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 산출하여(S700) 디스플레이부(140)에 표시한다(S800).
본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상세한 동작 설명은 후술하도록 한다.
도 3은 도 2에 도시된 영상 및 음성 인식 영양 평가 방법 내 단계(S200)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 3을 참조하여 본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 내 단계(S200)의 개략적인 동작을 설명하면 다음과 같다.
카메라(110)에서 촬영된 제1 영상이 제어부(120)에 전달되면(S210), 인공 지능(200)의 머신 러닝이 동작하여 식사 전 식단의 식품/음식의 종류를 검색한다(S220).
만일, 식사 전 식단의 식품/음식의 종류가 검색 가능한지 여부를 판단하여(S230), 검색 가능한 경우 제어부(120)는 식단의 식품/음식의 종류가 가공 식품인지 여부를 판단하고(S250), 만일 검색이 불가능한 경우 딥 러닝 기능이 동작한다.
단계(S250)에서, 식단의 식품/음식의 종류가 가공 식품인 경우 머신 러닝이 가공 식품의 포장재 색깔, 모양 및 글씨체를 인식하고(S260), 빅 데이터베이스(210)로부터 가공 식품의 영양소 정보를 로드한다(S270).
이때, 빅 데이터베이스(210)에 가공 식품의 영양소 정보가 있는지 여부를 판단하여(S280), 영양소 정보가 있는 경우 제어부(120)가 식사 전 식단의 식품/음식의 종류와 분량을 인식하고 열량과 영양소를 판별한다(S290).
만일, 빅 데이터베이스(210)에 가공 식품의 영양소 정보가 없는 경우 카메라(110)가 가공 식품의 포장재에 기재된 영양소 정보 촬영하여 제어부(120)에 제공하여 상기 단계(S290)를 수행하게 한다.
도 4는 도 3에 도시된 단계(S200) 내 단계(S240)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 4를 참조하여 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 내 단계(S240)의 개략적인 동작을 설명하면 다음과 같다.
먼저, 인공 지능(200)은 실시간으로 입력되는 식품/음식 정보로 판단 기준을 설정 한다(S241).
또한, 실시간 빅 데이터베이스(210)에 저장되는 모든 데이터를 수시로 업데이트하면서(S242), 식품/음식 정보와 관련된 데이터를 식품/음식 정보로 자동으로 인지한다(S243).
인공 지능(200)이 자동으로 인지한 업데이트된 식품/음식 정보를 휴대용 단말기(100)의 제어부(120)에 제공한다(S244).
도 5는 도 2에 도시된 영상 및 음성 인식 영양 평가 방법 내 단계(S500)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 5를 참조하여 본 발명의 제1 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 내 단계(S500)의 개략적인 동작을 설명하면 다음과 같다.
사용자가 식사를 종료한 후에 휴대용 단말기(100)의 카메라(110)를 이용하여 식사 후 식단의 식품/음식을 촬영한 제2 영상이 휴대용 단말기(100)의 제어부(120)에 전달되면(S510), 제어부(120)는 카메라(110)의 틸트(tilt) 기능을 이용하여 식품/음식 용기의 크기, 깊이 및 부피를 인지한다(S520).
그 후에, 소정의 레이저 판별기(또는 초단파 판별기)(300)는 레이저 또는 마이크로웨이브를 이용하여 식품/음식 용기에 담겨진 식품/음식의 종류 및 부피의 3차원 데이터만을 추출한다(S530).
도 6은 도 1에 도시된 영양 평가 시스템을 이용한 본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 동작을 설명하기 위한 순서도이다.
도 2 및 도 6을 참조하여 본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 개략적인 동작을 설명하면 다음과 같다.
사용자의 식사 종료시 마이크(160)가 식사 후 식단의 식품/음식의 종류 및 분량에 대한 사용자의 음성을 입력받아 음성 데이터로 변환하여 출력하면(S910), 제어부(120)가 변환된 음성 데이터를 인가받아 섭취된 식품/음식의 종류와 분량을 추정한다(S920).
제어부(120)가 추정한 섭취된 식품/음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 산출하여(S930) 디스플레이부(140)에 표시한다(S940).
본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상세한 동작 설명은 후술하도록 한다.
도 1 내지 도 6을 참조하여 본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상세한 동작을 설명하면 다음과 같다.
영상 인식 및 인공 지능을 이용하는 경우
먼저, 사용자의 휴대용 단말기(100)에는 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법을 위한 애플리케이션 프로그램(150)이 탑재되어 있다고 가정한다.
휴대용 단말기(100)는 내장된 카메라(110)를 이용하여 식사 전에 준비된 식단의 식품/음식을 촬영한다.
휴대용 단말기(100) 내 제어부(120)는 촬영된 식사 전 식품/음식의 제1 영상을 통해 식사 전 식단의 모든 식품/음식의 종류와 분량을 인식하고, 이에 대한 열량과 영양소를 판별한다.
여기에서, 판별되는 열량은 매 끼니마다 음식 별 칼로리 및 총 섭취 칼로리와 하루 총 섭취 칼로리를 포함한다.
제어부(120)는 사용자의 하루 총 섭취 칼로리가 충분한지 여부와 하루 동안 섭취한 식사를 통해 균형적으로 영양소를 섭취했는지 여부에 대해 평가하여, 사용자로 하여금 실제 섭취한 식단에 대한 보다 정확하고 객관적인 평가를 받을 수 있도록 할 수 있다.
즉, 제어부(120)는 하루 동안 섭취해야 하는 연령별 각 영양소(예를 들어, 탄수화물, 단백질, 지방, 무기질, 비타민 등)의 권장 섭취량과 사용자가 실제 섭취한 각 영양소의 권장 섭취량을 그래프 형태로 디스플레이부(140)에 표시하여 권장 섭취량을 기준으로 '충분' 또는 '부족' 상태를 사용자로 하여금 인식할 수 있게 한다.
제어부(120)가 인식한 식사 전 식단의 식품/음식의 종류와 분량 및 판별된 열량과 영양소는 휴대용 단말기(100) 내 저장부(130)에 임시 저장한다.
이때, 식품/음식의 종류와 분량의 인식은 이미지 및 라벨의 자료, 포털 사이트 검색 엔진을 통한 머신 러닝이 동작하고, 검색 엔진을 통해 검색되지 않는 새로운 음식인 경우에는 딥 러닝이 동작하며, 색감 인식을 위한 표준 색 카드가 이용된다.
여기에서, 딥 러닝 동작은 인공 지능(200)이 딥 러닝 알고리즘을 사용하여 실시간으로 입력되는 식품/음식 정보로 판단 기준을 설정하고 지속적으로 업데이트하면서, 실시간 빅 데이터베이스(210)에 저장되는 데이터로부터 식품/음식 정보를 자동으로 인지하여 제어부(120)에 제공한다.
빅 데이터베이스(210)에는 계절별 음식 데이터, 음식별 칼로리 데이터, 효능 분석 데이터 및 영양소 관리 데이터 등이 저장된다.
또한, 주간 식단, 다이어트 식단, 유기농 식단, 이유식, 단체식, 특별식단 등 식단의 종류에 따라 국 종류, 동물성 반찬 종류, 식물성 반찬 종류 및 밑반찬의 각 항목에 대해 가장 추출 빈도수가 높은 음식을 순위별로 나열하여 식단이 저장될 수 있다.
예를 들면, 나이 및 성별에 따라 가장 추출 빈도수가 높은 국 종류, 동물성 반찬 종류, 식물성 반찬 종류, 밑반찬 종류의 각 항목에 대해 순위별로 나열하여 나이 및 성별을 고려한 주간 식단이 저장될 수 있다.
한편, 사용자가 식사를 마친 후에 휴대용 단말기(100) 내 카메라(110)는 식사 후에 남겨진 식단의 식품/음식 즉, 잔반을 다시 촬영한다.
제어부(120)는 촬영된 식사 후 식품/음식의 제2 영상을 인가받아, 저장부(130)에 임시 저장된 식사 전 식품/음식의 영상과의 차이를 통해 사용자가 섭취한 식품/음식의 종류와 분량을 추정하고, 이에 대한 열량과 영양소를 산출하여 디스플레이부(140)에 표시한다.
이때, 섭취한 식품/음식의 종류와 분량의 추정은 휴대용 단말기(100) 내 카메라(110)의 틸트 기능을 이용하여 식품/음식 용기의 크기, 깊이, 부피를 인지한 한다.
즉, 제어부(120)는 휴대용 단말기(100) 내 카메라(110)가 촬영한 각도가 0 도나 90 도가 아닐 경우 사진 속 위치에 따라 크기가 달라지는 원리와 촬영된 영상 속 기준점 대비 위치에 따른 크기 변화에 대한 소정의 공식에 기초하여, 빅 데이터베이스(210)에 존재하는 모든 식품/음식 용기의 표준 크기, 깊이, 부피를 촬영된 영상 속 기준점에서의 크기, 깊이, 부피로 전환하고 이를 해당 공식에 대입함으로써 촬영된 영상 속 위치에 따른 크기, 깊이, 부피를 산출할 수 있다.
그 후에, 소정의 레이저 판별기(또는 초단파 판별기)(300)는 레이저 또는 마이크로웨이브를 이용하여 식품/음식 용기를 제외하고 식품/음식 용기에 담겨진 식품/음식의 종류 및 부피의 3차원 데이터만을 추출한다.
레이저 판별기가 레이저를 이용하거나 초단파 판별기가 마이크로웨이브를 이용하여 3차원 데이터를 추출하는 기능은 공지된 내용이므로 여기에서는 상세한 설명을 생략한다.
또한, 디스플레이부(140)에 표시되는 사용자의 섭취된 식품/음식명, 분량 등에 오류 등이 있는 경우 사용자가 휴대용 단말기(100)를 통해 수정할 수도 있고, 촬영된 식품/음식의 종류를 정확하게 판별 및 분류하기 위하여 사진 촬영 후 휴대용 단말기(100) 내 마이크(160)의 음성 메모 기능 또는 문자 등의 텍스트 메모 기능을 통하여 식품/음식의 인식도 및 일치도의 정확성을 높일 수 있다.
가공 식품의 경우 포장재 자체의 색깔, 모양, 글씨체 등을 인공 지능(200)의 머신 러닝을 통해 인식하여 빅 데이터베이스(210)로부터 가공 식품의 영양소 정보를 로드(load)해 올 수 있고, 빅 데이터베이스(210)로부터 로드해 올 데이터베이스가 없는 경우에는 휴대용 단말기(100) 내 카메라(110)가 포장재의 영양소 정보를 영상으로 촬영하여 제어부(120)가 식단의 식품/음식의 열량 및 영양소를 판별하는데 영상을 제공할 수 있다.
도 1 및 도 6을 참조하여 본 발명의 제2 실시예에 따른 인공 지능 기반 영상 및 음성 인식 영양 평가 방법의 상세한 동작을 설명하면 다음과 같다.
음성 인식 및 인공 지능을 이용하는 경우
제1 실시예에서와 마찬가지로, 사용자의 휴대용 단말기(100)에는 본 발명의 인공 지능 기반 영상 및 음성 인식 영양 평가 방법을 위한 애플리케이션 프로그램(150)이 탑재되어 있다고 가정한다.
제1 실시예와 다른 점은 제어부(120)가 식사 전 식단의 식품/음식의 종류와 분량을 인식할 필요없이, 식사 후에 섭취된 식단의 식품/음식의 종류와 분량에 대해서만 사용자의 음성을 입력받아 이에 대한 열량과 영양소를 판별한다는 점이다.
즉, 사용자가 식사를 마친 후에 휴대용 단말기(100)의 마이크(160)는 식사 후에 섭취한 식단의 식품/음식의 종류와 분량에 대하여 사용자의 음성을 입력받아 음성 데이터로 변환한다.
휴대용 단말기(100) 내 제어부(120)는 마이크(160)로부터 음성 데이터를 인가받아 사용자가 섭취한 식단의 모든 식품/음식의 종류와 분량을 인식하고, 이에 대한 열량과 영양소를 판별한다.
이때, 식품/음식의 종류 인식은 빅 데이터베이스(210)에 저장된 자료 또는 딥러닝을 통해 인식된 음식 및 재료 분류 리스트를 활용하고, 식품/음식의 분량 인식은 디폴트로 1인분으로 설정한 후에 사용자의 음성을 통해 0.5 인분, 1인분, 2인분 등을 인지한다.
또한, 판별되는 열량은 매 끼니마다 음식 별 칼로리 및 총 섭취 칼로리와 하루 총 섭취 칼로리를 포함한다.
종래의 식단 평가 방법에서는 사용자가 키보드 또는 키패드 등 입력 장치를 통해 자신이 섭취한 식단의 식품/음식의 종류 및 분량을 직접 입력해야 하는 번거로움이 있었는데, 본 발명에서는 휴대용 단말기(100)의 마이크(160) 기능을 통해 사용자의 음성을 간단하게 입력하면 된다.
본 실시예에서도 영상 인식을 이용하는 제1 실시예와 마찬가지로, 식품/음식의 종류와 분량의 인식에, 포털 사이트 검색 엔진을 통한 머신 러닝이 동작하고, 새로운 음식인 경우에는 딥 러닝이 동작하는 인공 지능(200)이 연동된다.
한편, 인공 지능(200)은 당해 식사에서 추정한 섭취된 식품/음식의 종류 및 분량과 열량 및 영양소를 기초로 하여 다음 식사에서 균형 잡힌 건강한 식단을 고려하여 사용자와 대화식으로 식품/음식의 종류와 분량을 추천할 수도 있다.
예를 들어, 빅 데이터베이스(210)에 저장된 식품/음식의 식단 정보 중 인공 지능(200)에 의해 일정 수준 이상의 평가를 받은 식단 및 영양소 섭취량의 부족 또는 불균형 여부를 평가한 식단을 휴대용 단말기(100) 내 디스플레이부(140)에 추천 식단으로서 표시함과 동시에 추천 멘트를 하면서 사용자에게 선택권을 주면, 사용자가 이에 대하여 음성으로 질문 또는 응답함으로써 최종 추천 식단으로 제공할 수 있다.
빅 데이터베이스(210)에 저장된 식품/음식의 식단 정보는 일반적으로 섭취되는 식품과 그에 관련된 영양 정보 및 적절한 식품군의 구분을 포함할 수 있다.
영양 정보는 탄수화물, 단백질, 지방, 무기질, 비타민의 5대 영양소뿐 아니라, 미네랄, 칼슘, 철분, 나트륨, 엽산 및 이들의 조합으로 구성되는 군에서 선택되는 영양소일 수 있고, 식품군은 곡류, 채소, 과일, 유제품, 고기 및 콩류, 지방 및 기름 및 이들의 조합으로 구성되는 군(group) 단위일 수 있다.
예컨대, 사용자의 식단 평가 결과 비타민 A가 부족한 것으로 평가되는 경우 비타민 A를 보충할 수 있는 식품/음식의 식단을 추천할 수 있다.
또한, 인공 지능(200)은 당해 식사에서 산출된 열량과 영양소를 기초로 하여 식이 요법에 관해 특별한 대응을 필요로 하는 만성 질환자나 특정 음식 알레르기가 있는 사용자를 위해 사용자와 대화식으로 식품/음식의 종류와 분량을 추천할 수도 있다.
예를 들어, 빅 데이터베이스(210)에 저장된 식품/음식의 식단 정보 중 인공 지능(200)의 딥 러닝 기능에 의해 학습된 당뇨병, 고혈압, 고지혈증이나 음식 알레르기 등의 기존의 의학적 증상이 있는지 등 몇 개의 기존 병태 및 체질을 고려한 식단을 휴대용 단말기(100) 내 디스플레이부(140)에 추천 식단으로서 표시함과 동시에 추천 멘트를 하면서 사용자에게 선택권을 주면, 사용자가 이에 대하여 음성으로 질문 또는 응답함으로써 최종 추천 식단으로 제공할 수 있다.
예컨대, 식품/음식의 식단에서 당의 양을 제한하여 당뇨병을 가지는 사용자에게 특화시킬 수 있고, 사용자에게 알레르기 반응을 일으키는 특정 식품/음식을 회피할 수 있으며, 비만인 사용자가 섭취하는 열량을 고려하여 추천할 수도 있다.
이를 통하여, 본 발명은 종래의 식단 평가 방법처럼 형식적이고 비현실적인 추천 식단이 아닌 실제 사용자의 영양소 섭취량의 균형을 고려하면서도 사용자의 기호, 건강 상태 및 체질에 맞는 현실적인 식단을 참고하여 맞춤형 식단을 추천함으로써, 사용자로 하여금 건강하고 균형 잡힌 식사를 하는데 도움이 될 수 있다.
이와 같이, 본 발명은 휴대용 단말기의 카메라 기능 및 음성 인식 기능을 활용하여 식사 전후 식품/음식의 영상 또는 사용자의 음성 입력을 인가받아 애플리케이션 프로그램에서 머신 러닝 및 딥 러닝이 동작하는 인공 지능 및 빅 데이터와 연동되어 사용자 친화적이고 정확하게 식단의 영양을 평가할 수 있는 인공 지능 기반 영상 및 음성 인식 영양 평가 방법을 제공한다.
이를 통하여, 사용자가 자신이 섭취한 음식의 종류를 일일이 검색하거나, 섭취한 음식의 분량을 사용자가 직접 입력해야 하는 불편이 없어 사용자 친화적으로 식단의 영양 상태를 평가할 수 있다.
또한, 인공 지능은 빅 데이터베이스를 활용하므로 거의 모든 식단에 대한 열량 및 영양소 정보를 검색할 수 있어, 식단 평가 결과의 정확도 및 신뢰도를 향상시킬 수 있다.
또한, 사용자가 식단을 정확하게 평가 받기에 적합한 영상을 촬영하기 위해 각도나 음식과의 거리 등을 신경 쓸 필요가 없고, 영양사 등의 전문 인력이 불필요하여 간편하고 편리하게 식단 평가 서비스의 실시간성을 생산성 있게 구현할 수 있다.
또한, 형식적이고 비현실적인 추천 식단이 아닌 사용자의 실제 영양소 섭취량의 균형을 고려하면서도 사용자의 기호, 현재 건강 상태 및 체질에 맞는 현실적인 식단을 참고하여 식단을 추천함으로써, 사용자로 하여금 건강하고 균형 잡힌 식사를 하는데 실질적인 도움이 될 수 있다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
100 : 휴대용 단말기
110 : 카메라
120 : 제어부
130 : 저장부
140 : 디스플레이부
150 : 애플리케이션 프로그램
160 : 마이크
200 : 인공 지능
210 : 빅 데이터베이스
300 : 레이저 판별기(초단파 판별기)
110 : 카메라
120 : 제어부
130 : 저장부
140 : 디스플레이부
150 : 애플리케이션 프로그램
160 : 마이크
200 : 인공 지능
210 : 빅 데이터베이스
300 : 레이저 판별기(초단파 판별기)
Claims (14)
- 카메라, 제어부, 저장부, 마이크 및 디스플레이부를 구비하는 휴대용 단말기를 이용한 영상 및 음성 인식 영양 평가 방법에 있어서,
(a) 상기 카메라가 식사 전 식단의 식품 또는 음식을 촬영하는 단계;
(b) 상기 제어부가 상기 촬영된 식사 전 식단의 식품 또는 음식의 제1 영상을 인가받아 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하고, 열량 및 영양소를 판별하는 단계;
(c) 상기 저장부가 상기 인식된 식사 전 식단의 식품 또는 음식의 종류 및 분량과 상기 판별된 열량 및 영양소를 임시 저장하는 단계;
(d) 식사 종료시 상기 카메라가 식사 후 식단의 식품 또는 음식을 촬영하는 단계;
(e) 상기 제어부가 촬영된 상기 식사 후 식단의 식품 또는 음식의 제2 영상을 인가받아 상기 임시 저장된 식사 전 식단의 식품 또는 음식의 종류 및 분량과의 차이를 산출하여 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계; 및
(f) 상기 제어부가 추정한 상기 섭취된 식품 또는 음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 산출하여 상기 디스플레이부에 표시하는 단계;
를 포함하고,
상기 식사 전 식단의 식품 또는 음식의 종류 및 분량의 인식은 검색 엔진을 통한 인공 지능의 머신 러닝이 동작하고, 검색되지 않는 식품 또는 음식인 경우에는 딥 러닝이 동작하며,
상기 (b) 단계에서
상기 식단의 식품 또는 음식의 종류가 가공 식품의 경우,
머신 러닝이 상기 가공 식품의 포장재 색깔, 모양 및 글씨체를 인식하여 빅 데이터베이스로부터 상기 가공 식품의 영양소 정보를 로드해 오는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 1 항에 있어서,
상기 (b) 단계는
상기 마이크의 음성 메모 기능을 이용하여 사용자의 음성 입력을 인식하여 상기 촬영된 식사 전 식단의 식품 또는 음식의 영상과 매핑되어 상기 제어부가 상기 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하는 단계;
를 더 포함하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 1 항에 있어서,
상기 (b) 단계는
상기 휴대용 단말기의 텍스트 메모 기능을 이용하여 사용자의 텍스트 입력을 인식하여 상기 촬영된 식사 전 식단의 식품 또는 음식의 영상과 매핑되어 상기 제어부가 상기 식사 전 식단의 식품 또는 음식의 종류 및 분량을 인식하는 단계;
를 더 포함하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 삭제
- 제 1 항에 있어서,
상기 빅 데이터베이스에 상기 영양소 정보가 없는 경우,
상기 카메라가 상기 가공 식품의 포장재에 기재된 영양소 정보를 촬영하여 상기 제어부가 상기 식단의 식품 또는 음식의 열량 및 영양소를 판별하는데 영상을 제공하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 1 항에 있어서,
상기 (e) 단계는
상기 카메라의 틸트 기능을 이용하여 식품 또는 음식 용기의 크기, 깊이 및 부피를 인지하는 단계; 및
레이저 판별기의 레이저 또는 초단파 판별기의 마이크로웨이브를 이용하여 상기 식품 또는 음식 용기를 제외한 상기 식품 또는 음식 용기에 담겨진 식품 또는 음식의 종류 및 부피의 3차원 데이터만을 추출하여 상기 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계;
를 더 포함하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 1 항에 있어서,
상기 딥 러닝 동작은
상기 인공 지능이 딥 러닝 알고리즘을 사용하여 실시간으로 입력되는 식품 또는 음식 정보로 판단 기준을 설정하고 실시간으로 빅 데이터베이스에 저장되는 데이터를 업데이트하는 단계; 및
상기 업데이트되는 데이터로부터 식품 또는 음식 정보를 자동으로 인지하여 상기 제어부에 제공하는 단계;
를 포함하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 7 항에 있어서,
상기 빅 데이터베이스에 저장되는 데이터는
계절별 음식 데이터, 음식별 칼로리 데이터, 효능 분석 데이터 및 영양소 관리 데이터를 포함하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 카메라, 제어부, 저장부, 마이크 및 디스플레이부를 구비하는 휴대용 단말기를 이용한 영상 및 음성 인식 영양 평가 방법에 있어서,
(a) 상기 마이크가 식사 후 식단의 식품 또는 음식의 종류 및 분량에 대하여 사용자의 음성을 입력받아 음성 데이터로 변환하는 단계;
(b) 상기 제어부가 상기 음성 데이터를 전달받아 섭취된 식품 또는 음식의 종류와 분량을 추정하는 단계; 및
(c) 상기 제어부가 추정한 상기 섭취된 식품 또는 음식의 종류와 분량에 대한 데이터를 인가받아 열량과 영양소를 판별하여 상기 디스플레이부에 표시하는 단계;
를 포함하고,
상기 식단의 식품 또는 음식의 종류 및 분량의 추정은 검색 엔진을 통한 인공 지능의 머신 러닝이 동작하고, 검색되지 않는 식품 또는 음식인 경우에는 딥 러닝이 동작하며,
상기 (b) 단계에서
상기 식단의 식품 또는 음식의 종류가 가공 식품의 경우,
머신 러닝이 상기 가공 식품의 포장재 색깔, 모양 및 글씨체를 인식하여 빅 데이터베이스로부터 상기 가공 식품의 영양소 정보를 로드해 오는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 9 항에 있어서,
상기 (a) 단계는
식사 종료시 상기 마이크 대신 상기 카메라가 상기 식사 후 식단의 식품 또는 음식을 촬영하여 상기 식사 후 식단의 식품 또는 음식의 영상을 상기 제어부에 제공하고, 상기 제어부가 상기 섭취된 식품 또는 음식의 종류와 분량을 추정할 수 있는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 9 항에 있어서,
상기 인공 지능은
당해 식사에서 추정된 상기 섭취된 식품 또는 음식의 종류 및 분량과 열량 및 영양소를 기초로 하여 다음 식사에서 균형 식단을 고려하여 사용자와 대화식으로 식품 또는 음식의 종류와 분량을 추천하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 9 항에 있어서,
상기 인공 지능은
당해 식사에서 추정된 상기 섭취된 식품 또는 음식의 종류 및 분량과 열량 및 영양소를 기초로 하여 만성 질환자나 특정 음식 알레르기가 있는 사용자의 식이 요법에 관해 사용자와 대화식으로 식품 또는 음식의 종류와 분량을 추천하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 9 항에 있어서,
상기 식단의 식품 또는 음식의 종류의 추정은,
빅 데이터베이스에 저장된 자료 또는 딥러닝을 통해 인식된 음식 및 재료 분류 리스트를 활용하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
- 제 9 항에 있어서,
상기 판별되는 열량은
매 끼니마다 음식 별 칼로리 및 총 섭취 칼로리와 하루 총 섭취 칼로리를 포함하는 것을 특징으로 하는,
인공 지능 기반 영상 및 음성 인식 영양 평가 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170049119A KR101959762B1 (ko) | 2017-04-17 | 2017-04-17 | 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170049119A KR101959762B1 (ko) | 2017-04-17 | 2017-04-17 | 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180116779A KR20180116779A (ko) | 2018-10-26 |
| KR101959762B1 true KR101959762B1 (ko) | 2019-07-05 |
Family
ID=64099060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170049119A KR101959762B1 (ko) | 2017-04-17 | 2017-04-17 | 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101959762B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210052823A (ko) | 2019-11-01 | 2021-05-11 | 이혜민 | 신장 질환자를 위한 조언 캐릭터와 유저 아바타를 통한 지속적인 식습관 개선 방법 |
| KR102679091B1 (ko) * | 2021-07-29 | 2024-06-26 | 동의대학교 산학협력단 | 요리 맞춤형 정수량 제어 시스템 및 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200064508A (ko) * | 2018-11-29 | 2020-06-08 | 울산과학기술원 | 식품 영양소 섭취량 분석 장치 및 그 방법 |
| EP3848870A1 (en) | 2020-01-13 | 2021-07-14 | Koninklijke Philips N.V. | Nutritional value calculation of a dish |
| US11594317B2 (en) * | 2020-05-28 | 2023-02-28 | Kpn Innovations, Llc. | Methods and systems for determining a plurality of nutritional needs to generate a nutrient supplementation plan using artificial intelligence |
| GR1010356B (el) | 2022-03-28 | 2022-12-13 | Εθνικο Κεντρο Ερευνας Και Τεχνολογικης Αναπτυξης-(Ε.Κ.Ε.Τ.Α), | Μεθοδος εκτιμησης ρυθμου καταποσης τροφης μεσω καμερας φορητης συσκευης |
| KR102473072B1 (ko) | 2022-08-25 | 2022-12-01 | 주식회사 두잉랩 | 인공지능 기반의 영상 인식 및 증강현실을 이용한 식기 크기 측정 및 영양정보 제공 시스템 및 방법 |
| KR102591973B1 (ko) * | 2023-04-24 | 2023-10-24 | (주)파밀리데이터 | 시니어 돌봄서비스 제공 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007018234A (ja) | 2005-07-07 | 2007-01-25 | National Institute Of Information & Communication Technology | 感情表現語句辞書自動生成方法及び装置、並びにテキストに対する感情尺度評価値自動付与方法及び装置 |
| KR101334196B1 (ko) | 2010-10-28 | 2013-11-28 | (주)아크릴 | 지능형 감성 추론장치 및 그 추론방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001216133A (ja) * | 2000-01-31 | 2001-08-10 | Tanita Corp | 音声認識カロリー管理装置 |
| KR20140089729A (ko) * | 2013-01-07 | 2014-07-16 | 재단법인 아산사회복지재단 | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 |
| KR20140103738A (ko) * | 2013-02-19 | 2014-08-27 | 이화여자대학교 산학협력단 | 섭취 영양소 연산 및 평가 방법 |
| KR101640826B1 (ko) | 2014-11-26 | 2016-07-20 | 한국식품연구원 | 개인형질 맞춤형 식이성분 정보 제공을 위한 식품평가 시스템 및 방법 |
-
2017
- 2017-04-17 KR KR1020170049119A patent/KR101959762B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007018234A (ja) | 2005-07-07 | 2007-01-25 | National Institute Of Information & Communication Technology | 感情表現語句辞書自動生成方法及び装置、並びにテキストに対する感情尺度評価値自動付与方法及び装置 |
| KR101334196B1 (ko) | 2010-10-28 | 2013-11-28 | (주)아크릴 | 지능형 감성 추론장치 및 그 추론방법 |
Non-Patent Citations (1)
| Title |
|---|
| 텍스트 문서기반의 감성인식시스템, 김명규 외3인, 감성과학 Vol.12, No.4 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210052823A (ko) | 2019-11-01 | 2021-05-11 | 이혜민 | 신장 질환자를 위한 조언 캐릭터와 유저 아바타를 통한 지속적인 식습관 개선 방법 |
| KR102679091B1 (ko) * | 2021-07-29 | 2024-06-26 | 동의대학교 산학협력단 | 요리 맞춤형 정수량 제어 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180116779A (ko) | 2018-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101959762B1 (ko) | 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 | |
| US9977980B2 (en) | Food logging from images | |
| Aguilar et al. | Grab, pay, and eat: Semantic food detection for smart restaurants | |
| US9734426B2 (en) | Automated food recognition and nutritional estimation with a personal mobile electronic device | |
| US20120183932A1 (en) | Location-Aware Nutrition Management | |
| AU2019200007A1 (en) | Electronic device and method for processing information associated with food | |
| KR20190096851A (ko) | 비전 인식 기반의 조리기 제어 방법 및 제어 장치 | |
| KR20230161924A (ko) | 급식소 관리 장치, 방법 및 프로그램 | |
| KR20210099876A (ko) | 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법 | |
| KR102506472B1 (ko) | 인공지능 기반 초개인화 맞춤형 식품 구매 추천 서비스 제공 방법, 장치 및 시스템 | |
| CN112951373A (zh) | 一种食材推荐方法、设备、智能冰箱和智能终端 | |
| Sudo et al. | Machine learning–based screening of healthy meals from image analysis: System development and pilot study | |
| Zhang et al. | From market to dish: Multi-ingredient image recognition for personalized recipe recommendation | |
| KR102530527B1 (ko) | 건강 정보 기반 식당 추천 서비스 제공 방법, 장치 및 시스템 | |
| KR102405677B1 (ko) | 인공지능을 이용한 이미지 인식 기반 맞춤형 건강기능식품 정보를 제공하는 방법, 장치 및 시스템 | |
| US20220327361A1 (en) | Method for Training Joint Model, Object Information Processing Method, Apparatus, and System | |
| KR20190048922A (ko) | 스마트 테이블 및 스마트 테이블의 제어방법 | |
| CN112487226A (zh) | 图片分类模型获取方法、装置、电子设备及可读存储介质 | |
| KR102565229B1 (ko) | 인공지능 모델을 활용한 사용자 맞춤형 영양 보충 식품 스케쥴링 및 주문 플랫폼 서비스 제공 방법, 장치 및 시스템 | |
| WO2024061347A1 (en) | A meal plan generating method, apparatus, and computer implemented algorithm thereof | |
| Monalisa et al. | Dia-Glass: a calorie-calculating spectacles for diabetic patients using augmented reality and faster R-CNN | |
| KR20230111290A (ko) | 음식 이미지 분석에 기초한 영양소 분석 및 음식 추천 플랫폼 시스템 | |
| KR20230120697A (ko) | 청소년 성장 및 기저질환 환자의 식단 관리 시스템 | |
| Jain et al. | Diet Recommendation using Predictive Learning Approaches | |
| US20230162617A1 (en) | Indication-dependent nutrient calculation and preservation platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| J206 | Request for trial to confirm the scope of a patent right |