KR20230139184A - 인공지능 기반 식사 모니터링 방법 및 장치 - Google Patents
인공지능 기반 식사 모니터링 방법 및 장치 Download PDFInfo
- Publication number
- KR20230139184A KR20230139184A KR1020220037529A KR20220037529A KR20230139184A KR 20230139184 A KR20230139184 A KR 20230139184A KR 1020220037529 A KR1020220037529 A KR 1020220037529A KR 20220037529 A KR20220037529 A KR 20220037529A KR 20230139184 A KR20230139184 A KR 20230139184A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- class
- foods
- list
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000013473 artificial intelligence Methods 0.000 title claims description 12
- 235000005686 eating Nutrition 0.000 title claims description 11
- 235000013305 food Nutrition 0.000 claims abstract description 238
- 235000012054 meals Nutrition 0.000 claims abstract description 86
- 238000012806 monitoring device Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 13
- 235000005911 diet Nutrition 0.000 claims description 7
- 230000037213 diet Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 241000209094 Oryza Species 0.000 description 29
- 235000007164 Oryza sativa Nutrition 0.000 description 29
- 235000009566 rice Nutrition 0.000 description 29
- 235000015277 pork Nutrition 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 241001474374 Blennius Species 0.000 description 9
- 235000014347 soups Nutrition 0.000 description 9
- 235000013527 bean curd Nutrition 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 235000015067 sauces Nutrition 0.000 description 6
- 241000238413 Octopus Species 0.000 description 5
- 235000006694 eating habits Nutrition 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 208000008589 Obesity Diseases 0.000 description 3
- 206010033307 Overweight Diseases 0.000 description 3
- 235000015097 nutrients Nutrition 0.000 description 3
- 235000020824 obesity Nutrition 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 241000371652 Curvularia clavata Species 0.000 description 1
- 241000257465 Echinoidea Species 0.000 description 1
- 240000005979 Hordeum vulgare Species 0.000 description 1
- 235000007340 Hordeum vulgare Nutrition 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 241000237536 Mytilus edulis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000015278 beef Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 235000015872 dietary supplement Nutrition 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000021186 dishes Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000020803 food preference Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 235000020638 mussel Nutrition 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Nutrition Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 식사 모니터링 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 식사 모니터링 방법은 기저장된 식단표를 분석하여 음식정보를 생성하는 단계; 적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득하는 단계; 상기 생성된 음식정보를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하는 단계; 및 상기 분류된 적어도 하나의 음식을 기반으로 식사정보를 생성 및 저장하는 단계;를 포함하며, 상기 음식정보를 생성하는 단계는, 상기 기저장된 식단표로부터 음식리스트를 추출하는 단계; 기저장된 분류테이블을 기반으로 상기 추출된 음식리스트를 세분화하는 단계; 및 상기 세분화된 음식리스트를 음식정보로서 생성하는 단계;를 포함할 수 있다.
Description
본 발명은 인공지능 기반 식사 모니터링 방법 및 장치에 관한 것으로, 보다 상세하게는 식단표에 포함된 음식을 세분화하여 보다 정확한 식사정보를 기록할 수 있도록 하는 인공지능 기반 식사 모니터링 방법 및 장치에 관한 것이다.
최근 들어 건강에 대한 관심이 높아지고 있으나 반면에 과체중이나 비만으로 고통받는 사람들도 점차 증가하고 있다. 이러한 과체중이나 비만은 당뇨, 고혈압 등 각종 질환의 원인이 되는 심각한 문제이다.
따라서, 이와 같은 과체중이나 비만을 해결하기 위해서는 자신의 식습관을 분석하는 것이 선행되어야 한다. 일반적으로 본인의 호불호 음식에 대해 알고 있지만 실제로 섭취하는 음식의 종류와 횟수를 기억하지는 못한다. 따라서, 자신의 식습관을 분석하기 위해 실제로 섭취하는 음식을 파악하고, 파악한 음식에 대한 정보에 따라 개인의 식습관을 분석할 필요가 있다.
다만, 실제로 섭취하는 음식을 파악하기 위해서 이용자가 모바일 장치를 이용하여 음식정보를 입력하여야 하는데, 이러한 행위로 인하여 이용자의 불편이 가중됨으로써 개인의 식습관을 분석하는 서비스에 대한 만족도가 저하되고 있는 실정이다.
때문에, 자동 또는 수동으로 촬영된 이미지를 기반으로 음식을 자동으로 인식하여 음식정보를 자동 생성하여 식사정보로서 기록하는 기술이 개발되는 추세이기는 하지만, 이미지만으로 음식을 자동으로 인식하기에는 어려움이 있다.
따라서, 자동 또는 수동으로 촬영된 이미지를 기반으로 이용자가 실제 섭취한 음식을 보다 정확하게 인식 또는 분류하여 신뢰성이 높은 식사정보를 기록할 수 있도록 하는 기술이 개발될 필요가 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 자동 또는 수동으로 촬영된 이미지를 기반으로 이용자가 실제 섭취한 음식을 보다 정확하게 인식 또는 분류하여 신뢰성이 높은 식사정보를 기록할 수 있도록 하는 식사 모니터링 장치 및 방법을 제공함에 있다.
또한, 본 발명은 식단표에는 없지만 그 식단표에 기재된 음식리스트를 기반으로 이용자가 섭취 가능한 음식까지 세분화하여 식단표에 기재되지 않은 음식까지 포함시킴으로써, 자동 또는 수동으로 촬영된 이미지를 분석할 시에 불필요한 검색을 방지할 수 있도록 하는 식사 모니터링 장치 및 방법을 제공함에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 식사 모니터링 방법은, 기저장된 식단표를 분석하여 음식정보를 생성하는 단계; 적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득하는 단계; 상기 생성된 음식정보를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하는 단계; 및 상기 분류된 적어도 하나의 음식을 기반으로 식사정보를 생성 및 저장하는 단계;를 포함하며, 상기 음식정보를 생성하는 단계는, 상기 기저장된 식단표로부터 음식리스트를 추출하는 단계; 기저장된 분류테이블을 기반으로 상기 추출된 음식리스트를 세분화하는 단계; 및 상기 세분화된 음식리스트를 음식정보로서 생성하는 단계;를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 식사 모니터링 장치는, 통신모듈; 적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득하는 촬영모듈; 식단을 모니터링 하기 위해 필요한 각종 정보 또는 데이터, 및 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 적어도 하나의 프로세스를 기반으로 상기 식단을 모니터링 하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 기저장된 식단표를 분석하여 음식정보를 생성하고, 적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득되면, 상기 생성된 음식정보를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하고, 상기 분류된 적어도 하나의 음식을 기반으로 식사정보를 생성 및 저장하며, 상기 음식정보를 생성할 시, 상기 기저장된 식단표로부터 음식리스트를 추출하고, 기저장된 분류테이블을 기반으로 상기 추출된 음식리스트를 세분화한 후, 상기 세분화된 음식리스트를 음식정보로서 생성할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 의하면, 자동 또는 수동으로 촬영된 이미지를 기반으로 이용자가 실제 섭취한 음식을 보다 정확하게 인식 또는 분류하여 신뢰성이 높은 식사정보를 기록할 수 있도록 한다.
또한, 본 발명에 의하면, 또한, 본 발명은 식단표에는 없지만 그 식단표에 기재된 음식리스트를 기반으로 이용자가 섭취 가능한 음식까지 세분화하여 식단표에 기재되지 않은 음식까지 포함시킴으로써, 자동 또는 수동으로 촬영된 이미지를 분석할 시에 불필요한 검색을 방지할 수 있도록 한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 촬영 장치를 이용하여 식판을 촬영한 일 예시를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 식사 모니터링 시스템의 네트워크 구조를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 식사 모니터링 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 식사 모니터링 방법을 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 식사 모니터링 방법에서 음식정보를 생성하는 구체적인 동작을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 기저장된 분류테이블에 포함될 수 있는 믹스 클래스 및 서브 클래스의 일 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 기저장된 식단표 및 세분화된 음식리스트에 포함된 음식들 간 연관 관계를 나타내기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 식사 모니터링 시스템의 네트워크 구조를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 식사 모니터링 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 식사 모니터링 방법을 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 식사 모니터링 방법에서 음식정보를 생성하는 구체적인 동작을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 기저장된 분류테이블에 포함될 수 있는 믹스 클래스 및 서브 클래스의 일 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 기저장된 식단표 및 세분화된 음식리스트에 포함된 음식들 간 연관 관계를 나타내기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 촬영 장치를 이용하여 식판을 촬영한 일 예시를 나타내는 도면이다.
이용자의 식사를 모니터링 하기 위해서는 급식소, 식당 또는 가정 내에서 이용자가 식사하고자 하는 음식이 담긴 식판(식기)를 자동 또는 수동으로 촬영하게 된다.
이용자가 사진을 촬영하고 음식정보를 직접 입력하는 경우에는 문제되지 않겠지만, 그 촬영된 이미지만으로 이용자가 섭취한 음식을 확인하여 음식정보를 생성하는 경우에는 정보가 부족하여 인식이 되지 않거나 분류가 어려운 음식은 잘못 분류될 우려가 있다.
급식소의 경우에는 미리 식단표가 제공되기 때문에, 그 식단표를 미리 저장하여 분석에 이용하도록 함으로써 이용자의 식사를 모니터링 할 수도 있지만, 그렇다하더라도 이용자의 배식 형태 또는 섭취 형태에 따라 분석 내용이 달라질 수 있기 때문에 정확한 분석은 어려울 수 있다.
도 1(a)에 도시된 바와 같이, 실제 식단표에는 쭈꾸미볶음이 기재되어 있으나, 이용자가 배식 시에 밥 위에 쭈꾸미볶음을 얹어 쭈꾸미덮밥으로 제공받은 경우, 이용자가 실제 섭취한 음식은 쭈꾸미덮밥이지만, 식단표만을 기반으로 한다면 쭈꾸미볶음을 섭취한 것으로 기록될 수 있다.
또한, 도 1(b)에 도시된 바와 같이, 실제 식단표에는 돈가스가 기재되어 있으나, 이용자는 돈가스와 함께 돈가스 소스를 더 제공받을 수 있는데, 이 경우 돈가스만을 섭취한 것으로 기록될 뿐, 돈가스 소스에 대해서는 음식정보로서 반영되지 않아, 실제 섭취 열량이나 섭취 영양소 간에 차이가 있을 수 있다.
따라서, 이러한 상황들을 모두 고려할 수 있도록 하기 위해서, 기저장된 식단표를 기반으로 하되, 인공지능 기반 머신러닝 모델을 이용하여 그 식단표에 기재된 음식리스트로부터 이용자가 섭취 가능한 음식까지 세분화하고, 그 세분화된 음식리스트를 이용하여 촬영된 이미지에 포함된 음식을 확인하도록 한다.
이때, 촬영된 이미지는 식기를 포함한 이미지로서, 적어도 하나의 이용자가 식사하는 식사공간(예를 들어, 급식소, 식당) 내에 설치된 적어도 하나의 촬영 장치를 통해 촬영된 이미지일 수도 있고, 이용자가 자신의 단말인 이용자 단말(300)을 이용하여 직접 촬영한 이미지일 수도 있다. 다만, 이하에서는 설명의 편의를 위하여, 적어도 하나의 이용자가 식사하는 식사공간 내에 설치된 적어도 하나의 촬영 장치를 통해 촬영된 이미지를 이용한 경우로 한정하여 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 식사 모니터링 시스템의 네트워크 구조를 나타내는 도면이다.
도 2를 참조하면, 식사 모니터링 시스템(10)은 식사 모니터링 장치(100), 서비스 서버(200) 및 이용자 단말(300)을 포함하여 구성될 수 있다.
식사 모니터링 장치(100)는 식단표가 입력되면, 인공지능 기반 머신러닝 모델을 이용하여 기저장된 식단표에 기재된 음식리스트를 세분화함으로써 음식정보를 생성한다. 즉, 음식정보에는 세분화된 음식리스트가 포함될 수 있다.
여기서, 식단표에는 적어도 하나의 음식리스트가 포함될 수 있으며, 그 식단표 내에서 날짜 정보 및 시간 정보를 기반으로 적합한 어느 하나의 음식리스트를 선택하여 이용하도록 할 수 있다.
이후, 식사 모니터링 장치(100)는 그 식단표를 기반으로 운영되며 적어도 하나의 이용자가 식사하는 식사공간 내에 설치된 적어도 하나의 촬영 장치를 통해 각 이용자가 들고 있거나, 이용자 앞에 놓여있는 식판(식기)을 포함하는 이미지를 획득하고, 그 획득된 이미지와 세분화된 음식리스트를 이용하여 이용자의 식사정보를 생성 및 저장한다.
이때, 식사정보는 획득된 이미지는 물론, 이용자의 식사 장소, 섭취 음식, 섭취량, 잔반량, 식사시간 등에 대한 정보가 포함될 수 있다.
식사 모니터링 장치(100)는 식사 모니터링 서비스를 제공하기 위해 식사정보를 서비스 서버(200)로 송신하여 분석하도록 한다.
서비스 서버(200)는 식사 모니터링 장치(100)로부터 식사정보가 수신되면, 그 식사정보를 분석하고, 그 분석결과로서 분석정보를 플랫폼 상에 업로드 하여 이용자가 이를 확인하도록 할 수 있다.
이때, 분석정보는 이용자가 섭취한 음식리스트, 섭취량, 섭취 열량, 섭취 영양소, 음식 선호도, 보완이 필요한 영양소 및 추천 영양제 등에 대한 정보를 포함할 수 있으나, 필요에 따라 일부 정보를 제외하거나, 그 외 다른 정보둘을 더 추가할 수도 있는 것으로, 이를 한정하지는 않는다.
이용자 단말(300)은 식사 모니터링 서비스를 이용하기 위한 이용자 자산의 단말이다. 이때, 이용자 단말(300)은 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera), 기타 이동통신 단말 등일 수 있다. 이로써, 이용자 단말(300)은 식사 모니터링 서비스를 제공받기 위해 별도의 프로그램 또는 어플리케이션을 설치해야할 수 있다. 즉, 이용자는 이용자 단말(300)을 통해 별도의 프로그램 또는 어플리케이션을 통해 플랫폼 상에 자신에 대한 각종 정보들을 입력할 수 있을 뿐만 아니라, 자신에 대한 분석정보를 제공받음으로써 식사 모니터링 서비스를 이용할 수 있다. 그러나, 이는 하나의 실시예일 뿐, 웹페이지에 접속함으로써 식사 모니터링 서비스를 이용할 수도 있다.
한편, 도 3은 하나의 실시예에 해당하는 것으로, 식사 모니터링 장치(100) 자체가 서비스 서버(200)일 수 있으며, 이 경우 식사 모니터링 장치(100)가 앞서 설명한 서비스 서버(200)의 동작을 수행할 수 있다. 다만, 이 경우에는 적어도 하나의 이용자가 식사를 하는 식사공간 내에 설치된 별도의 촬영 장치를 통해 촬영을 수행하도록 하고, 그 촬영된 이미지를 촬영 직후 또는 미리 설정된 주기 마다 제공받아 이용하도록 할 수 있다. 또한, 이용자가 이용자 단말(300)을 통해 직접 촬영을 수행하는 경우, 그 촬영된 이미지를 촬영 후 직접 플랫폼 상에 업로드 하거나, 촬영이 되면 식판(식기)가 포함된 이미지는 자동으로 플랫폼 상에 업로드 되도록 함으로써, 그 촬영된 이미지를 제공받아 이용하도록 할 수 있다.
도 3은 본 발명의 실시예에 따른 식사 모니터링 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 식사 모니터링 장치(100)는 통신모듈(110), 촬영모듈(130), 저장모듈(150) 및 제어모듈(170)를 포함할 수 있다.
통신모듈(110)은 이용자의 단말과 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 식사 모니터링 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 식사 모니터링 장치(100)와 이용자 단말(300) 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
촬영모듈(130)은 적어도 하나의 촬영 장치를 포함하며, 그 식사공간 이내에 적어도 하나의 촬영 장치가 설치되어 적어도 하나의 이용자가 식사하는 동안, 식사 전 및 후의 이미지를 촬영할 수 있다. 이, 촬영모듈(130)은 배식라인 또는 식사가 이뤄지는 테이블의 상측 전장에 설치될 수 있으며, 그 설치 형태는 한정되지 않는다. 즉, 촬영모듈(130)은 이용자의 식기(식판)이 촬영될 수 있는 장소라면 어디든지 설치되어 촬영을 통해 이미지를 획득할 수 있다. 또한, 촬영모듈(130)은 식사공간을 관리하는 관리자가 필요에 따라 이동시켜가며 사용하도록 할 수 있다.
이때, 적어도 하나의 촬영 장치는 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서, 어레이(array) 카메라 중 적어도 하나를 포함할 수 있으며, 영상(이미지) 정보와 깊이 정보를 측정할 수 있다면 그 구성에 제한이 없다. 또한, 복수의 카메라가 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스트레오 구조로 배치될 수도 있다.
저장모듈(150)은 다양한 형태의 저장소를 통칭하는 모듈로서, 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 저장모듈(150)은 다양한 머신러닝 모델을 저장할 수 있는데, 그 머신러닝 모델들은 작업 데이터뿐만 아니라 새로운 입력 데이터에 대하여 결과값을 추론해내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이 저장모듈(150)은 식사 모니터링 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 식사 모니터링 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 식사 모니터링 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 저장모듈(150)에 저장되고, 식사 모니터링 장치(100) 상에 설치되어, 제어모듈(170)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어모듈(170)은 응용 프로그램과 관련된 동작 외에도, 통상적으로 식사 모니터링 장치(100)의 전반적인 동작을 제어한다. 제어모듈(170)은 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장모듈(150)에 저장된 응용 프로그램을 구동함으로써, 이용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
구체적으로, 제어모듈(170)은 인공지능 기반 머신러닝 모델을 기반으로 기저장된 식단표를 분석하여 음식정보를 생성하고, 적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득되면, 앞서 생성된 음식정보를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류한 후, 그 분류된 적어도 하나의 음식을 기반으로 식사정보를 생성 및 저장한다.
특히, 제어모듈(170)은 인공지능 기반 머신러닝 모델을 기반으로 기저장된 식단표를 분석하여 음식정보를 생성할 시, 기저장된 식단표로부터 음식리스트를 추출하고, 기저장된 분류테이블을 기반으로 상기 추출된 음식리스트를 세분화함으로써, 그 세분화된 음식리스트를 음식정보로서 생성한다.
여기서, 기저장된 식단표는 식당 또는 급식소로부터 제공받은 적어도 하나의 음식리스트를 포함할 수 있으며, 각각의 음식리스트에는 해당 날짜 및 해당 시간대에 제공되는 음식들이 나열되어 기재되어 있을 수 있다.
이때, 기저장된 식단표에 포함된 메뉴 이름에는 다양한 수식어가 적용(사용)될 수 있기 때문에, 기저장된 식단표로부터 음식리스트를 추출할 시, 빅데이터 및/또는 워드 임베딩(word2vec)을 기반으로 일반적인 메뉴 명칭으로 변환하는 동작을 더 수행할 수 있다. 여리서, 일반적인 메뉴 명칭은 기저장된 분류테이블에 포함된 기본 클래스의 명칭이거나, 그 기본 클래스에 대응하는 메뉴 명칭일 수 있다(기본 클래스의 명칭과 그 기본 클래스에 대응하는 메뉴의 명칭은 상이할 수 있기 때문에).
또한, 기저장된 분류테이블은 머신러닝 모델에 미리 설정된 개수의 이미지를 학습데이터로서 입력하여 복수의 음식들 각각에 대한 클래스를 학습함으로써 생성된 테이블이며, 복수의 음식 각각을 식별하기 위한 적어도 하나의 클래스를 포함한다. 나아가, 기저장된 분류테이블은 복수의 음식 각각에 대해 믹스 클래스 및 서브 클래스 중 적어도 하나로 관계가 정의될 수 있다.
이때, 믹스 클래스는 적어도 하나의 다른 음식이 더 조합되어 만들어질 수 있는 음식을 분류하기 위한 클래스이고, 서브 클래스는 적어도 두 개의 음식으로 분리되어 만들어질 수 있는 음식을 분류하기 위한 클래스일 수 있다. 이 믹스 클래스 및 서브 클래스에 대해서는 이하에서 도 6을 참조하여 일 예시를 통해 구체적으로 설명하도록 한다.
다시 말해, 제어모듈(170)은 기저장된 분류테이블을 이용하여 기저장된 식단표로부터 확인된 음식리스트에 포함된 음식들의 믹스 클래스 또는 서브 클래스 여부에 따라 음식리스트를 세분화한다. 즉, 음식리스트에 포함된 음식들 중 믹스 클래스에 해당하는 음식, 즉, 하나의 음식을 복수개의 음식으로 분리하여 기재하고, 서브 클래스에 해당하는 음식에 대해서는 대응하는 음식을 추가하여 기재한다. 이로써, 세분화된 음식리스트를 획득하게 된다. 이, 제어모듈(170)은 추출된 음식리스트 및 세분화된 음식리스트에 포함된 음식들 간 연관 관계를 더 정의해줄 수 있다.
한편, 제어모듈(170)은 음식정보에 포함된 세분화된 음식리스트를 기반으로 획득된 이미지 내에 포함된 적어도 하나의 음식을 분류할 시, 각각의 음식에 대한 라벨링을 수행한다. 구체적으로, 기저장된 분류테이블을 기반으로 각 음식에 대한 클래스를 확인하고, 그 클래스를 획득된 이미지 상에 태깅하도록 할 수 있다.
이후, 제어모듈(170)은 라벨링된 이미지를 새로운 학습데이터로 저장하고, 새로운 학습데이터가 미리 설정된 개수에 도달하면, 머신러닝 모델에 그 저장된 새로운 학습데이터들을 입력하여 복수의 음식 각각에 대한 클래스를 재학습함으로써 기저장된 분류테이블을 갱신할 수 있다. 즉, 충분한 라벨링 이미지가 수집됨에 따라, 기존의 기저장된 분류테이블에 포함되어 있는 클래스 또한 더욱 작은 개념의 클래스로 세분화될 수 있다. 그러나, 작은 개념의 클래스는 필요에 따라 동일한 카테고리의 항목으로 묶어 이를 통칭할 수 있는 상위개념의 하나의 그룹으로 이용할 수도 있다.
예를 들어, 기저장된 분류테이블에 미역국 클래스가 존재하였고, 시간이 지남에 따라 라벨링된 이미지 중 미역국을 포함하는 이미지가 미리 설정된 개수에 도달하면, 그 미리 설정된 개수의 라벨링된 이미지를 이용하여 미역국 클래스에 대한 재학습을 수행하는 것이다. 이로써, 기존의 미역국 클래스는 소고기 미역국, 참치 미역국, 홍합 미역국, 바지락 미역국 및 성게 미역국 등으로 그 클래스가 더 세분화될 수 있다.
구체적으로, 제어모듈(170)은 해당 식단표로부터 추출된 메뉴 각각에 대해 기저장된 분류테이블 내에 존재하는 클래스를 매칭(확인)하는데, 해당 메뉴가 기저장된 분류테이블 내에 존재하는 클래스 보다 하위 개념으로 판단되는 경우, 해당 메뉴를 기저장된 분류테이블 내에 존재하는 클래스로 분류하되, 그 클래스의 하위 클래스로서 추가할 수 있다. 다만, 그 추가된 하위 클래스를 바로 적용하여 사용하지는 않고, 그 하위 클래스에 해당하는 이미지의 개수가 미리 설정된 개수에 도달하면, 그 저장된 이미지들을 기반으로 학습을 수행한 후, 기저장된 분류테이블에 추가하여 이용하도록 한다.
이때, 하위 클래스를 기저장된 분류테이블에 추가할 시, 하위 클래스 보다 큰 개념의 클래스에 종속되도록 추가한다. 가장 큰 개념의 클래스의 기본 클래스에는 복수개의 하위 클래스가 종속될 수 있으며, 하위 클래스 또한 보다 더 하위 개념의 클래스를 포함할 수 있으며, 그 개수를 한정하지는 않는다. 여기서, 기본 클래스는 해당 메뉴를 일반적으로 부르는 가장 큰 개념의 명칭일 수 있다.
한편, 제어모듈(170)은 이미지를 획득하면, 기저장된 식단표 중 그 이미지에 대응하는 식단표 및 기저장된 분류테이블을 기반으로 각 메뉴의 클래스를 확인하되, 해당 식단표로부터 추출된 메뉴들 중 기저장된 분류테이블 내에 매칭되는 클래스가 존재하지 않는 메뉴가 존재하는 경우, 해당 메뉴의 명칭을 기본 클래스로 기저장된 분류테이블에 추가하여 분류테이블을 업데이트 함으로써 적용하여 이용하도록 한다. 이때, 일 예로서 그 추가된 클래스를 즉시 적용하여 이용할 수도 있지만, 다른 예로서 우선적으로 유사한 메뉴들의 클래스를 확인하여, 그 확인된 클래스로 분류를 하고, 추후 추가된 클래스에 해당하는 이미지가 미리 설정된 개수에 도달하면, 그때 그 저장된 이미지들을 기반으로 학습을 수행한 후, 그 업데이트 된 분류테이블을 적용하여 이용할 수도 있다.
이렇게 적어도 하나의 클래스가 세분화되면, 누적 저장된 라벨링된 이미지에서 클래스를 그 세분화된 클래스 기반으로 리라벨링(re-rabeling) 하지 않고 재학습을 수행하도록 할 수 있다.
따라서, 시간이 지남에 따라, 데이터(이미지 등)이 누적됨에 따라 기저장된 분류테이블은 보다 세분화되어 식단에 대한 보다 명확한 분류가 가능해질 수 있다.
도 4는 본 발명의 실시예에 따른 식사 모니터링 방법을 나타내는 순서도이다.
도 4를 참조하면, 식사 모니터링 장치(100)는 관리자로부터 기저장된 식단표가 입력 또는 송신되면, 그 식단표를 저장한 후, 그 기저장된 식단표를 분석하여 음식정보를 생성한다(S210).
이후, 식사 모니터링 장치(100)는 적어도 하나의 촬영 장치를 이용하여 식사공간 및 식사공간 내에서 식사를 하는 적어도 하나의 이용자의 식기(식판)를 각각 촬영함으로써, 식판을 포함하는 이미지를 획득하고(S220), S210 단계에서 생성된 음식정보를 기반으로 S220 단계에서 획득된 이미지 내의 적어도 하나의 음식을 분류한다(S230). S220 단계에서, 촬영은 적어도 하나의 이용자의 배식 시, 식사 전 및 후 등에 적어도 한번 이상 이뤄질 수 있으며, 이는 관리자에 의해 설정 또는 변경될 수 있으며, 분석하고자 하는 정보에 따라 촬영 시점 또는 횟수를 설정함으로써 불필요한 촬영을 방지할 수 있다.
그 다음으로, 분류된 적어도 하나의 음식을 기반으로 적어도 하나의 이용자에 대한 식사정보를 생성 및 저장한다(S240).
한편, 도 4에는 도시하지 않았으나, 식사 모니터링 장치(100)가 적어도 하나의 이용자에 대한 식사정보를 각각 분석하여 각 이용자에 대한 분석정보를 플랫폼 상에 업로드 할 수도 있고, 별도의 서비스 서버(200)를 구비하는 경우, 식사 모니터링 장치(100)가 그 서비스 서버(200)로 식사정보를 송신함으로써, 서비스 서버(200)가 각 이용자에 대한 식사정보를 분석한 분석정보를 플랫폼 상에 업로드 하도록 할 수 있다.
도 5는 본 발명의 실시예에 따른 식사 모니터링 방법에서 음식정보를 생성하는 구체적인 동작을 나타내는 도면으로서, 도 4의 S210 단계를 보다 구체화하여 도시한 것이다.
도 5를 참조하면, 식사 모니터링 장치(100)는 음식정보를 생성할 시, 기저장된 식단표로부터 음식리스트를 추출(확인)하고(S211), 기저장된 분류테이블을 기반으로 S211 단계에서 추출된 음식리스트를 세분화한다.
구체적으로, 추출된 음식리스트를 세분화할 시, 기저장된 분류테이블을 통해 추출된 음식리스트의 각 음식이 믹스 클래스인지 서브 클래스인지 여부를 확인하고, 그 확인 결과, 믹스 클래스에 해당하는 음식의 경우에는 그 음식에 다른 음식이 더 조합되어 만들어질 수 있는 음식들을 추출된 음식리스트에 추가하고, 서브 클래스에 해당하는 음식의 경우에는 그 음식을 적어도 두 개의 음식으로 분리하여 추출된 음식리스트에 추가한다.
그러나, 기저장된 식단표에서 음식리스트를 추출할 시, 단순하게 메뉴 이름만을 사용하는 경우보다는 해당 메뉴에 다양한 수식어들을 함께 사용하는 경우가 많기 때문에, 정확한 추출이 어려울 수 있다.
이를 위해, 일 예로 워드 임베딩(word2vec) 모델을 적용할 수 있다. 워드 임베딩은 단어(키워드) 간 유사성을 고려하기 위해 단어의 의미를 벡터화 시켜주는 추론 기반 기법으로서, 텍스트를 정량화하여 새로운 시각으로 지식을 발굴하도록 한다. 이 기법을 통해 단어의 의미를 최대한 담는 벡터를 생성하여 단어쌍의 유사도나 관련도를 검사하여 해석한다.
도 6은 본 발명의 일 실시예에 따른 기저장된 분류테이블에 포함될 수 있는 믹스 클래스 및 서브 클래스의 일 예를 나타내는 도면이다.
먼저, 기설정된 분류테이블은 복수의 음식들 각각을 식별하기 위한 클래스로 구성되는데, 이때, 각 클래스들 중 적어도 하나의 다른 음식이 더 조합되어 다른 음식을 만들 수 있는 음식의 클래스는 믹스 클래스로 한번 더 분류하고, 각 클래스들 중 적어도 두 개의 음식으로 분리될 수 있는 음식의 클래스는 서브 클래스로 한번 더 분류한다.
예를 들어, 복수의 음식으로서 제육볶음, 낚지볶음, 마파두부, 밥, 스파게티, 미트볼 스파게티, 비빔밥이 존재하는 경우, 도 6에 도시된 바와 같이, 제육볶음, 낚지볶음, 마파두부, 밥은 믹스 클래스로 분류되고, 스파게티, 미트볼 스파게티, 비빔밥은 서브 클래스로 분류될 수 있다.
즉, 이용자 또는 배식자의 배식 형태에 따라 제육볶음, 낙지볶음, 마파두부는 이용자에게 그대로 제공되거나, 밥 위에 부어 제육덮밥의 형태로 제공될 수 있기 때문에 믹스 클래스(a)로 분류되는 것이고, 스파게티, 미트볼 스파게티, 비빔밥은 각 재료들이 각각 제공될 수 있기 때문에 서브 클래스(b)로 분류되는 것이다.
도 7은 본 발명의 일 실시예에 따라 기저장된 식단표로부터 추출된 음식리스트 및 세분화된 음식리스트에 포함된 음식들 간 연관 관계를 나타내기 위한 도면이다.
도 7을 참조하면, 기저장된 식단표로부터 추출된 음식리스트(a)가 스파게티, 미트볼스파게티, 제육볶음, 밥, 마파두부를 포함하는 경우, 서브 클래스로 분류되는 스파게티와 미트볼 스파게티는 스파게티, 미트볼 스파게티, 스파게티면, 스파게티 소스, 미트볼 스파게티 소스로 세분화되고, 믹스 클래스로 분류되는 제육볶음, 밥, 마파두부는 제육볶음, 밥, 제육덮밥, 마파두부, 마파두부 덮밥으로 세분화된다.
이렇게 세분화된 각각의 음식들을 음식리스트에 반영함으로써 세분화된 음식리스트(b)가 생성될 수 있다.
아울러, 추출된 음식리스트 및 세분화된 음식리스트 간 연결 관계가 더 정의될 수 있다. 여기서, 연관도는 세분화된 음식리스트에 포함되는 음식들 중 추출된 음식리스트에 포함된 특정 음식을 구성하는 적어도 하나의 음식을 확인하고, 그 특정 음식에서 앞서 확인된 적어도 하나의 음식이 차지하는 비율에 따라 결정된다.
도 7에 도시된 바와 같이, 덮밥류에서 밥과 해당 덮밥 소스가 차지하는 비율을 7:3으로 설정해놓은 경우라면, 제육덮밥이나 마파두부덮밥에서 밥이 차지하는 비율은 모두 0.7으로 결정되고, 각 덮밥의 소스가 차지하는 비율은 0.3으로 결정될 수 있다.
한편, 도 7에는 도시하지 않았으나, 추출된 음식리스트에는 제육덮밥이 포함되었으나, 어떠한 밥이 제공되는지 확인되지 않은 경우에는 그 세분화된 음식리스트에 백미밥, 흑미밥, 보리밥 등 클래스로 결정된 모든 종류의 밥을 추가하여 그 가능성을 열여주어야 한다.
그러나, 이렇듯 세분화된 음식리스트에 추가된 음식의 종류가 늘어날수록 연결지어주어야 하는 관계가 점점 늘어나게 된다. 예를 들어, 덮밥의 종류가 증가하고, 그 덮밥에 포함될 수 있는 밥의 종류 또한 증가하게 되면, 연결지어주어야 하는 관계가 늘어나는 것이다. 따라서, 여러 종류의 밥을 카테고리로 묶어주기위해 밥 종류에 해당하는 모든 클래스를 하나의 그룹으로 묶어준다. 그러면 여러 종류의 밥을 "밥"이라는 그룹으로 묶어주어 그 연결을 한번만 수행하도록 할 수 있다. 이때, 그룹은 앞서 설명한 바와 같이, 하나의 클래스에 대한 학습데이터가 미리 설정된 개수에 도달하면, 그 누적 저장된 학습데이터를 이용한 재학습을 통해 더 세분화된 것일 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 식사 모니터링 시스템 100: 식사 모니터링 장치
200: 서비스 서버 300: 이용자 단말
110: 통신모듈 130: 촬영모듈
150: 저장모듈 170: 제어모듈
200: 서비스 서버 300: 이용자 단말
110: 통신모듈 130: 촬영모듈
150: 저장모듈 170: 제어모듈
Claims (17)
- 장치에 의해 수행되는, 인공지능 기반 식사 모니터링 방법에 있어서,
기저장된 식단표를 분석하여 음식정보를 생성하는 단계;
적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득하는 단계;
상기 생성된 음식정보를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하는 단계; 및
상기 분류된 적어도 하나의 음식을 기반으로 식사정보를 생성 및 저장하는 단계;를 포함하며,
상기 음식정보를 생성하는 단계는,
상기 기저장된 식단표로부터 음식리스트를 추출하는 단계;
기저장된 분류테이블을 기반으로 상기 추출된 음식리스트를 세분화하는 단계; 및
상기 세분화된 음식리스트를 음식정보로서 생성하는 단계;를 포함하는 것을 특징으로 하는,
식사 모니터링 방법.
- 제1항에 있어서,
상기 기저장된 분류테이블은,
복수의 음식 각각에 대해 기학습된 클래스들의 리스트로서,
상기 기학습된 클래스들 각각은, 믹스 클래스 및 서브 클래스 중 어느 하나로 정의될 수 있으며,
상기 믹스 클래스는, 적어도 하나의 다른 음식이 더 조합되어 만들어질 수 있는 음식을 분류하기 위한 클래스이고,
상기 서브 클래스는, 적어도 두 개의 음식으로 분리되어 만들어질 수 있는 음식을 분류하기 위한 클래스인 것을 특징으로 하는,
식사 모니터링 방법.
- 제2항에 있어서,
상기 적어도 하나의 음식을 분류하는 단계는,
상기 세분화된 음식리스트를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하고, 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식에 대한 라벨링을 수행하는 것을 특징으로 하는,
식사 모니터링 방법.
- 제1항에 있어서,
상기 음식정보를 생성하는 단계는,
연관도를 기반으로 상기 추출된 음식리스트 및 상기 세분화된 음식리스트 간 연결 관계를 정의하는 단계를 더 포함하는 것을 특징으로 하는,
식사 모니터링 방법.
- 제4항에 있어서,
상기 연관도는,
상기 세분화된 음식리스트에 포함되는 음식들 중 상기 추출된 음식리스트에 포함된 특정 음식을 구성하는 적어도 하나의 음식을 확인하고, 상기 특정 음식에서 상기 확인된 적어도 하나의 음식이 차지하는 비율에 따라 결정되는 것을 특징으로 하는,
식사 모니터링 방법.
- 제3항에 있어서,
상기 기저장된 분류테이블은,
인공지능 기반 머신러닝 모델에 적어도 하나의 이미지를 학습데이터로서 입력하여 복수의 음식들 각각에 대한 클래스를 학습함으로써 생성된 것으로, 상기 복수의 음식 각각을 식별하기 위한 적어도 하나의 클래스를 포함하며,
상기 라벨링된 이미지를 상기 학습데이터로 이용하여 상기 머신러닝 모델을 재학습함으로써 상기 기저장된 분류테이블을 갱신하는 것을 특징으로 하는,
식사 모니터링 방법.
- 제6항에 있어서,
상기 적어도 하나의 클래스는,
동일한 카테고리의 음식을 포함하는 그룹을 적어도 하나 포함할 수 있으며,
상기 적어도 하나의 그룹은, 상기 재학습을 통해 더 세분화된 것임을 특징으로 하는,
식사 모니터링 방법.
- 제1항에 있어서,
상기 기저장된 식단표로부터 음식리스트를 추출하는 단계는,
빅데이터 및 워드 임베딩 중 적어도 하나를 기반으로 일반 메뉴 명칭으로 변환하는 단계를 더 포함하며,
상기 일반 메뉴 명칭은, 상기 기저장된 분류테이블에 포함된 기본 클래스의 명칭 또는 상기 기본 클래스에 대응하는 메뉴 명칭인 것을 특징으로 하는,
식사 모니터링 방법.
- 인공지능 기반 식단 모니터링 장치에 있어서,
통신모듈;
적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득하는 촬영모듈;
식단을 모니터링 하기 위해 필요한 각종 정보 또는 데이터, 및 적어도 하나의 프로세스를 저장하는 저장모듈; 및
상기 적어도 하나의 프로세스를 기반으로 상기 식단을 모니터링 하기 위한 동작을 수행하는 제어모듈을 포함하며,
상기 제어모듈은,
기저장된 식단표를 분석하여 음식정보를 생성하고, 적어도 하나의 촬영 장치를 기반으로 식판을 포함하는 이미지를 획득되면, 상기 생성된 음식정보를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하고, 상기 분류된 적어도 하나의 음식을 기반으로 식사정보를 생성 및 저장하며,
상기 음식정보를 생성할 시,
상기 기저장된 식단표로부터 음식리스트를 추출하고, 기저장된 분류테이블을 기반으로 상기 추출된 음식리스트를 세분화한 후, 상기 세분화된 음식리스트를 음식정보로서 생성하는 것임을 특징으로 하는,
식사 모니터링 장치.
- 제9항에 있어서,
상기 기저장된 분류테이블은,
복수의 음식 각각에 대해 믹스 클래스 및 서브 클래스 중 적어도 하나로 관계가 정의된 테이블이며,
상기 믹스 클래스는 적어도 두 개의 음식이 조합되어 만들어질 수 있는 음식을 분류하기 위한 클래스이고,
상기 서브 클래스는 하나의 음식을 통해 보조적으로 추가될 수 있는 음식을 분류하기 위한 클래스인 것을 특징으로 하는,
식사 모니터링 장치.
- 제10항에 있어서,
상기 제어모듈은, 상기 적어도 하나의 음식을 분류할 시,
상기 세분화된 음식리스트를 기반으로 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식을 분류하고, 상기 촬영된 이미지 내에 포함된 적어도 하나의 음식에 대한 라벨링을 수행하는 것을 특징으로 하는,
식사 모니터링 장치.
- 제9항에 있어서,
상기 제어모듈은, 상기 음식정보를 생성할 시,
연관도를 기반으로 상기 추출된 음식리스트 및 상기 세분화된 음식리스트 간 연결 관계를 정의하는 것을 특징으로 하는,
식사 모니터링 장치.
- 제12항에 있어서,
상기 연관도는,
상기 세분화된 음식리스트에 포함되는 음식들 중 상기 추출된 음식리스트에 포함된 특정 음식을 구성하는 적어도 하나의 음식을 확인하고, 상기 특정 음식에서 상기 확인된 적어도 하나의 음식이 차지하는 비율에 따라 결정되는 것을 특징으로 하는,
식사 모니터링 장치.
- 제11항에 있어서,
상기 기학습된 분류테이블은, 인공지능 기반 머신러닝 모델에 적어도 하나의 이미지를 학습데이터로서 입력하여 복수의 음식들 각각에 대한 클래스를 학습함으로써 생성된 것으로, 상기 복수의 음식 각각을 식별하기 위한 적어도 하나의 클래스를 포함하며,
상기 제어모듈은, 상기 라벨링된 이미지를 상기 학습데이터로 이용하여 상기 머신러닝 모델을 더 학습함으로써 상기 기학습된 분류테이블을 갱신하는 것을 특징으로 하는,
식사 모니터링 장치.
- 제14항에 있어서,
상기 적어도 하나의 클래스는,
동일한 카테고리의 음식을 포함하는 그룹을 적어도 하나 포함할 수 있으며,
상기 적어도 하나의 그룹은, 상기 재학습을 통해 더 세분화된 것임을 특징으로 하는,
식사 모니터링 장치.
- 제9항에 있어서,
상기 제어모듈은,
상기 기저장된 식단표로부터 음식리스트를 추출할 시, 빅데이터 및 워드 임베딩 중 적어도 하나를 기반으로 일반 메뉴 명칭으로 변환하며,
상기 일반 메뉴 명칭은, 상기 기저장된 분류테이블에 포함된 기본 클래스의 명칭 또는 상기 기본 클래스에 대응하는 메뉴 명칭인 것을 특징으로 하는,
식사 모니터링 장치.
- 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항의 식사 모니터링 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220037529A KR20230139184A (ko) | 2022-03-25 | 2022-03-25 | 인공지능 기반 식사 모니터링 방법 및 장치 |
| EP23775368.6A EP4325512A1 (en) | 2022-03-25 | 2023-03-27 | Artificial intelligence-based meal monitoring method and apparatus |
| PCT/KR2023/004000 WO2023182873A1 (ko) | 2022-03-25 | 2023-03-27 | 인공지능 기반 식사 모니터링 방법 및 장치 |
| CN202380011934.2A CN117480566A (zh) | 2022-03-25 | 2023-03-27 | 基于人工智能的膳食监测方法及装置 |
| US18/290,564 US20240274266A1 (en) | 2022-03-25 | 2023-03-27 | Artificial intelligence-based meal monitoring method and apparatus |
| JP2024515021A JP2024519405A (ja) | 2022-03-25 | 2023-03-27 | 人工知能基盤の食事モニタリング方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220037529A KR20230139184A (ko) | 2022-03-25 | 2022-03-25 | 인공지능 기반 식사 모니터링 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230139184A true KR20230139184A (ko) | 2023-10-05 |
Family
ID=88101867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220037529A KR20230139184A (ko) | 2022-03-25 | 2022-03-25 | 인공지능 기반 식사 모니터링 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240274266A1 (ko) |
| EP (1) | EP4325512A1 (ko) |
| JP (1) | JP2024519405A (ko) |
| KR (1) | KR20230139184A (ko) |
| CN (1) | CN117480566A (ko) |
| WO (1) | WO2023182873A1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101562364B1 (ko) | 2014-12-29 | 2015-10-23 | 재단법인 아산사회복지재단 | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 |
| KR101952295B1 (ko) | 2016-11-25 | 2019-02-27 | (주)이오아시스 | 식사일기를 위한 영양 분석 시스템 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102268102B1 (ko) * | 2017-10-27 | 2021-06-22 | 주식회사 두잉랩 | 음식 영상을 이용한 영양관리 및 질병관리 방법 |
| KR20190066361A (ko) * | 2017-12-05 | 2019-06-13 | 주식회사 메디칼엑셀런스 | 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 |
| KR102130772B1 (ko) * | 2018-01-29 | 2020-07-06 | 건양대학교 산학협력단 | 딥러닝을 이용한 음식인식 및 식단관리 시스템 |
| US20190295440A1 (en) * | 2018-03-23 | 2019-09-26 | Nutrino Health Ltd. | Systems and methods for food analysis, personalized recommendations and health management |
| KR102309173B1 (ko) * | 2019-07-12 | 2021-10-07 | 동국대학교 산학협력단 | 개인 맞춤형 영양관리 시스템 및 이의 분석 방법 |
-
2022
- 2022-03-25 KR KR1020220037529A patent/KR20230139184A/ko not_active Application Discontinuation
-
2023
- 2023-03-27 WO PCT/KR2023/004000 patent/WO2023182873A1/ko active Application Filing
- 2023-03-27 EP EP23775368.6A patent/EP4325512A1/en active Pending
- 2023-03-27 CN CN202380011934.2A patent/CN117480566A/zh active Pending
- 2023-03-27 JP JP2024515021A patent/JP2024519405A/ja active Pending
- 2023-03-27 US US18/290,564 patent/US20240274266A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101562364B1 (ko) | 2014-12-29 | 2015-10-23 | 재단법인 아산사회복지재단 | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 |
| KR101952295B1 (ko) | 2016-11-25 | 2019-02-27 | (주)이오아시스 | 식사일기를 위한 영양 분석 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023182873A1 (ko) | 2023-09-28 |
| EP4325512A1 (en) | 2024-02-21 |
| CN117480566A (zh) | 2024-01-30 |
| US20240274266A1 (en) | 2024-08-15 |
| JP2024519405A (ja) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mezgec et al. | Mixed deep learning and natural language processing method for fake-food image recognition and standardization to help automated dietary assessment | |
| US9977980B2 (en) | Food logging from images | |
| US9916520B2 (en) | Automated food recognition and nutritional estimation with a personal mobile electronic device | |
| Zhang et al. | “snap-n-eat” food recognition and nutrition estimation on a smartphone | |
| EP3819822A1 (en) | Image identification method and apparatus, system, and storage medium | |
| CN107862018B (zh) | 食材烹饪方法的推荐方法及装置 | |
| KR101562364B1 (ko) | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 | |
| CN107238427A (zh) | 智能营养秤系统及提供膳食建议的方法 | |
| Bruno et al. | A survey on automated food monitoring and dietary management systems | |
| KR101959762B1 (ko) | 인공 지능 기반 영상 및 음성 인식 영양 평가 방법 | |
| CN111063419A (zh) | 智能健康饮食管理系统 | |
| US11881023B2 (en) | Method and system for generating video | |
| US20190221134A1 (en) | Meal Management System | |
| CN107851183A (zh) | 用于提供食谱的系统和方法 | |
| Sudo et al. | Estimating nutritional value from food images based on semantic segmentation | |
| GB2573363A (en) | A method and system for classifying food items | |
| CN115331218A (zh) | 基于图像分割的食物热量估算方法、装置、设备及介质 | |
| KR20230139184A (ko) | 인공지능 기반 식사 모니터링 방법 및 장치 | |
| CN207113999U (zh) | 智能营养秤系统 | |
| KR20220052046A (ko) | 사용자 식습관 분석 방법 및 장치 | |
| KR20150096552A (ko) | 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법 | |
| CN114556444A (zh) | 联合模型的训练方法和对象信息处理方法、装置及系统 | |
| Dibiano et al. | Food image analysis for measuring food intake in free living conditions | |
| CN104699929A (zh) | 一种互动式图片识别方法与系统 | |
| Sarode et al. | Food Recognition System with Calorie Estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |