KR102473283B1 - 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법 - Google Patents
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR102473283B1 KR102473283B1 KR1020220106816A KR20220106816A KR102473283B1 KR 102473283 B1 KR102473283 B1 KR 102473283B1 KR 1020220106816 A KR1020220106816 A KR 1020220106816A KR 20220106816 A KR20220106816 A KR 20220106816A KR 102473283 B1 KR102473283 B1 KR 102473283B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- food
- weight
- image
- ingredient
- Prior art date
Links
- 235000016709 nutrition Nutrition 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 238000010191 image analysis Methods 0.000 title claims abstract description 42
- 235000013305 food Nutrition 0.000 claims abstract description 238
- 239000004615 ingredient Substances 0.000 claims abstract description 103
- 239000000463 material Substances 0.000 claims description 83
- 238000003384 imaging method Methods 0.000 claims description 40
- 230000035764 nutrition Effects 0.000 claims description 29
- 235000012041 food component Nutrition 0.000 claims description 15
- 238000010411 cooking Methods 0.000 claims description 4
- 235000005911 diet Nutrition 0.000 abstract description 4
- 230000000378 dietary effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 21
- 235000012054 meals Nutrition 0.000 description 20
- 235000015097 nutrients Nutrition 0.000 description 18
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 235000021186 dishes Nutrition 0.000 description 5
- 235000013547 stew Nutrition 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 235000006694 eating habits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 244000291564 Allium cepa Species 0.000 description 2
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 244000088415 Raphanus sativus Species 0.000 description 2
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 2
- 208000026935 allergic disease Diseases 0.000 description 2
- 230000007815 allergy Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000021189 garnishes Nutrition 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 235000021056 liquid food Nutrition 0.000 description 2
- 239000002075 main ingredient Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 235000000832 Ayote Nutrition 0.000 description 1
- 240000004160 Capsicum annuum Species 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 240000004244 Cucurbita moschata Species 0.000 description 1
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 1
- 235000011511 Diospyros Nutrition 0.000 description 1
- 241000723267 Diospyros Species 0.000 description 1
- 239000004278 EU approved seasoning Substances 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- -1 and at the same time Substances 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 235000013527 bean curd Nutrition 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 235000021170 buffet Nutrition 0.000 description 1
- 239000001511 capsicum annuum Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 235000011194 food seasoning agent Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 235000015136 pumpkin Nutrition 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- H04N5/225—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Nutrition Science (AREA)
- Multimedia (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 개시는 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법에 관한 것으로, 적어도 하나의 식기 또는 상기 적어도 하나의 식기에 각각 담긴 적어도 하나의 음식이 포함된 적어도 하나의 영상을 획득하는 적어도 하나의 촬상 장치; 상기 적어도 하나의 영상이 수신되면, 상기 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하고, 학습모델을 이용하여 상기 적어도 하나의 음식 각각에 대한 기본재료정보 및 인식재료정보를 생성하고, 상기 기본재료정보 및 상기 인식재료정보를 기반으로 최종재료정보를 생성하고, 기 저장된 음식정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 중량을 고려하여 영양정보를 생성하는 서비스 제공 장치; 및 상기 영양정보가 수신되면, 상기 영양정보를 시각화하여 디스플레이하는 사용자 단말을 포함할 수 있다.
Description
본 개시는 영양정보 제공 시스템 및 방법에 관한 것이다. 보다 상세하게는, 본 개시는 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법에 관한 것이다.
최근 문화의 발달과 국제적인 교류의 증대로 인하여 급격한 식생활 변화, 불규칙한 식사 및 운동부족 등으로 비만, 각종 성인병 및 기타 만성 질환이 지속적인 증가를 보이고 있으며, 삶의 질이 높아지면서 생활양식이나 환경의 변화에 맞춘 건강관리에 대한 관심도 매우 높아지고 있다.
이에 따라 병원에서만 진행되는 건강관리가 아닌 일상생활에서 건강을 지키려는 사람들이 많아지면서 이에 가장 밀접한 식생활에도 매우 큰 관심을 가지기 시작했다. 그러나, 개인의 식생활을 관리하기 위한 기술적인 발달은 미진한 상태이고, 개인이 각자 자신의 식생활을 관리하기 위해서는 섭취하고 있는 음식에 대한 다양한 정보들을 일일이 검색하고 기록해야 하는 번거로움이 있다.
따라서, 인공지능을 활용하여 사용자의 식사정보를 포함하는 영상을 자동으로 기록 및 분석하고, 그 분석 결과에 따라 영양정보를 생성하여 제공할 수 있도록 하는 기술이 개발될 필요가 있다.
본 개시에 개시된 실시예는 인공지능을 활용하여 사용자의 식사정보를 포함하는 영상을 자동으로 기록 및 분석하고, 그 분석 결과에 따라 영양정보를 생성하여 제공함으로써, 사용자가 간편하게 자신의 식생활에 대한 실시간 모니터링이 가능하도록 하는 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템은, 적어도 하나의 식기 또는 상기 적어도 하나의 식기에 각각 담긴 적어도 하나의 음식이 포함된 적어도 하나의 영상을 획득하는 적어도 하나의 촬상 장치; 상기 적어도 하나의 영상이 수신되면, 상기 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하고, 학습모델을 이용하여 상기 적어도 하나의 음식 각각에 대한 기본재료정보 및 인식재료정보를 생성하고, 상기 기본재료정보 및 상기 인식재료정보를 기반으로 최종재료정보를 생성하고, 기 저장된 음식정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 중량을 고려하여 영양정보를 생성하는 서비스 제공 장치; 및 상기 영양정보가 수신되면, 상기 영양정보를 시각화하여 디스플레이하는 사용자 단말을 포함할 수 있다.
또한, 본 개시에 일 측면에 따른 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 방법은, 적어도 하나의 영상이 수신되면, 상기 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하는 단계; 학습모델을 이용하여 상기 적어도 하나의 음식 각각에 대한 기본재료정보 및 인식재료정보를 생성하는 단계; 상기 기본재료정보 및 상기 인식재료정보를 기반으로 최종재료정보를 생성하는 단계; 및 기 저장된 음식정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 중량을 고려하여 영양정보를 생성하는 단계를 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 인공지능을 활용하여 사용자의 식사정보를 포함하는 영상을 자동으로 기록 및 분석하고, 그 분석 결과에 따라 영양정보를 생성하여 제공함으로써, 사용자가 간편하게 자신의 식생활에 대한 실시간 모니터링이 가능하도록 하는 효과를 제공한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템의 네트워크 구조를 나타내는 도면
도 2는 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하는 서비스 제공 장치의 구성을 나타내는 도면
도 3은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법을 나타내는 도면
도 4는 본 개시의 일 실시예에 따른 기 저장된 음식정보의 일 예를 나타내는 도면
도 5는 본 개시의 일 실시예에 따라 영양정보를 생성하는 구체적인 동작을 나타내는 도면
도 6은 본 개시의 다른 실시예에 따라 영양소정보를 생성하는 구체적인 동작을 나타내는 도면
도 7은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법을 나타내는 도면
도 8은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 각 식기의 크기를 예측하는 구체적인 동작을 나타내는 도면
도 9는 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 각 식기의 크기를 예측하기 위해 증강현실 기반으로 구현된 영상의 일 예를 나타내는 도면
도 10은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 예측된 각 식기의 크기를 기반으로 해당 음식의 부피를 예측하는 구체적인 동작을 나타내는 도면
도 11은 본 개시의 다른 실시예에 따라 촬상 각도를 기반으로 해당 식기에 담긴 해당 음식의 부피를 산출하기 위한 일 예를 나타내는 도면
도 12는 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제2 방식에 따라 각 식기의 크기를 예측하는 구체적인 동작을 나타내는 도면
도 13은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제2 방식에 따라 각 식기의 크기를 예측하기 위해 바운딩 박스를 표시한 영상의 일 예를 나타내는 도면
도 14는 본 개시의 일 실시예에 따라 촬상 장치로부터 수신된 영상을 기반으로 각 음식의 명칭을 확인하는 일련의 동작을 나타내는 도면
도 15는 본 개시의 일 실시예에 따라 촬상 장치로부터 수신된 영상으로부터 적어도 하나의 식기 및/또는 적어도 하나의 음식을 검출하는 일 예를 나타내는 도면
도 16은 본 개시의 일 실시예에 따라 촬상 장치를 통해 식기 및/또는 음식이 포함된 영상을 촬상할 시에 디스플레이부에 디스플레이되는 화면의 일 예를 나타내는 도면
도 17은 본 개시의 일 실시예에 따라 생성된 영양정보가 사용자 단말에 디스플레이부 상에 디스플레이된 일 예를 나타내는 도면
도 18은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하기 위해 학습모델을 이용하여 적어도 하나의 영상으로부터 적어도 하나의 음식을 검출하는 동작의 순서를 나타내는 도면
도 19는 본 개시의 일 실시예에 따라 적어도 하나의 영상으로부터 적어도 하나의 음식을 검출할 시에 인식된 재료를 처리하는 동작의 순서를 나타내는 도면
도 2는 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하는 서비스 제공 장치의 구성을 나타내는 도면
도 3은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법을 나타내는 도면
도 4는 본 개시의 일 실시예에 따른 기 저장된 음식정보의 일 예를 나타내는 도면
도 5는 본 개시의 일 실시예에 따라 영양정보를 생성하는 구체적인 동작을 나타내는 도면
도 6은 본 개시의 다른 실시예에 따라 영양소정보를 생성하는 구체적인 동작을 나타내는 도면
도 7은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법을 나타내는 도면
도 8은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 각 식기의 크기를 예측하는 구체적인 동작을 나타내는 도면
도 9는 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 각 식기의 크기를 예측하기 위해 증강현실 기반으로 구현된 영상의 일 예를 나타내는 도면
도 10은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 예측된 각 식기의 크기를 기반으로 해당 음식의 부피를 예측하는 구체적인 동작을 나타내는 도면
도 11은 본 개시의 다른 실시예에 따라 촬상 각도를 기반으로 해당 식기에 담긴 해당 음식의 부피를 산출하기 위한 일 예를 나타내는 도면
도 12는 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제2 방식에 따라 각 식기의 크기를 예측하는 구체적인 동작을 나타내는 도면
도 13은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제2 방식에 따라 각 식기의 크기를 예측하기 위해 바운딩 박스를 표시한 영상의 일 예를 나타내는 도면
도 14는 본 개시의 일 실시예에 따라 촬상 장치로부터 수신된 영상을 기반으로 각 음식의 명칭을 확인하는 일련의 동작을 나타내는 도면
도 15는 본 개시의 일 실시예에 따라 촬상 장치로부터 수신된 영상으로부터 적어도 하나의 식기 및/또는 적어도 하나의 음식을 검출하는 일 예를 나타내는 도면
도 16은 본 개시의 일 실시예에 따라 촬상 장치를 통해 식기 및/또는 음식이 포함된 영상을 촬상할 시에 디스플레이부에 디스플레이되는 화면의 일 예를 나타내는 도면
도 17은 본 개시의 일 실시예에 따라 생성된 영양정보가 사용자 단말에 디스플레이부 상에 디스플레이된 일 예를 나타내는 도면
도 18은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하기 위해 학습모델을 이용하여 적어도 하나의 영상으로부터 적어도 하나의 음식을 검출하는 동작의 순서를 나타내는 도면
도 19는 본 개시의 일 실시예에 따라 적어도 하나의 영상으로부터 적어도 하나의 음식을 검출할 시에 인식된 재료를 처리하는 동작의 순서를 나타내는 도면
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 설명에서 사용되는 용어에 대하여 정의하면 하기와 같다.
본 개시를 설명함에 있어서, 서비스 제공 장치로 한정하였으나, 서버, 컴퓨터 및/또는 휴대용 단말기를 더 포함하거나, 또는 그 중 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서비스 제공 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템의 네트워크 구조를 나타내는 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템(10)은 촬상 장치(100), 서비스 제공 장치(200) 및 사용자 단말(300)을 포함할 수 있다. 다만, 설명의 편의를 위하여 촬상 장치(100) 및 사용자 단말(300)을 각각 하나씩 도시하였으나 복수개로 구성될 수 있고, 각 단말의 기종 또한 동일하거나 상이할 수 있다. 즉, 촬상 장치(100) 및 사용자 단말(300)의 종류 및 개수를 한정하지는 않는다.
촬상 장치(100)는 적어도 하나의 카메라를 구비하고, 그 적어도 하나의 카메라를 기반으로 적어도 하나의 식기 또는 그 적어도 하나의 식기에 담긴 적어도 하나의 음식이 포함된 적어도 하나의 영상을 획득한다. 이때, 촬상 장치(100)는 사용자가 식사하는 공간에 배치되어 설치될 수 있는 것으로, 고정되어 설치되거나, 이동가능하도록 배치될 수 있으며, 그 형태를 한정하지 않는다.
이 촬상 장치(100)는 사용자의 요청에 따라 촬상을 수행할 수도 있지만, 사용자, 모션 및 음식 중 적어도 하나를 자동으로 감지하여 식사 상황을 인지함으로써 촬상을 수행할 수도 있다. 또한, 촬상 장치(100)는 식사 상황을 인지한 이후, 식사 이전의 식기 또는 음식을 포함하는 영상을 일회적으로 획득하거나, 식사가 이뤄지는 시간(식사시간) 동안의 영상을 주기적으로 획득하도록 설정될 수도 있다. 다만, 영상 획득 시, 하나의 영상만을 획득하는 것은 아니며, 적어도 하나 이상의 영상을 획득하여 보다 정확한 인식이 가능하도록 할 수 있다.
한편, 촬상 장치(100)로부터 촬상된 적어도 하나의 영상은 식기, 음식 및 사용자 중 적어도 하나를 포함할 수 있다.
구체적으로, 촬상 장치(100)는 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서 및 레이(array) 카메라 중 적어도 하나를 포함한다. 이때, 촬상 장치(100)는 적어도 하나 이상의 카메라(센서)를 포함할 수 있는데, 그 각각의 카메라의 종류가 모두 동일할 수도 있지만, 앞서 설명한 다양한 종류의 카메라 중 적어도 일부가 혼합되어 이용될 수도 있다.
서비스 제공 장치(200)는 촬상 장치(100)로부터 적어도 하나의 영상이 수신되면, 그 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하고, 학습모델을 기반으로 앞서 검출된 적어도 하나의 음식 각각의 명칭을 확인한다. 이후, 서비스 제공 장치(200)는 그 확인된 각각의 명칭을 기반으로 기 저장된 음식정보에 포함된 음식정보와 매핑하고, 매핑된 음식정보를 이용하여 영양정보를 생성한다.
여기서, 기 저장된 음식정보는 적어도 하나의 음식에 대한 명칭정보, 레시피정보, 영양성분정보 및 기본중량정보 중 적어도 하나를 포함할 수 있다. 그 중 레시피정보는 해당 음식을 조리하기 위해 필요한 적어도 하나의 재료를 포함하는 기본재료정보 및 그 적어도 하나의 재료 각각에 대한 중량정보를 포함할 수 있다. 한편, 영양성분정보는 그 적어도 하나의 재료 각각에 대한 영양성분 및 각 영양성분에 대한 중량을 포함할 수 있다.
한편, 서비스 제공 장치(200)는 적어도 하나의 사용자 각각에 대한 식사정보들을 구분하여 관리할 수 있으며, 특정 사용자에 대한 적어도 하나의 영상이 수신되면, 그 수신된 적어도 하나의 영상을 특정 사용자의 식사정보로서 누적하여 저장할 수 있다. 이때, 서비스 제공 장치(200)는 그 특정 사용자의 식사정보를 미리 설정된 주기 단위로 생성하여 제공할 수 있다. 구체적으로, 식사정보는 일(day), 주(week), 월(month) 등의 단위로 주기가 설정되어 제공될 수 있으며, 일 단위로 제공하는 경우에도 아침, 점심, 저녁으로 구분되어 저장되거나 사용자가 식사를 한 시점 마다 구분되어 저장될 수 있다. 예를 들어, 식사정보는 사용자가 섭취한 음식의 영상정보, 종류정보, 섭취량정보, 영양소정보 및 칼로리정보는 물론, 식사시간정보(식사한 날짜 및 시간, 식사에 소요된 시간 등), 식사패턴정보 및 선호음식정보 중 적어도 하나를 더 포함할 수 있다.
한편, 서비스 제공 장치(200)는 촬상 장치(100)로부터 수신된 적어도 하나의 영상에 사람이 포함된 경우, 그 사람의 생체 정보(안면, 홍채 등)를 인식하여 기 저장된 사용자인지 여부를 확인하고, 기 저장된 사용자로 확인된 경우에는 해당 사용자에 대한 기 저장된 정보(인적정보, 신체정보, 질병정보, 알러지정보 및 식사정보 등)에 그 적어도 하나의 영상 및 이를 기반으로 분석되는 영양정보를 저장하여 업데이트 하도록 한다. 한편, 기 저장된 사용자가 아닌 것으로 확인된 경우에는 해당 사용자에 대한 정보를 기반으로 신규 사용자로서 등록하고, 그 적어도 하나의 영상 및 이를 기반으로 분석되는 영양정보를 저장하도록 한다. 이 경우, 추후 그 사용자로부터 사용자에 대한 인적정보, 신체정보, 질병정보 및 알러지정보를 직접 입력받거나 적어도 하나의 기관 또는 업체로부터 수집하여 저장할 수도 있다.
앞서 설명한 서비스들을 제공하기 위해, 서비스 제공 장치(200)는 샘플 영상 및 검증 영상을 기반으로 학습모델을 사전 학습할 수 있으며, 이후 촬상 장치(100)로부터 수신되어 저장되는 적어도 하나의 영상을 이용하여 그 학습모델의 성능을 개선할 수 있다.
사용자 단말(300)은 서비스 제공 장치(200)로부터 서비스를 제공받기 위한 사용자의 단말로서, 그 사용자는 사용자 단말(300)을 통해 특정 웹페이지 또는 어플리케이션을 통해 자신의 식사 정보를 기반으로 하는 각종 정보를 제공받는다.
사용자 단말(300)은 서비스 제공 장치(200로부터 영양정보가 수신되면, 그 영양정보를 시각화하여 사용자 단말(300)에 구비된 디스플레이부(표시부)를 통해 디스플레이하여 사용자가 그 영양정보를 용이하게 확인할 수 있도록 한다.
도 1을 설명함에 있어서, 촬상 장치(100)가 서비스 제공 장치(200) 및 사용자 단말(300)과 별도로 구비된 경우로 한정하여 설명하였으나, 그 촬상 장치(100)는 사용자 단말(300)에 구비(연결)되는 제1 형태 또는 서비스 제공 장치(200)에 구비(연결)되는 제2 형태 및 특정 공간에 각각 배치되어 설치되는 제3 형태 중 적어도 하나의 형태로 구비될 수 있다.
도 2는 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하기 위한 서비스 제공 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하기 위한 서비스 제공 장치(200)(이하, '서비스 제공 장치'라 칭함)는 통신모듈(210), 저장모듈(230) 및 제어모듈(250)을 포함할 수 있다.
통신모듈(210)은 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 유선 통신 모듈, 무선 통신 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있으며, 이를 기반으로 신호를 송수신하도록 한다.
여기서, 유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), WLAN(Wireless LAN), DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
저장모듈(230)은 서비스 제공 장치(200)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장한다. 서비스 제공 장치(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서비스 제공 장치(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 저장모듈(230)에 구비된 적어도 하나의 메모리에 저장되고, 서비스 제공 장치(200) 상에 설치되어, 제어모듈(230)에 구비된 적어도 하나의 프로세서에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
구체적으로, 적어도 하나의 메모리는 인공지능을 활용한 이미지 분석 기반 영양정보 제공이 가능하도록 하는 적어도 하나의 머신러닝 모델(학습모델) 및 적어도 하나의 프로세스를 저장한다.
한편, 적어도 하나의 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.
제어모듈(250)은 적어도 하나의 프로세서를 구비할 수 있으며, 서비스 제공 장치(200) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 적어도 하나의 메모리에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행하며, 인공지능을 활용한 낙하 이미지 분석 기반 불량 검출을 위한 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
구체적으로, 제어모듈(250)은 적어도 하나의 영상이 수신되면, 그 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하고, 학습모델을 기반으로 그 검출된 적어도 하나의 음식 각각의 명칭을 확인한다. 또한, 제어모듈(250)은 그 확인된 각각의 명칭을 기반으로 기 저장된 음식정보에 포함된 음식정보와 매핑하고, 매핑된 음식정보를 이용하여 영양정보를 생성하여 사용자 단말(300)로 송신한다.
제어모듈(250)은 영양정보를 생성할 시에 적어도 하나의 영상에 포함된 적어도 하나의 음식 각각의 재료를 인식하여 인식재료정보를 생성하고, 매핑된 음식정보로부터 각 음식의 기본재료정보를 확인하여 각각의 인식재료정보와 비교하여 취합을 수행한다. 이로써, 제어모듈(250)은 최종재료정보를 생성할 수 있따.
다만, 제어모듈(250)은 인식재료정보 및 기본재료정보에 각각 포함된 재료를 단순하게 취합하는 것이 아니라, 중복된 재료는 제거하는 편집 동작을 수행할 수 있다. 즉, 인식재료정보 및 기본재료정보 각각에 포함된 재료들을 모두 포함시키되, 공통적으로 포함된 재료는 한 번만 포함되도록 한다.
뿐만 아니라, 제어모듈(250)은 영양정보를 생성할 시, 적어도 하나의 영상 및 기 저장된 음식정보를 기반으로 하여 최종재료정보에 포함된 적어도 하나의 재료 각각의 중량을 산출하고, 그 산출된 중량을 이용하여 영양소정보를 생성하고, 이를 영양정보에 포함시킨다. 구체적으로, 적어도 하나의 영상으로 사용자에게 제공된 음식의 양을 감지하고, 기 저장된 음식정보에서 포함된 해당 음식의 중량정보를 이용하여 사용자에게 제공된 해당 음식의 중량을 산출할 수 있다.
도 3은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법을 나타내는 도면이다.
도 3을 참조하면, 서비스 제공 장치(200)는 촬상 장치(100)로부터 적어도 하나의 영상이 수신되면, 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출한다(S310). 이때, 서비스 제공 장치(200)는 적어도 하나의 영상 각각에 음식이 존재하는지 여부를 확인하고, 그 확인 결과에 따라 음식이 존재하는 영상만을 이용할 수 있다. 아울러, 음식의 존재 여부와 함께 음식의 위치를 함께 확인할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 학습모델을 기반으로 S310 단계에 의해 검출된 적어도 하나의 음식 각각의 명칭을 확인하고(S320), 그 확인된 각각의 명칭을 기반으로 기 저장된 음식정보에 포함된 음식정보와 매핑을 수행한다(S330). 즉, S320 단계에 의해 확인된 적어도 하나의 음식 각각의 명칭을 기 저장된 음식정보와 비교하여 대응되는 음식정보를 검출하고, 그 검출된 음식정보를 상호 매핑한다할 수 있다. 일 예로서, 적어도 하나의 음식 각각의 명칭과 기 저장된 음식정보에 포함된 명칭과 비교하여 일치하거나 유사도가 높은 명칭을 갖는 음식정보를 검출하고, 그 검출된 음식정보를 해당 음식과 상호 매핑하여 줄 수 있다.
앞서 설명한 바와 같이, 기 저장된 음식정보는 적어도 하나의 음식에 대한 명칭정보, 레시피정보, 영양성분정보 및 기본중량정보를 포함하고, 이를 기반으로 생성하는 영양정보는 적어도 하나의 음식이 각각 포함된 영상정보는 물론, 적어도 하나의 음식 각각에 대한 명칭정보, 최종재료정보, 영양소정보 및 중량정보를 포함할 수 있다. 이때, 영양정보에 포함되는 중량정보는 사용자에게 제공된 각 음식의 중량정보인 제공중량정보 및 사용자가 섭취한 각 음식의 중량정보인 섭취중량정보 중 적어도 하나를 포함할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 S330 단계에 의해 매핑된 음식정보를 이용하여 영양정보를 생성 및 저장하고(S340), 그 영양정보를 사용자 단말(300)로 송신한다.
앞서 설명한 바와 같이, 본 발명은 기 저장된 음식정보를 기반으로 각종 정보를 확인하는데, 이하에서는 도 4를 기반으로 그에 대해 구체적으로 설명하고, 도 5를 기반으로 이를 이용하여 영양정보를 생성하는 동작에 대해 구체적으로 설명하도록 한다.
도 4는 본 개시의 일 실시예에 따른 기 저장된 음식정보의 일 예를 나타내는 도면이다.
도 4를 참조하면, 기 저장된 음식정보에는 앞서 설명한 바와 같이 명칭정보, 레시피정보, 기본제공중량정보 및 영양성분정보가 포함될 수 있다.
예를 들어, 청국장 찌개에 대한 음식정보에는 레시피정보로서 그 청국장을 조리하기 위한 사용되는 기본재료들과 각각의 중량은 물론, 청국장 찌개를 제공할 시 기본적으로 제공되는 기본제공중량(g), 그리고, 100g 당 포함되는 각종 영양소에 대한 정보를 포함할 수 있다.
한편, 도 4에는 도시하지 않았으나, 기 저장된 음식정보는 각 음식 별로 주로 적용되는 식기에 대한 정보인 적용식기정보를 더 포함하도록 할 수 있다. 이때, 그 적용되는 식기는 기본제공중량(g)을 담아낼 수 있는 크기를 갖는다.
이러한 기 저장된 음식정보를 데이터베이스로 생성 및 관리하기 위해, 서비스 제공 장치(200)는 미리 설정된 데이터셋을 기반으로 학습모델에 대한 학습을 수행하고, 추후 영양정보를 생성하기 위해 적어도 하나의 사용자로부터 입력(수신)되는 적어도 하나의 영상을 활용하여 그 학습모델의 성능을 개선하기 위해 미리 설정된 주기에 따라 학습을 반복적으로 수행할 수 있다.
도 5는 본 개시의 일 실시예에 따라 영양정보를 생성하는 구체적인 동작을 나타내는 도면으로서, 도 3의 S340 단계를 구체화한 것이다.
도 5를 참조하면, 서비스 제공 장치(200)는 S310 단계에 의해 수신된 적어도 하나의 영상을 기반으로 그 검출된 적어도 하나의 음식 각각의 재료를 인식하여 인식재료정보를 생성한다(S341). 이때, 각 재료의 중량을 함께 인식할 수 있는데, 이 경우 인식재료정보는 그 검출된 적어도 하나의 음식 각각의 재료뿐만 아니라, 각 재료에 대응하는 중량을 포함할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 기 저장된 음식정보로부터 그 검출된 적어도 하나의 음식 각각의 기본재료정보를 확인한다(S342). 구체적으로, 서비스 제공 장치(200)는 S330 단계에 의해 상호 매핑된 음식정보를 기반으로 해당 음식의 레시피 정보를 확인하고, 그 레시피 정보를 기반으로 해당 음식의 기본재료정보 및 각 기본재료의 중량정보를 기반으로 기본제공중량을 직접 산출하도록 하거나, 그 음식정보에 포함된 기본제공중량을 확인하도록 할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 S341 단계에 의해 생성된 인식재료정보 및 S342 단계에 의해 확인된 기본재료정보를 이용하여 최종재료정보를 생성한다(S343). 구체적으로, 인식재료정보 및 기본재료정보에 각각 포함된 재료들을 취합하되, 공통적으로 포함된 재료는 한 번만 포함되도록 하여 재료가 중복되지 않도록 최종재료정보를 생성한다.
예를 들어, 영상에 포함된 청국장 찌개를 검출하였고, 최종재료정보를 생성하기 위해 그 영상으로부터 크롭된 청국장 찌개 관련 영상으로부터 재료를 인식한 경우, 그 인식재료에 두부, 단호박 및 파가 더 포함되어 있다면, 도 4와 같은 기 저장된 음식정보의 청국장 찌개의 기본재료에는 그 인식재료들이 기재되어 있지 않지만, 이를 추가하여 최종재료정보를 생성할 수 있다.
이로써, 기본재료정보에는 포함되지 않았으나, 해당 음식을 조리할 시에 추가적으로 첨가된 재료를 인식하여 더 이용할 뿐만 아니라, 기본재료정보를 기반으로 영상으로는 인식되지 않는 재료들(예를 들어, 액상 또는 가루 형태의 조미료)까지도 이용할 수 있도록 함으로써, 사용자가 실제 섭취한 음식에 근접한 영양정보를 생성할 수 있도록 한다.
그 다음으로, 서비스 제공 장치(200)는 적어도 하나의 영상 및 기 저장된 음식정보를 기반으로 S343 단계에 의해 생성된 최종재료정보에 포함된 재료 각각의 중량을 확인하고(S344), 그 확인된 각 재료의 영양성분 및 각 영양성분의 중량을 이용하여 해당 음식의 영양소정보를 생성한다(S345). 여기서, 최종재료정보에 포함된 재료에는 기본재료정보에는 없으나 해당 영상을 통해 인식된 재료(인식재료)가 포함될 수 있는데, 이 경우에는 해당 음식의 음식정보를 통해 그 인식재료에 대한 중량을 확인할 수 없으므로, 해당 영상을 통해 인식된 인식재료의 중량을 이용할 수 있다. 이때, 해당 영상을 통해 인식된 인식재료는 인식재료정보를 생성할 시에 인식되는 것인 바, 영양소정보는 기 저장된 음식정보에 포함된 영양성분 및 각 영양성분의 중량을 기반으로 최종재료정보에 포함된 기본재료 및 인식재료 각각의 중량에 대해 산출하여 생성될 수 있다.
상기한 S341 단계 내지 S345 단계는 S310 단계에서 검출된 적어도 하나의 음식 각각에 대해 수행되는 바, S345 단계 이후, 적어도 하나의 음식 각각에 대한 각종 정보를 취합하여 영양정보를 생성한다(S346). 구체적으로, S346 단계는 S310 단계에서 검출된 음식이 복수개인 경우에 추가적으로 수행될 수 있는 것으로, 하나인 경우에는 각 음식에 대한 각종 정보를 취합하는 동작을 수행할 필요가 없으므로, 생략 가능하다.
한편, S346 단계에서 각 음식에 대한 각종 정보를 취합할 시, S310 단계에 의해 검출된 적어도 하나의 음식에 대한 각종 정보를 기 설정된 양식을 기반으로 정립하여 영양정보로서 생성할 수도 있지만, 적어도 하나의 음식 각각에 대한 각종 정보를 통합한 통합정보를 생성하여 그 영양정보에 더 포함시킬 수도 있다.
따라서, 영양정보는 사용자가 섭취한 적어도 하나의 음식 각각에 대한 명칭정보, 기본재료정보, 인식재료정보, 최종재료정보, 중량정보 및 영양소정보 중 적어도 하나를 포함할 수 있으며, 나아가 그 각각의 정보를 통합(합산)하여 생성된 통합정보를 더 포함할 수 있다.
한편, 서비스 제공 장치(200)는 S345 단계에서 영양소정보를 생성할 시, 기본제공중량을 기반으로 해당 음식의 중량을 산출하고, 그에 대한 보정을 수행할 수 있는데, 그 구체적인 동작에 대해서는 이하에서 도 6을 기반으로 설명하도록 한다.
도 6은 본 개시의 다른 실시예에 따라 영양소정보를 생성하는 구체적인 동작을 나타내는 도면으로서, 도 5의 S345 단계를 구체화한 것이다.
서비스 제공 장치(200)는 S344 단계에 의해 확인된 각 재료의 중량을 이용하여 해당 음식의 중량을 산출하고(S3451), 기 저장된 음식정보를 기반으로 해당 음식의 중량에 대한 보정 여부를 결정한다(S3452).
구체적으로, 해당 음식의 중량을 해당 음식에 대응하는 기본제공중량과 비교하여 결정하되, 그 비교 결과, 해당 음식의 중량이 기본제공중량을 벗어나는 경우에는 보정을 수행하도록 결정하고, 그 비교 결과, 해당 음식의 중량이 기본제공중량을 벗어나지 않는 경우에는 보정을 수행하지 않는 것으로 결정한다.
여기서, 기본제공중량은 최소제공중량 및 최대제공중량 중 적어도 하나를 이용하여 설정되거나, 그 최소제공중량 및 최대제공중량을 기반으로 설정된 제공중량범위일 수 있다. 한편, 기본제공중량은 해당 음식이 담긴 해당 식기에 담길 수 있는 음식의 최소허용중량 및 최대허용중량 중 적어도 하나를 이용하여 설정되거나, 그 최소허용중량 및 최대허용중량을 기반으로 설정된 허용중량범위일 수 있다. 즉, 기본제공중량은 각 음식 별로 특성에 따라 제공되는 식기를 고려하여 설정되는 것이다. 이 경우, 기본제공중량은 기 저장된 음식정보에 사전 정의되어 설정될 수도 있고, 기 저장된 음식정보에 포함된 적용식기정보를 기반을 산출되거나, S310 단계에서 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출할 시, 그 적어도 하나의 영상에 포함된 적어도 하나의 식기에 대한 정보(식기정보)를 함께 검출하여 이를 기반으로 산출될 수 있다.
이때, S3452 단계에 의해 해당 음식의 중량을 보정하도록 결정된 경우, 해당 음식의 최종재료정보의 전체 또는 일부 재료에 대한 중량을 보정하도록 할 수 있다. 예를 들어, 그 최종재료정보에 포함된 각종 재료들 중 수분을 제외한 나머지 모든 재료의 중량을 보정하는 제1 보정방식, 수분 및 기본재료의 중량은 그대로 두고 이를 제외한 인식재료의 중량만을 보정하는 제2 보정방식 및 전체 재료의 중량을 모두 비례하여 보정하는 제3 보정방식 중 적어도 하나의 방식을 이용하여 해당 음식의 중량을 보정할 수 있다. 한편, 추가적으로 최종재료정보에서 고명에 해당하는 재료의 중량은 제외하고 해당 음식의 중량을 보정하도록 할 수도 있다. 이를 위해, 기 설정된 음식정보는 각 음식에 포함된 각 재료의 분류군정보를 더 포함할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 S3452 단계의 결정에 따라 보정되거나 보정되지 않은 해당 음식의 중량을 기반으로 영양소정보를 생성한다(S3453). 이때, 영양소정보는 기 설정된 음식정보에 포함된 영양성분정보를 이용하여 생성될 수 있다.
한편, 본 발명은 다른 실시예로서, 도 6에서와 같이 해당 음식에 대한 중량을 보정하여 영양정보를 1차적으로 생성한 후, 필요에 따라 해당 식기에 대한 식기정보를 기반으로 예측된 음식의 부피를 더 고려하여 영양정보를 2차적으로 생성하도록 할 수 있다. 즉, 보정된 해당 음식의 중량 및 예측된 음식의 부피에 따른 중량 간의 차이값이 미리 설정된 임계범위를 벗어나지 않으면 영양정보를 2차적으로 생성할 필요가 없으며, 1차적으로 생성된 영양정보를 최종 영양정보로서 사용자 단말(300)로 제공할 수도 있다. 한편, 다른 실시예에서는 식기정보를 이용해야하므로, 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출할 시에 적어도 하나의 식기를 함께 검출하도록 할 수 있다. 그에 대한 구체적인 동작은 이하에서 도 7 내지 도 13을 기반으로 설명하도록 한다.
이하에서는 도 7을 참조하여 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에 대해 구체적으로 살펴보도록 한다.
도 7은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법을 나타내는 도면이다.
도 7을 참조하면, 서비스 제공 장치(200)는 촬상 장치(100)로부터 적어도 하나의 영상이 수신되면, 적어도 하나의 영상 각각에 포함된 적어도 하나의 식기 및 적어도 하나의 음식을 구분하여 검출한다(S410).
그 다음으로, 서비스 제공 장치(200)는 학습모델을 기반으로 S410 단계에 의해 검출된 적어도 하나의 음식 각각의 명칭을 확인하고(S420), 기 저장된 식기정보를 이용하여 S410 단계에 의해 검출된 적어도 하나의 식기의 크기를 예측한다(S430). 이때, 도 7에는 S420 단계를 S430 단계보다 먼저 도시하였으나, 430 단계와 동시에 수행되거나, S430 단계가 먼저 수행될 수도 있으며, 그 수행되는 순서는 무관하다.
그 다음으로, 서비스 제공 장치(200)는 S430에 의해 예측된 각 식기의 크기를 이용하여 S410 단계에 의해 검출된 각 음식의 부피를 예측하고(S440), 각 식기에 담긴 음식의 부피 및 기 저장된 음식정보를 이용하여 영양정보를 생성한다(S450).
구체적으로는, S450 단계를 수행할 시, 도 5 및 도 6의 각 단계들을 먼저 수행하여 해당 음식에 대한 영양정보를 1차적으로 생성한 후, S440 단계에 의해 예측된 각 음식의 부피를 이용하여 해당 음식에 대한 영양정보를 2차적으로 생성한다. 이때, 2차적으로 생성되는 영양정보는 S3452 단계에 의해 보정된 해당 음식의 중량을 S440 단계에 의해 예측된 해당 음식의 부피를 고려하여 보정함으로써 생성될 수 있다.
즉, 도 3의 S330 단계와 같이 S420 단계에 의해 확인된 각 음식의 명칭을 통해 기 저장된 음식정보에 포함된 음식정보와 매핑을 수행하여 각 음식에 대한 정보들을 확인함으로써 중량을 산출하되, 각 식기에 담긴 해당 음식의 실제 부피를 고려하여 그 산출된 중량을 보정하여 최종 영양정보를 생성하도록 하는 것이다.
한편, 본 발명은 각 식기의 크기를 예측하기 위해 다양한 방식을 적용하여 이용할 수 있는데, 이하에서는 도 8 내지 도 13을 기반으로 제1 방식 또는 제2 방식을 이용하여 그 식기의 크기를 예측하는 동작 및 그 예측된 식기의 크기를 이용하여 각 음식의 부피를 측정하는 동작에 대해 구체적으로 살펴보도록 한다.
도 8은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 각 식기의 크기를 예측하는 구체적인 동작을 나타내는 도면으로서, 도 7의 S430 단계를 구체화한 것이다. 여기서, 제1 방식은 증강현실 기반으로 구현된 영상을 이용하는 방식이다. 한편, 도 9는 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 각 식기의 크기를 예측하기 위해 증강현실 기반으로 구현된 영상의 일 예를 나타내는 도면이다.
도 8을 참조하면, 서비스 제공 장치(200)는 해당 식기가 포함된 적어도 하나의 영상 중 적어도 일부를 증강현실 기반으로 구현하고(S431), 그 증강현실로 구현된 적어도 하나의 영상을 기반으로 해당 식기의 면적을 결정한다(S432). 구체적으로, 영상이 증강현실로 구현되면, 도 9에서와 같이 해당 영상 상에 그리드(grid)가 표시되고, 그 그리드의 크기를 기반으로 해당 영상에 포함된 적어도 하나의 식기 각각의 면적을 결정할 수 있다. 이때, 그 너비 및 높이의 편차가 심한 그리드에 대해서는, 적어도 하나의 주위(인접) 그리드의 너비 및 높이를 참조하여 자동으로 그리드 자체에 대한 보정을 수행할 수 있다. 즉, 그리드가 표시된 영상에서 각각의 인접한 셀(cell) 간 자체 비교를 통해 기 설정된 값 이상의 오차가 발견되면 보정을 수행하도록 하는 것이다.
그 다음으로, 서비스 제공 장치(200) 그 결정된 면적을 기반으로 해당 식기의 종류를 분류하고(S433), 상기 해당 식기의 종류를 기반으로 기 저장된 식기정보를 통해 해당 식기의 크기(사이즈)를 확인한다(S434). 즉, 기 저장된 식기정보에서 해당 식기의 종류에 대응하는 식기정보를 기반으로 해당 식기의 크기를 확인할 수 있다.
그러나, 이는 하나의 실시예일 뿐, 증강현실로 구현된 영상을 기반으로 해당 식기의 면적뿐만 아니라, 높이를 더 확인할 수 있으며, 이 경우, 면적 및 높이를 모두 이용하여 해당 식기의 종류를 분류하여 그 정확도를 더욱 향상시킬 수 있다. 즉, 해당 식기의 종류를 분류하기 위해 증강현실로 구현된 영상을 통해 결정된 해당 식기의 면적 및 높이 중 적어도 하나를 이용하도록 할 수 있으며, 이를 한정하지 않는다.
도 10은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제1 방식에 따라 예측된 각 식기의 크기를 기반으로 해당 음식의 부피를 예측하는 구체적인 동작을 나타내는 도면으로서, 도 7의 S440 단계를 구체화한 것이다.
도 10을 참조하면, 서비스 제공 장치(200)는 S431 단계에 의해 증강현실로 구현된 영상에서 바닥면(또는 테이블면)을 인식하고(S441), 그 촬상 각도를 측정한다(S442). 이때, 바닥면을 인식하기 위한 가상의 면이 그 영상 상에 표시될 수 있다.
그 다음으로, 서비스 제공 장치(200)는 S442 단계에 의해 측정된 촬상 각도를 이용하여 해당 식기에 담긴 해당 음식의 높이를 산출하고(S443), 그 산출된 높이 및 도 8의 S434 단계에 의해 확인된 해당 식기의 크기를 이용하여 해당 음식의 부피를 산출한다(S444).
도 11은 본 개시의 다른 실시예에 따라 촬상 각도를 기반으로 해당 식기에 담긴 해당 음식의 부피를 산출하기 위한 일 예를 나타내는 도면으로서, 도 10의 S443 단계의 일 예시에 해당한다.
도 11을 참조하면, 증강현실로 구현된 영상에서 바닥면(또는 테이블면)을 인식하여 촬상 장치(100)의 촬상 각도(θ1)를 측정한다.
또한, 증강현실로 구현된 영상을 기반으로 해당 식기의 너비(wbowl)를 기반으로 면적을 결정하고, 그 너비(wbowl)를 기반으로 기 저장된 식기정보를 이용하여 해당 식기의 종류를 분류하고, 해당 식기의 크기(사이즈)를 확인함으로써 해당 식기의 벽면 기울기(θ2), 높이(hbowl) 등을 확인할 수 있다.
한편, 그 확인되는 해당 식기의 크기(사이즈)를 기반으로 하기와 <수학식 1>을 이용하여 각 높이(h2 및 h3)를 산출한다. 여기서, h2 및 h3는 모두 해당 식기의 최대 높이 및 해당 음식의 높이 간 차이값에 해당하는 것으로, h2는 해당 식기의 벽면 기울기가 더 고려된 값이고, h3는 그 벽면 기울기가 고려되지 않은 값이라는 점에서 상이하다.
이후, 앞서 결정된 해당 식기의 높이(hbowl) 및 높이(h3)를 이용하여 해당 음식의 높이(hfood)를 산출할 수 있으며, 하기 <수학식 2>와 같이 나타낼 수 있다.
이로써, 해당 식기에 담긴 실제 음식의 높이만큼의 부피를 최종 음식의 부피로 결정한다.
도 12는 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제2 방식에 따라 각 식기의 크기를 예측하는 구체적인 동작을 나타내는 도면으로서, 도 7의 S410 단계 내지 S430 단계를 구체화한 것이다. 여기서, 제2 방식은 영상에 바운딩 박스(Bounding box)를 표시하여 이용하는 방식이다.
도 12를 참조하면, 서비스 제공 장치(200)는 S410 단계에서 각 영상에 포함된 각 객체에 대해 바운딩 박스를 표시하고, 그 바운딩 박스 내의 객체 중 식기 및/또는 음식을 검출하여 라벨링을 수행한다(S411).
그 다음으로, 서비스 제공 장치(200)는 420 단계에서 S411 단계에 의해 검출된 적어도 하나의 음식 각각의 명칭을 확인한다(S421).
그 다음으로, 서비스 제공 장치(200)는 430 단계에서 해당 음식이 담긴 식기를 포함하는 바운딩 박스의 너비를 확인하고(S435), 그 확인된 너비 및 해당 음식의 특성을 기반으로 해당 식기의 종류를 분류하여 해당 식기의 크기(사이즈)를 확인한다(S436). 즉, 기 저장된 식기정보를 기반으로 해당 식기의 종류에 대응하는 식기정보를 확인하여 해당 식기의 크기를 확인하도록 한다. 이때, 바운딩 박스의 면적을 확인하기 위해 해당 영상 상에는 그리드(투명, 반투명, 불투명 중 어느 하나의 형태)가 더 표시될 수 있으며, 이때 그리드는 등간격으로 화면이 분할된 것일 수 있다.
그러나, 이는 하나의 실시예일 뿐, 해당 식기의 종류를 분류할 시, 너비 및 형태 중 적어도 하나를 고려할 수 있으며, 해당 음식의 특성은 고려되지 않을 수 있다.
도 13은 본 개시의 다른 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보 제공 방법에서 제2 방식에 따라 각 식기의 크기를 예측하기 위해 바운딩 박스를 표시한 영상의 일 예를 나타내는 도면이다.
도 13을 참조하면, (a) 및 (b)에 도시된 바와 같이 액체 형태의 음식이 담긴 식기를 상부에서 촬상하여 영상을 각각 획득한 경우, 각각의 영상에서 식기 및 음식을 각각 검출하여 바운딩 박스를 표시하고, 각 바운딩 박스의 너비와 해당 식기의 종류를 라벨링 한다. 뿐만 아니라, 해당 식기의 바운딩 박스와 그 식기에 담긴 음식의 바운딩 박스 간 중첩 비율(rate)(IOU)을 라벨링 할 수 있다.
이 경우, 해당 식기에 담긴 실제 음식의 부피를 예측하기 위해 먼저, 해당 식기의 부피(용량)를 산출한다. 이때, 해당 식기의 부피는 하기 <수학식 3>을 이용하여 산출할 수 있다.
여기서, IOU는 해당 식기의 바운딩 박스와 그 식기에 담긴 해당 음식의 바운딩 박스 간 중첩 비율(겹치는 정도)이고, Tmax는 해당 식기와 해당 음식에 대한 IOU의 최대치를 나타내며, Vfull은 해당 식기의 최대 용량(ml)을 나타낸다.
이때, Vfull은 해당 식기의 종류에 따라 상이하게 정의될 수 있다.
예를 들어, 해당 식기가 볼(bowl)인 경우, Vfull은 하기 <수학식 4>와 같이 나타낼 수 있다.
만약, 해당 식기가 접시(plate)인 경우, Vfull은 하기 <수학식 5>와 같이 나타낼 수 있다.
상기한 <수학식 4> 및 <수학식 5>에서 d는 해당 식기의 지름을 나타내고, hpredict는 해당 식기의 높이를 나타낸다. 이때, 해당 식기의 높이는 기 저장된 식기정보로 사전 정의됨에 따라, 기 저장된 식기정보를 통해 확인할 수 있다.
즉, 서비스 제공 장치(200)는 해당 음식이 담긴 식기 또는 음식을 포함하는 바운딩 박스 각각의 너비를 이용하여 면적 정보를 추출함으로써, 해당 식기에 담긴 음식의 부피를 산출할 수 있다.
한편, 해당 식기의 식기정보를 기반으로 해당 음식의 중량을 보정할 시, 그 보정은 하기 <수학식 6> 및 <수학식 7>을 기반으로 이뤄질 수 있다.
먼저, 해당 음식의 중량을 해당 식기의 허용 부피를 고려하여 보정된 해당 음식의 중량은 하기 <수학식 6>과 같이 나타낼 수 있다.
여기서, Wfood는 해당 음식의 기준 중량(g)으로서 기 저장된 음식정보를 기반으로 산출된 해당 음식의 중량이고, Vunitplate는 해당 식기의 허용 부피(ml)로서 기 저장된 식기정보를 기반으로 확인될 수 있다.
한편, 그 보정된 해당 음식의 중량에 해당 식기에 담긴 실제 음식의 부피를 고려하여 산출된 해당 음식의 중량은 하기 <수학식 7>과 같이 나타낼 수 있다.
여기서, W는 해당 식기에 담긴 실제 음식의 중량이고, Vplate는 해당 식기에 담긴 실제 음식의 부피이다.
앞서 설명한 바와 같이, 도 7 내지 도 13의 각 동작을 수행하기 위해서는, 서비스 제공 장치(200)는 기 저장된 식기정보를 필요로 하는데, 이때, 기 저장된 식기정보는 적어도 하나의 식기에 대한 분류정보, 종류정보, 크기(너비, 높이 등)정보, 비율정보(각 식기의 음식 비율에 대한 정보), 무게정보, 허용중량정보, 허용부피정보, 최소면적정보 및 최대면적정보 중 적어도 하나를 포함할 수 있다. 그러나, 그 포함되는 정보의 종류를 한정하지 않으며, 관리자 또는 사용자에 의해 변경되어 설정될 수도 있다. 하기의 <표 1>은 기 저장된 식기정보에 대한 일 예시를 나타낸 것이다.
| 분류 | 종류 | 허용중량/허용부피 | 비율 | 최소면적 | 최대면적 |
| 볼 (bowl) |
작은 공기 | 150g | 0.71 | - | 80 |
| 중간 공기 | 210g | 1.00 | 81 | 120 | |
| 큰 공기 | 250g | 1.19 | 121 | 168 | |
| 국 그릇 | 250~400ml | 1.55 | 169 | 224 | |
| 대접 | 400~600ml | 2.38 | 224 | 255 | |
| 면기 | ~800ml | 3.81 | 256 | - | |
| 뚝배기 | 600~700ml | 3.10 | 169 | 224 | |
| 컵 (cup) |
컵 | 200ml | 0.8 | - | - |
| 머그잔 | 355ml | 1.42 | - | - | |
| 생맥주잔 | 500ml | 2 | - | - | |
| 식판 (foodtray) |
소식판 | - | 3.6 | 0 | 35 |
| 대식판 | - | 5.2 | 35 | 9999 | |
| 접시 (plate) |
종지 | ~50g | 0.6 | - | 63 |
| 소접시 | 50~100g | 0.9 | 64 | 168 | |
| 중접시 | 100~150g | 1.47 | 169 | 288 | |
| 대접시 | 150g~300g | 1.8 | 289 | 440 | |
| 뷔페접시 | 300g~ | 2.25 | 441 | - |
도 14는 본 개시의 일 실시예에 따라 촬상 장치로부터 수신된 영상을 기반으로 각 음식의 명칭을 확인하는 일련의 동작을 나타내는 도면이다.
도 14를 참조하면, 서비스 제공 장치(200)는 촬상 장치(100)로부터 영상(P)이 수신되면, 그 영상(P)에 포함된 적어도 하나의 객체를 검출한다. 이때, 검출된 적어도 하나의 객체는 식기 및 음식 중 적어도 하나일 수 있다.
한편, 검출된 객체 별로 영상이 크롭되어 제공될 수 있으며, 그 크롭된 각각의 영상을 분석하여 기 저장된 음식정보를 기반으로 각 객체의 음식정보를 확인한다. 이로써, 해당 음식의 명칭, 레시피, 영양소 및 중량 중 적어도 하나를 확인할 수 있는 것이다.
비록, 도 14에는 촬상 장치(100)로부터 수신된 영상(P)을 하나만 도시하였으나, 이는 설명의 편의를 위한 것일 뿐, 동일한 식기 및/또는 음식이 포함된 영상(P)이 적어도 하나 이상 수신될 수 있으며, 이를 통해 보다 정확한 분석이 가능하도록 한다.
도 15는 본 개시의 일 실시예에 따라 촬상 장치로부터 수신된 영상으로부터 적어도 하나의 식기 및/또는 적어도 하나의 음식을 검출하는 일 예를 나타내는 도면이다.
도 15에 도시된 바와 같이, 서비스 제공 장치(200)는 촬상 장치(100)로부터 다양한 형태의 영상이 수신될 수 있다.
(a)에 도시된 바와 같이 하나의 식기와 그 하나의 식기에 담긴 복수의 음식을 포함하는 영상이 제공되거나, (c)에 도시된 바와 같이 하나의 식기에 담긴 하나의 음식을 포함하는 영상이 제공될 수 있다. 더욱이, (c)의 영상에서는 추가적인 재료들을 포함하고 있는 바, 이를 최종재료정보를 생성할 시에 인식재료로서 검출할 수 있다.
또한, (b)에 도시된 바와 같이, 하나의 식기에 담긴 액상 형태의 음식을 복수개 포함하는 영상이 제공되거나, (d)에 도시된 바와 같이, 복수의 식기와, 그 복수의 식기 각각에 담긴 음식을 포함하는 영상이 제공될 수 있다.
서비스 제공 장치(200)는 이와 같은 영상으로부터 식기 및/또는 음식을 구분하여 검출하되, (a) 내지 (d)에 도시된 바와 같이, 각 영상에 포함된 적어도 하나의 식기(점선 박스) 및/또는 각 식기에 담긴 적어도 하나의 음식(실선 박스)을 구분하여 검출할 수 있다.
도 16은 본 개시의 일 실시예에 따라 촬상 장치를 통해 식기 및/또는 음식이 포함된 영상을 촬상할 시에 디스플레이부에 디스플레이되는 화면의 일 예를 나타내는 도면으로서, 이는 앞서 설명한 제1 형태에 관한 것으로 촬상 장치(100)가 사용자 단말(300)에 구비된 경우일 수 있다.
이때, 사용자 단말(300)의 디스플레이부(310)에는 촬상하고자 하는 영상과 그 영상에 촬상을 가이드하는 문구 또는 이미지가 함께 표시될 수 있으며, 촬상 조건을 설정할 수 있도록 하는 버튼이 표시될 수 있다.
이때, 사용자 단말(300)은 촬상을 위해 서비스 제공 장치(200)에서 제공하는 서비스를 위한 별도의 어플리케이션을 통해 이뤄지거나, 사용자 단말(300)에 구비된 카메라 어플리케이션을 통해 이뤄질 수도 있다.
도 17은 본 개시의 일 실시예에 따라 생성된 영양정보가 사용자 단말에 디스플레이부 상에 디스플레이된 일 예를 나타내는 도면이다.
도 17을 참조하면, 사용자 단말(300)은 도 15에서와 같이 촬상을 수행한 이후, 그 촬상된 영상을 서비스 제공 장치(200)로 송신하고, 서비스 제공 장치(200)로부터 그 촬상된 영상을 기반으로 분석된 영양정보를 제공받을 수 있다.
그 영양정보는 사용자 단말(300)의 디스플레이부(310) 상에 시각화되어 표시됨으로써, 사용자가 보다 용이하게 확인할 수 있도록 한다.
한편, 본 발명은 적어도 하나의 영상에 대한 전처리 동작을 수행하여 각 영상으로부터 적어도 하나의 음식을 검출한다. 이하에서 도 18 내지 도 20을 기반으로 적어도 하나의 영상을 통해 적어도 하나의 음식을 검출하는 동작을 구체적으로 설명하도록 한다.
도 18은 본 개시의 일 실시예에 따른 인공지능을 활용한 영상 분석 기반 영양정보를 제공하기 위해 학습모델을 이용하여 적어도 하나의 영상으로부터 적어도 하나의 음식을 검출하는 동작의 순서를 나타내는 도면으로, 도 3의 S310 단계를 구체화한 것이다.
도 18을 참조하면, 서비스 제공 장치(200)는 적어도 하나의 영상이 수신되면, 학습모델에 입력하여 각 영상에서 적어도 하나의 객체를 검출하고(S311), 그 검출된 적어도 하나의 객체에서 음식에 해당하는 객체에 대해서 1차 크롭을 수행하여 각 음식 별 이미지를 생성한다(S312).
그 다음으로, 서비스 제공 장치(200)는 S312 단계에 의해 1차 크롭된 각 음식 별 이미지에서 관심 영역(Region of Interest)을 설정하여 2차 크롭을 수행하여 전처리하고(S313), 그 2차 크롭된(전처리 된) 각 음식 별 이미지로부터 재료를 인식하여 각 영상으로부터 검출된 음식의 명칭을 생성한다(S314). 이때, S312 단계 내지 S313 단계는 S311 단계에 의해 적어도 하나의 객체가 검출된 각 영상에 대한 전처리 동작을 구체화한 것으로, 즉, 적어도 하나의 객체가 검출된 적어도 하나의 영상 각각을 전처리 한 후, 그 전처리된 적어도 하나의 영상 각각에서 재료를 인식하여 각 음식 별 명칭을 생성하도록 한다. 그러나, 이는 하나의 실시예에 해당할 뿐, 그 전처리 동작을 1차 크롭 및 2차 크롭만으로 한정하지 않으며, 그 외 추가적인 동작이 더 수행되거나 한번의 크롭 동작만을 수행하도록 할 수도 있다.
이렇게 생성된 음식의 명칭을 통해 적어도 하나의 영상으로부터 검출된 적어도 하나의 음식을 확인할 수 있다.
그 생성된 음식의 명칭을 이용하여 S320 단계에서 기 저장된 음식정보와 매핑을 수행하게 되는 것이다.
도 19는 본 개시의 일 실시예에 따라 적어도 하나의 영상으로부터 적어도 하나의 음식을 검출할 시에 인식된 재료를 처리하는 동작의 순서를 나타내는 도면으로서, 도 18의 S313 단계를 구체화한 것이다.
도 19를 참조하면, 서비스 제공 장치(200)는 2차 크롭된 각 음식 별 이미지로부터 각 음식에 대한 적어도 하나의 재료를 인식하고(S3131), 그 인식된 적어도 하나의 재료 및 기 저장된 재료정보를 기반으로 각 음식의 이름을 예측한다(S3132). 여기서, 기 저장된 재료정보는 적어도 하나의 음식 각각에 대한 주요 재료 리스트를 포함할 수 있다. 그러나, 이는 하나의 실시예일 뿐, 기 저장된 재료정보를 활용하지 않고 빅데이터를 기반으로 각 음식의 이름을 예측하도록 할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 S3132 단계에 의해 인식된 적어도 하나의 재료 각각의 분류군을 확인하고(S3133), 그 확인된 각 재료의 분류군을 기반으로 재료 리스트를 생성한다(S3134). 다만, 재료 리스트를 생성할 시, S543 단계에 의해 확인된 각 재료의 분류군 중 동일 분류군에 해당하는 재료가 기 설정된 개수 이상 존재하는 경우, 그 동일 분류군의 재료에 대해서는 상위 분류군으로 통합할 수 있다. 예를 들어, 채소에 해당하는 재료로서 파, 파프리카, 오이로 3개 이상 존재하는 경우에는 그 3개의 재료를 이를 통칭할 수 있는 상위 분류군인 채소로 통합하고, 과일에 해당하는 재료로서 사과, 오렌지, 감으로 3개 이상 존재하는 경우에는 그 3개의 재료를 이를 통칭할 수 있는 상위 분류군인 과일로 통합한다. 또한, 재료 리스트를 생성할 시, 인식이 어려운 재료에 대해서도 상위 분류군으로 그 분류군을 확인하도록 할 수 있다.
그 다음으로, 서비스 제공 장치(200)는 S3134 단계에 의해 생성된 재료 리스트에서 각 재료를 기 설정된 우선순위에 따라 순서대로 정렬(나열)하여 제공할 수 있다(S3135). 이때, 우선순위는 사용자 또는 관리자에 의해 미리 설정될 수 있는 것으로, 선호도, 비중, 칼로리, 영양소 등을 기준으로 기 저장된 재료정보(적어도 하나의 음식 별 명칭 및 기본재료에 대한 정보를 포함함)에 대한 우선순위를 설정할 수 있다. 예를 들어, 선호도를 기준으로 하는 경우에는 사용자가 각 재료를 선호하는 순(이 경우, 사용자가 선호하는 재료에 대한 취향 정보를 미리 입력받아 사용자 정보로서 저장 및 관리함으로써 활용할 수 있음), 비중을 기준으로 하는 경우에는 해당 음식에서 각 재료가 차지하는 비중(주재료, 부재료, 고명 등) 순, 칼로리를 기준으로 하는 경우에는 각 재료의 칼로리 순, 영양소를 기준으로 하는 경우에는 특정 영양소가 많은 순으로 그 우선순위가 미리 설정될 수 있다. 즉, 이러한 특정 기준들에 따라 미리 설정된 우선순위를 기반으로 재료 리스트에 포함된 각 재료가 나열될 수 있다.
아울러, 서비스 제공 장치(200)는 재료 리스트를 생성할 시, 그 적어도 하나의 재료 중 기 설정된 개수의 재료만을 활용하도록 할 수 있고, 동시에 기 저장된 재료정보에 포함된 기본재료에는 기재되어 있지 않은 재료만을 활용하도록 할 수 있다. 그러나, S3135 단계는 생략될 수 있으며, 필수적으로 수행해야 하는 동작은 아니다. 예를 들어, 김밥으로 예측된 상태에서, 그 이미지로부터 인식된 재료는 밥, 단무지, 계란, 참치이고, 기 저장된 재료정보에서 확인된 김밥의 기본재료는 밥, 단무지, 계란, 참치인 경우, 재료 리스트에는 앞서 인식된 재료에서 참치만을 포함하도록 한다.
그 다음으로, 서비스 제공 장치(200)는 S3132 단계에 의해 예측된 각 음식의 이름과 S3135 단계에 의해 정렬된 재료 리스트를 함께 표시하여 각 음식에 대응하는 음식의 명칭으로서 생성한다(S3136).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
10: 영양정보 제공 시스템 100: 촬상 장치
200: 서비스 제공 장치 210: 통신모듈
230: 저장모듈 250: 제어모듈
300: 사용자 단말 310: 디스플레이부
200: 서비스 제공 장치 210: 통신모듈
230: 저장모듈 250: 제어모듈
300: 사용자 단말 310: 디스플레이부
Claims (10)
- 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템에 있어서,
적어도 하나의 식기 또는 상기 적어도 하나의 식기에 각각 담긴 적어도 하나의 음식이 포함된 적어도 하나의 영상을 획득하는 적어도 하나의 촬상 장치;
상기 적어도 하나의 영상이 수신되면, 상기 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하고, 학습모델을 이용하여 상기 적어도 하나의 음식 각각에 대한 기본재료정보 및 인식재료정보를 생성하고, 상기 기본재료정보 및 상기 인식재료정보를 기반으로 최종재료정보를 생성하고, 기 저장된 음식정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 중량을 고려하여 영양정보를 생성하는 서비스 제공 장치; 및
상기 영양정보가 수신되면, 상기 영양정보를 시각화하여 디스플레이하는 사용자 단말을 포함하고,
상기 서비스 제공 장치는,
상기 영양정보를 생성할 시, 상기 최종재료정보에 포함된 각 재료의 중량을 확인하여 해당 음식의 중량을 산출한 후, 기본제공중량을 기반으로 상기 해당 음식의 중량에 대한 보정 여부를 1차적으로 결정하고, 기 설정된 식기정보를 이용하여 예측된 상기 해당 음식의 부피를 기반으로 상기 해당 음식의 중량에 대한 보정 여부를 2차적으로 결정하는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제1항에 있어서,
상기 적어도 하나의 촬상 장치는,
2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서 및 레이(array) 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제2항에 있어서,
적어도 하나의 촬상 장치는,
상기 사용자 단말에 구비되는 제1 형태, 상기 서비스 제공 장치에 구비되는 제2 형태 및 특정 공간에 각각 배치되어 설치되는 제3 형태 중 적어도 하나의 형태로 구비되는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제1항에 있어서,
상기 서비스 제공 장치는,
상기 학습모델을 이용하여 상기 적어도 하나의 영상 각각에 포함된 재료를 인식하여 상기 적어도 하나의 음식 각각에 대해 상기 인식재료정보를 생성하는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제4항에 있어서,
상기 서비스 제공 장치는,
상기 적어도 하나의 영상 각각에 포함된 재료를 인식할 시, 상기 각 재료의 중량 또한 인식하여 상기 인식재료정보에 포함시키는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제5항에 있어서,
상기 기 저장된 음식정보는,
상기 적어도 하나의 음식 각각에 대한 명칭정보, 레시피정보, 영양성분정보 및 기본중량정보 중 적어도 하나를 포함하고,
상기 레시피정보는,
각각을 조리하기 위해 필요한 적어도 하나의 재료를 포함하는 상기 기본재료정보 및 상기 적어도 하나의 재료 각각에 대한 중량정보를 포함하고,
상기 영양성분정보는,
상기 적어도 하나의 재료 각각에 포함된 영양성분 및 각 영양성분에 대한 중량을 포함하며,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제6항에 있어서,
상기 서비스 제공 장치는,
상기 최종재료정보를 생성할 시,
상기 기본재료정보 및 상기 인식재료정보에 각각 포함된 적어도 하나의 재료를 모두 취합하고, 상기 취합된 적어도 하나의 재료에서 중복되는 재료를 확인한 후, 중복되는 재료는 한 번만 포함되도록 하는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 제6항에 있어서,
상기 서비스 제공 장치는,
상기 영양정보를 생성할 시, 상기 레시피정보 및 상기 인식재료정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 중량을 확인하고, 상기 영양성분정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 영양성분 및 상기 각 영양성분에 대한 중량을 확인하여 영양소정보를 생성하는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템.
- 삭제
- 장치에 의해 수행되는, 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 방법에 있어서,
적어도 하나의 영상이 수신되면, 상기 적어도 하나의 영상에 포함된 적어도 하나의 음식을 검출하는 단계;
학습모델을 이용하여 상기 적어도 하나의 음식 각각에 대한 기본재료정보 및 인식재료정보를 생성하는 단계;
상기 기본재료정보 및 상기 인식재료정보를 기반으로 최종재료정보를 생성하는 단계; 및
기 저장된 음식정보를 기반으로 상기 최종재료정보에 포함된 각 재료의 중량을 고려하여 영양정보를 생성하는 단계를 포함하고,
상기 영양정보를 생성하는 단계는,
상기 최종재료정보에 포함된 각 재료의 중량을 확인하여 해당 음식의 중량을 산출한 후, 기본제공중량을 기반으로 상기 해당 음식의 중량에 대한 보정 여부를 1차적으로 결정하고, 기 설정된 식기정보를 이용하여 예측된 상기 해당 음식의 부피를 기반으로 상기 해당 음식의 중량에 대한 보정 여부를 2차적으로 결정하는 것을 특징으로 하는,
인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220106816A KR102473283B1 (ko) | 2022-08-25 | 2022-08-25 | 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220106816A KR102473283B1 (ko) | 2022-08-25 | 2022-08-25 | 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102473283B1 true KR102473283B1 (ko) | 2022-12-02 |
Family
ID=84413125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220106816A KR102473283B1 (ko) | 2022-08-25 | 2022-08-25 | 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102473283B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100824350B1 (ko) * | 2006-10-26 | 2008-04-22 | 김용훈 | 실시간 음식물 정보 제공 방법 및 장치 |
| KR101375018B1 (ko) | 2012-11-22 | 2014-03-17 | 경일대학교산학협력단 | 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치 |
| KR20200064508A (ko) * | 2018-11-29 | 2020-06-08 | 울산과학기술원 | 식품 영양소 섭취량 분석 장치 및 그 방법 |
| KR20210099876A (ko) * | 2020-02-05 | 2021-08-13 | 주식회사 아이앤아이솔루션 | 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법 |
-
2022
- 2022-08-25 KR KR1020220106816A patent/KR102473283B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100824350B1 (ko) * | 2006-10-26 | 2008-04-22 | 김용훈 | 실시간 음식물 정보 제공 방법 및 장치 |
| KR101375018B1 (ko) | 2012-11-22 | 2014-03-17 | 경일대학교산학협력단 | 이미지 인식을 통한 음식 정보를 제공하기 위한 방법 및 장치 |
| KR20200064508A (ko) * | 2018-11-29 | 2020-06-08 | 울산과학기술원 | 식품 영양소 섭취량 분석 장치 및 그 방법 |
| KR20210099876A (ko) * | 2020-02-05 | 2021-08-13 | 주식회사 아이앤아이솔루션 | 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102473282B1 (ko) | 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템 및 방법 | |
| US12080403B2 (en) | Meal service management system and operating method therefor | |
| US9734426B2 (en) | Automated food recognition and nutritional estimation with a personal mobile electronic device | |
| US20120179665A1 (en) | Health monitoring system | |
| KR102606359B1 (ko) | 급식관리 시스템 | |
| CN103562921B (zh) | 位置启用的食物数据库 | |
| US9314206B2 (en) | Diet and calories measurements and control | |
| US20160148536A1 (en) | Tracking Nutritional Information about Consumed Food with a Wearable Device | |
| US20120096405A1 (en) | Apparatus and method for diet management | |
| US12073935B2 (en) | Systems and methods for diet quality photo navigation utilizing dietary fingerprints for diet assessment | |
| EP3964793A1 (en) | Food measurement method, device, and program | |
| CN114360690B (zh) | 一种慢病患者的饮食营养管理方法和系统 | |
| KR20240123777A (ko) | 음식 측정 방법, 장치, 및 프로그램 | |
| KR20210008268A (ko) | 개인 맞춤형 영양관리 시스템 및 이의 분석 방법 | |
| US20220222844A1 (en) | Method, device, and program for measuring food | |
| KR102473283B1 (ko) | 인공지능을 활용한 영상 분석을 기반으로 중량 정보를 고려한 영양정보 제공 시스템 및 방법 | |
| KR102473284B1 (ko) | 인공지능을 활용한 영상 분석 기반 음식 검출을 이용한 영양정보 제공 시스템 및 방법 | |
| KR102473072B1 (ko) | 인공지능 기반의 영상 인식 및 증강현실을 이용한 식기 크기 측정 및 영양정보 제공 시스템 및 방법 | |
| KR102488997B1 (ko) | 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램 | |
| KR102431226B1 (ko) | 인공지능 기반의 개인 맞춤형 영양 관리 서비스 제공 방법 및 장치 | |
| CN114359299B (zh) | 一种饮食分割方法及慢病患者的饮食营养管理方法 | |
| JP4989240B2 (ja) | 食事管理支援システム | |
| KR20230082145A (ko) | 영양소 섭취량 측정 시스템 및 방법 | |
| KR102110766B1 (ko) | 음식 적합도에 기초한 요리 정보 제공 방법 및 장치 | |
| KR20200123069A (ko) | 급식관리 시스템 및 이의 운영방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |