KR20220052046A

KR20220052046A - Method and Apparatus of Analyzing Eating Habits by User

Info

Publication number: KR20220052046A
Application number: KR1020200135934A
Authority: KR
Inventors: 김대훈
Original assignee: 주식회사 누비랩
Priority date: 2020-10-20
Filing date: 2020-10-20
Publication date: 2022-04-27

Abstract

The present invention comprises the following steps of: obtaining at least one image including one or more foods from a user terminal; identifying the one or more foods individually included in the at least one image; generating food classification data in which the one or more identified foods are classified according to a preset category; generating reporting data based on the food classification data; and providing the reporting data to the user terminal.

Description

Method and Apparatus of Analyzing Eating Habits by User}

본 발명은 사용자에게 편의를 제공하기 위한 서비스에 대한 것으로, 특히 사용자가 촬영한 음식사진에 따라 사용자별로 식습관을 분석하는 방법 및 장치에 관한 것이다.The present invention relates to a service for providing convenience to users, and more particularly, to a method and apparatus for analyzing eating habits for each user according to food photos taken by the user.

최근 들어 건강에 대한 관심이 높아지고 있으나 반면에 과체중이나 비만으로 고통받는 사람들도 점차 증가하고 있다. 이러한 과체중이나 비만은 당뇨, 고혈압 등 각종 질환의 원인이 되는 심각한 문제이다.Recently, interest in health is increasing, but on the other hand, people suffering from overweight or obesity are also increasing. Such overweight or obesity is a serious problem that causes various diseases such as diabetes and high blood pressure.

따라서, 이와 같은 과체중이나 비만을 해결하기 위해서는 자신의 식습관을 분석하는 것이 선행되어야 한다. 일반적으로 본인의 호불호 음식에 대해 알고 있지만 실제로 섭취하는 음식의 종류와 횟수를 기억하지는 못한다. 따라서 자신의 식습관을 분석하기 위해 실제로 섭취하는 음식을 파악하고, 파악한 음식에 대한 정보에 따라 개인의 식습관을 분석할 필요가 있다. Therefore, in order to solve such overweight or obesity, it is necessary to analyze one's own eating habits. In general, they know about their likes and dislikes, but they cannot remember the types and frequency of foods they actually eat. Therefore, in order to analyze one's eating habits, it is necessary to identify the food actually consumed, and to analyze the individual's eating habits according to the information on the identified food.

이후, 분석된 개인별 식습관에 따라 실시간으로 개인별 섭취 음식에 대해 전문가의 의견을 제공받는 것이 필요하다.After that, it is necessary to receive an expert opinion on the food consumed by each individual in real time according to the analyzed individual eating habits.

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 개인별로 섭취할 음식을 촬영한 음식 이미지에 대해 식습관을 분석하고, 전문가의 의견을 제공받는 방법을 제공할 수 있다.The present invention for solving the above-described problems can provide a method for analyzing eating habits with respect to food images photographed of food to be consumed individually, and receiving expert opinions.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 장치에 의해 수행되는 방법으로, 사용자 단말기로부터 하나 이상의 음식을 포함한 적어도 하나의 이미지를 획득하는 단계, 상기 적어도 하나의 이미지 내에 각각 포함된 상기 하나 이상의 음식을 식별하는 단계, 상기 식별된 하나 이상의 음식을 기 설정된 카테고리 별로 분류한 음식 분류 데이터를 생성하는 단계, 상기 음식 분류 데이터에 기반하여 리포팅 데이터를 생성하는 단계 및 상기 사용자 단말기에 상기 리포팅 데이터를 제공하는 단계를 포함한다.A method performed by a device according to an embodiment of the present invention for solving the above-described problems, the method comprising: acquiring at least one image including one or more foods from a user terminal; Step of identifying one or more food, generating the food classification data that classifies the identified one or more food by a preset category, generating reporting data based on the food classification data, and the reporting data to the user terminal comprising the step of providing

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method may be further provided.

상기와 같은 본 발명에 따르면, 개인이 촬영한 음식 이미지에 따라 개인별 식습관을 분석하고, 식습관에 따른 전문가의 의견을 제공함으로써 개개인의 건강에 따른 올바른 식습관을 형성하는데 도움을 줄 수 있는 효과가 있다.According to the present invention as described above, there is an effect that can help to form a correct eating habits according to individual health by analyzing individual eating habits according to food images taken by individuals and providing expert opinions according to eating habits.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 식습관 분석 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 식습관 분석 과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 개인 별로 저장된 음식 이미지에 따라 식습관에 대한 리포팅 데이터를 제공하는 과정을 나타낸 설명도이다.
도 4는 본 발명에 따른 개인 별로 저장된 음식 이미지에 따라 식습관에 대한 전문가의 의견을 제공하는 과정을 나타낸 설명도이다.1 is a view showing the eating habits analysis system according to the present invention.
Figure 2 is a flowchart showing the eating habits analysis process according to the present invention.
3 is an explanatory diagram illustrating a process of providing reporting data on eating habits according to food images stored for each individual according to the present invention.
4 is an explanatory diagram illustrating a process of providing an expert opinion on eating habits according to food images stored for each individual according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

도 1은 본 발명에 따른 식습관 분석 시스템을 나타낸 도면이다.1 is a view showing the eating habits analysis system according to the present invention.

도 2는 본 발명에 따른 식습관 분석 과정을 나타낸 흐름도이다. Figure 2 is a flowchart showing the eating habits analysis process according to the present invention.

도 3은 본 발명에 따른 개인 별로 저장된 음식 이미지에 따라 식습관에 대한 리포팅 데이터를 제공하는 과정을 나타낸 설명도이다. 3 is an explanatory diagram illustrating a process of providing reporting data on eating habits according to food images stored for each individual according to the present invention.

도 4는 본 발명에 따른 개인 별로 저장된 음식 이미지에 따라 식습관에 대한 전문가의 의견을 제공하는 과정을 나타낸 설명도이다.4 is an explanatory diagram illustrating a process of providing an expert opinion on eating habits according to food images stored for each individual according to the present invention.

이하, 도 1 내지 4를 참조하여, 본 발명의 실시예에 따른 식습관 분석 방법에 대해서 설명하도록 한다.Hereinafter, a method for analyzing eating habits according to an embodiment of the present invention will be described with reference to FIGS. 1 to 4 .

먼저, 도 1을 참조하면, 본 발명에 따른 식습관 분석 시스템(1)은 식습관 분석 장치(10) 및 사용자 단말기(20)를 포함하여 구성될 수 있다.First, referring to FIG. 1 , the eating habits analysis system 1 according to the present invention may be configured to include the eating habits analysis device 10 and the user terminal 20 .

식습관 분석 장치(10)는 제1 무선 통신부(110), 제1 카메라(120), 제1 디스플레이부(130), 제1 메모리(140), 제1 제어부(150)를 포함할 수 있다.The eating habits analysis device 10 may include a first wireless communication unit 110 , a first camera 120 , a first display unit 130 , a first memory 140 , and a first control unit 150 .

제1 무선 통신부(110)는 식습관 분석 장치(10)와 무선 통신 시스템 사이, 식습관 분석 장치(10)와 사용자 단말기(20) 사이, 또는 식습관 분석 장치(10)와 외부 서버(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 제1 무선 통신부(110)는 식습관 분석 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The first wireless communication unit 110 between the eating habits analysis device 10 and the wireless communication system, between the eating habits analysis device 10 and the user terminal 20, or between the eating habits analysis device 10 and an external server (not shown) It may include one or more modules that enable wireless communication. In addition, the first wireless communication unit 110 may include one or more modules for connecting the eating habits analysis device 10 to one or more networks.

제1 카메라(120)는 사용자의 조작에 따라 이미지 또는 영상을 촬영할 수 있다. 여기서, 제1 카메라(120)는 사용자의 조작에 따라 식사 전후에 음식을 이미지 또는 영상으로 촬영할 수 있다.The first camera 120 may capture an image or video according to a user's manipulation. Here, the first camera 120 may photograph food as an image or video before and after a meal according to a user's manipulation.

제1 디스플레이부(130)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 식습관 분석 장치(10)와 사용자 사이의 입력 인터페이스를 제공함과 동시에, 식습관 분석 장치(10)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The first display unit 130 may implement a touch screen by forming a layer structure with the touch sensor or being formed integrally with the touch sensor. Such a touch screen, while providing an input interface between the eating habits analysis device 10 and the user, may provide an output interface between the eating habits analysis device 10 and the user.

제1 메모리(140)는 식습관 분석 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 제1 메모리(140)는 식습관 분석 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 식습관 분석 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 식습관 분석 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 제1 메모리(140)에 저장되고, 식습관 분석 장치(10) 상에 설치되어, 제1 제어부(150)에 의하여 상기 식습관 분석 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.The first memory 140 may store data supporting various functions of the eating habits analysis device 10 . The first memory 140 may store a plurality of application programs (application programs or applications) driven by the eating habits analysis device 10, data for the operation of the eating habits analysis device 10, and commands. At least some of these application programs may be downloaded from an external server through wireless communication. Also, at least some of these applications may exist for a basic function of the eating habits analysis device 10 . On the other hand, the application program is stored in the first memory 140, installed on the eating habits analysis device 10, by the first control unit 150 to perform the operation (or function) of the eating habits analysis device (10) can be driven to

제1 제어부(150)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 식습관 분석 장치(10)의 전반적인 동작을 제어할 수 있다. 제1 제어부(150)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 제1 메모리(140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operation related to the application program, the first control unit 150 may generally control the overall operation of the eating habit analysis device 10 . The first control unit 150 processes signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the first memory 140 to provide or process appropriate information or functions to the user. can do.

또한, 제1 제어부(150)는 제1 메모리(140)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제1 제어부(150)는 상기 응용 프로그램의 구동을 위하여, 식습관 분석 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.In addition, the first controller 150 may control at least some of the components discussed with reference to FIG. 1 in order to drive an application program stored in the first memory 140 . Furthermore, the first control unit 150 may operate by combining at least two or more of the components included in the eating habits analysis device 10 to drive the application program.

제1 제어부(150)는 사용자 단말기(20)로부터 하나 이상의 음식을 포함한 적어도 하나의 이미지를 획득하고, 적어도 하나의 이미지 내에 각각 포함된 상기 하나 이상의 음식을 식별하고, 상기 식별된 하나 이상의 음식을 기 설정된 카테고리 별로 분류한 음식 분류 데이터를 생성할 수 있다. 또한, 제1 제어부(150)는 상기 음식 분류 데이터에 기반하여 리포팅 데이터를 생성하여 사용자 단말기(20)에게 제공할 수 있다.The first control unit 150 obtains at least one image including one or more foods from the user terminal 20, identifies the one or more foods included in each at least one image, and records the identified one or more foods. Food classification data classified for each set category may be generated. Also, the first control unit 150 may generate reporting data based on the food classification data and provide it to the user terminal 20 .

제1 제어부(150)는 일 예로 내가 먹은 음식과 자녀 또는 친구가 먹은 음식을 구분할 수 있게 하는 UI를 제공할 수 있다. 제1 제어부(150)는 사용자가 동일 식사 시 여러 번의 이미지를 촬영한 경우, 상기 이미지에 대해 시간대 및 유사 음식 분류를 수행하여 신뢰성 높은 분석이 가능할 수 있다. 제1 제어부(150)는 연인간, 친구 간에 맛집 공유 및 음식 공유를 통한 커뮤니티가 가능하도록 UI를 제공할 수 있다.For example, the first controller 150 may provide a UI for distinguishing between the food I ate and the food my child or friend ate. When the user takes multiple images during the same meal, the first control unit 150 may perform a time period and similar food classification on the image to enable highly reliable analysis. The first controller 150 may provide a UI to enable a community through restaurant sharing and food sharing between lovers and friends.

제1 제어부(150)는 저장된 음식을 포함한 이미지 중 음식에 대해 분류를 수월하게 하도록 시간대별, 음식 종류별, 누구랑 먹었는지, 어디서 먹었는지 등에 대한 정보를 상기 이미지에 자동으로 태깅하여 분류 데이터를 생성할 수 있다. 여기서, 태깅하는 방식은 현재 사용자 단말기(20)에서는 시간 위치 정도만 저장시 자동 태깅이 되는데 특정 애플리케이션을 이용시 사용자 단말기(20)에서 이미지를 먼저 추출하고 제1 제어부(150)의 AI가 사용자 단말기(20)의 음식이 포함된 이미지를 분석해서 관련정보에 대한 내용들을 사용자 단말기(20)에 함께 저장(태깅)할 수 있다. The first control unit 150 can generate classification data by automatically tagging the image with information about each time period, each type of food, who ate with, where, etc. to facilitate classification of food among images including stored food. there is. Here, the tagging method is automatically tagged when only the time position is stored in the current user terminal 20. When using a specific application, the image is first extracted from the user terminal 20, and the AI of the first control unit 150 is applied to the user terminal 20 ), it is possible to analyze the image containing the food and store (tag) the related information together in the user terminal 20 .

따라서, 제1 제어부(150)는 향후 사용자가 사용자 단말기(20)의 비행기모드를 실행하더라도 기 저장된 태깅기준으로 구분할 수 있다. 또는 제1 제어부(150)는 향후 5G가 되거나 단말기의 성능이 좋아져서 자체적으로 저장시 모든 정보를 태깅(일 예로, 음식 종류, 양, 영양, 칼로리 등)해서 저장할 수 있다.Accordingly, the first control unit 150 can classify the user according to the previously stored tagging criteria even if the user executes the airplane mode of the user terminal 20 in the future. Alternatively, the first control unit 150 may tag (eg, food type, amount, nutrition, calorie, etc.) all information when storing it by itself as 5G becomes 5G or the performance of the terminal improves in the future.

제1 제어부(150)는 일 예로 사용자가 PT를 받거나 당뇨병 환자인 경우, 원격으로 트레이너 또는 당뇨 간병인에게 사용자가 찍은 음식 이미지를 실시간으로 전송하고 먹기전 또는 먹고 난 후 즉각 관리를 받을 수 있게 할 수 있다. 따라서, 기존의 PT컨설팅(카카오 기반 정보전달)이 수월해지고 자동으로 수행될 수 있다.The first control unit 150, for example, when the user receives PT or is a diabetic patient, remotely transmits the food image taken by the user to a trainer or diabetic caregiver in real time, and enables immediate management before or after eating. there is. Therefore, the existing PT consulting (Kakao-based information delivery) can be easily performed and performed automatically.

제1 제어부(150)는 결제정보를 로딩하여 피자를 샀는지 배달음식을 무엇을 시켰는지를 알 수 있고, 그 정보를 활용하여 정확도를 높일 수 있다. 또한, 제1 제어부(150)는 사용자로부터 상기 정보를 수정받을 수 있어 상기 수정된 정보를 바탕으로 AI의 성능을 올릴 수 있으며, 식당에서 제공하는 정보를 함께 연동할 수 있다. 제1 제어부(150)는 일 예로 사용자가 돈가스집에 간 경우, 사용자 단말기(20)의 위치정보를 기반으로 상기 돈가스집의 정확한 레시피, 영양, 칼로리 등의 정보를 사용자 단말기(20)로 전송할 수 있다. 또한, 제1 제어부(150)는 상기 돈가스집에 특정 스캐너가 있을 경우 스캔된 섭취 정보 및 이미지 정보를 상기 사용자 단말기(20)로 연동할 수 있다.The first control unit 150 may load payment information to know whether a pizza was bought or a delivery food order, and the accuracy may be improved by using the information. In addition, the first control unit 150 can receive the information from the user to modify the performance of the AI based on the modified information, and can link the information provided by the restaurant together. The first control unit 150, for example, when the user goes to the pork cutlet restaurant, based on the location information of the user terminal 20, the accurate recipe, nutrition, calories, etc. of the pork cutlet restaurant can be transmitted to the user terminal 20. there is. In addition, when there is a specific scanner in the pork cutlet restaurant, the first control unit 150 may link the scanned intake information and image information to the user terminal 20 .

제1 제어부(150)는 제1 메모리(140)에 저장된 응용 프로그램을 구동하여 애플리케이션으로 사용자에게 제공할 수 있다. 제1 제어부(150)는 일 예로 상기 애플리케이션 가입시 사용자의 개인정보, 건강검진 정보, 평소 식사량 정보(일 예로, 라면 하나를 먹으면 배부르다.), 특정 급식소에서 측정된 평소 그 사람의 식사량 정보, 식습관 정보 등과 연동해서 상기 사용자의 섭취량에 대한 정확한 분석 가능할 수 있다. 일 예로, 제1 제어부(150)는 상기 애플리케이션 가입한 사용자가 한식처럼 반찬을 함께 먹는 경우, 1/n으로 계산하는 것이 아니라 상기 정보들을 바탕으로 4인 가족이 고기집에서 거기 먹은 사진이라면 아빠10 엄마 7 아들 6 딸 4로 배분할 수 있다.The first control unit 150 may drive an application program stored in the first memory 140 and provide it to the user as an application. The first control unit 150, for example, when registering the application, the user's personal information, health checkup information, usual meal information (for example, eating one ramen makes me full), the person's usual meal information measured at a specific restaurant, eating habits It may be possible to accurately analyze the user's intake in conjunction with information and the like. As an example, the first control unit 150, if the user who signed up for the application eats side dishes together like Korean food, does not calculate it as 1/n, but based on the information above, if it is a picture of a family of 4 eating there at a meat restaurant, Dad 10 It can be divided into 7 mothers, 6 sons, and 4 daughters.

여기서, 제1 제어부(150)에 대한 상세한 설명은 도 2 내지 4를 통해서 후술한다.Here, a detailed description of the first control unit 150 will be described later with reference to FIGS. 2 to 4 .

사용자 단말기(20)는 제2 무선 통신부(210), 제2 카메라(220), 제2 디스플레이부(230), 제2 메모리(140), 제2 제어부(250)를 포함할 수 있다.The user terminal 20 may include a second wireless communication unit 210 , a second camera 220 , a second display unit 230 , a second memory 140 , and a second control unit 250 .

제2 무선 통신부(210)는 사용자 단말기(20)와 무선 통신 시스템 사이, 사용자 단말기(20)와 식습관 분석 장치(10) 사이, 또는 사용자 단말기(20)와 외부 서버(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 제2 무선 통신부(210)는 사용자 단말기(20)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The second wireless communication unit 210 is a wireless communication between the user terminal 20 and the wireless communication system, between the user terminal 20 and the eating habits analysis device 10, or between the user terminal 20 and an external server (not shown) It may include one or more modules that enable In addition, the second wireless communication unit 210 may include one or more modules for connecting the user terminal 20 to one or more networks.

제2 카메라(220)는 사용자의 조작에 따라 이미지 또는 영상을 촬영할 수 있다. 여기서, 제2 카메라(220)는 사용자의 조작에 따라 식사 전후에 음식을 이미지 또는 영상으로 촬영할 수 있다.The second camera 220 may capture an image or video according to a user's manipulation. Here, the second camera 220 may photograph food as an image or video before and after a meal according to a user's manipulation.

제2 디스플레이부(230)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 사용자 단말기(20)와 사용자 사이의 입력 인터페이스를 제공함과 동시에, 사용자 단말기(20)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The second display unit 230 may implement a touch screen by forming a layer structure with the touch sensor or being integrally formed therewith. Such a touch screen may provide an input interface between the user terminal 20 and the user and an output interface between the user terminal 20 and the user.

제2 메모리(240)는 사용자 단말기(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 제2 메모리(240)는 사용자 단말기(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 사용자 단말기(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 사용자 단말기(20)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 사용자 단말기(20)상에 존재할 수 있다. 한편, 응용 프로그램은, 제2 메모리(240)에 저장되고, 사용자 단말기(20) 상에 설치되어, 제2 제어부(250)에 의하여 사용자 단말기(20)의 동작(또는 기능)을 수행하도록 구동될 수 있다.The second memory 240 may store data supporting various functions of the user terminal 20 . The second memory 240 may store a plurality of application programs (or applications) driven in the user terminal 20 , data for operation of the user terminal 20 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the user terminal 20 from the time of shipment for basic functions (eg, incoming calls, outgoing functions, message reception, and outgoing functions) of the user terminal 20 . Meanwhile, the application program is stored in the second memory 240 , installed on the user terminal 20 , and driven to perform an operation (or function) of the user terminal 20 by the second control unit 250 . can

제2 제어부(250)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 사용자 단말기(20)의 전반적인 동작을 제어할 수 있다. 제2 제어부(250)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 제2 메모리(240)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operation related to the application program, the second control unit 250 may generally control the overall operation of the user terminal 20 . The second control unit 250 processes signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the second memory 240 to provide or process appropriate information or functions to the user. can do.

또한, 제2 제어부(250)는 제2 메모리(240)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제2 제어부(250)는 상기 응용 프로그램의 구동을 위하여, 사용자 단말기(20)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.In addition, the second controller 250 may control at least some of the components discussed with reference to FIG. 1 in order to drive an application program stored in the second memory 240 . Furthermore, in order to drive the application program, the second control unit 250 may operate at least two or more of the components included in the user terminal 20 in combination with each other.

또한, 제2 제어부(250)는 기 설치된 식습관 분석 어플리케이션(미도시)이 실행된 상태에서 식습관 분석 장치(10)로부터 식습관에 대한 정보 일례로, 제2 무선 통신부(210)를 통해 제공받은 리포팅 데이터 또는 전문가 의견 데이터를 제2 디스플레이부(230)를 통해 표시하도록 동작 시킬 수 있다.In addition, the second control unit 250 reports data provided through the second wireless communication unit 210 as an example of information on eating habits from the eating habits analysis device 10 in a state in which the pre-installed eating habits analysis application (not shown) is running. Alternatively, the expert opinion data may be operated to be displayed through the second display unit 230 .

이상, 도 1을 참조하여, 본 발명에 따른 식습관 분석 시스템(1)의 구성에 대해 상세히 설명하였다. 식습관 분석 시스템(1)은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.Above, with reference to FIG. 1, the configuration of the eating habits analysis system 1 according to the present invention has been described in detail. The eating habits analysis system 1 may include fewer or more components than the components shown in FIG. 1 .

이하에서는, 도 2 내지 도 4를 참조하여, 본 발명에 따른 개인 별 식습관 분석 과정에 대해 상세히 설명한다.Hereinafter, with reference to FIGS. 2 to 4, the process of analyzing eating habits for each individual according to the present invention will be described in detail.

먼저, 도 2를 보면, 본 발명의 실시예에 따른 식습관 분석 방법은 식습관 분석 장치(10)인 컴퓨터, 서버에 의해 수행될 수 있다.First, referring to FIG. 2 , the eating habits analysis method according to an embodiment of the present invention may be performed by a computer or a server, which is the eating habits analysis device 10 .

이하, 식습관 분석 장치(10)의 모든 동작은 제1 제어부(150)가 동일하게 수행할 수 있다.Hereinafter, all operations of the eating habits analysis device 10 may be performed by the first control unit 150 in the same manner.

식습관 분석 장치(10)가 사용자 단말기(20)로부터 하나 이상의 음식을 포함한 적어도 하나의 이미지를 획득할 수 있다(S110).The eating habits analysis device 10 may acquire at least one image including one or more foods from the user terminal 20 (S110).

일례로, 도 2를 보면, 식습관 분석 장치(10)는 사용자가 직접 촬영했거나 전송받아서 사용자 단말기(20)에 저장한 복수의 이미지 데이터 중에서 하나 이상의 음식을 포함한 적어도 하나의 이미지(210)를 획득할 수 있다. 여기서, 식습관 분석 장치(10)는 적어도 하나의 이미지(210)의 사이즈를 줄이기 위해 리사이징(Resizing)하여 제1 메모리(140)에 저장할 수 있다. 따라서, 식습관 분석 장치(10)는 적어도 하나의 이미지(210)의 저장 용량을 줄여서 사용할 수 있으므로 효율적으로 데이터 관리가 가능한 효과를 가질 수 있다.As an example, referring to FIG. 2 , the eating habits analysis device 10 obtains at least one image 210 including one or more food from among a plurality of image data that the user has directly photographed or received and stored in the user terminal 20 . can Here, the eating habits analysis apparatus 10 may resize the at least one image 210 to reduce the size and store it in the first memory 140 . Therefore, the eating habits analysis device 10 can be used by reducing the storage capacity of the at least one image 210 , so it can have the effect of efficiently managing data.

여기서, 사용자 단말기(20)는 사용자에 의해 소지되며, 기 설치된 식습관 분석 어플리케이션(미도시)이 실행된 상태에서 식습관 분석 장치(10)로부터 식습관에 대한 정보 일례로, 리포팅 데이터 또는 전문가 의견 데이터를 제공받을 수 있다.Here, the user terminal 20 is possessed by the user, and provides reporting data or expert opinion data as an example of information about eating habits from the eating habits analysis device 10 in a state in which a pre-installed eating habits analysis application (not shown) is executed. can receive

여기서, 하나 이상의 음식을 포함한 적어도 하나의 이미지(210)는 사용자 단말기(20)에 저장된 다양한 음식을 촬영한 이미지일 수 있다. 또한, 일례로, 사용자가 몇 개월 또는 몇년간 식사 전에 음식을 촬영하고 저장한 이미지일 수 있다.Here, the at least one image 210 including one or more foods may be images of various foods stored in the user terminal 20 . Also, as an example, it may be an image that the user has photographed and stored before eating for several months or years.

식습관 분석 장치(10)는 상기 적어도 하나의 이미지 내에 각각 포함된 상기 하나 이상의 음식을 식별할 수 있다(S120).The eating habits analysis device 10 may identify the one or more foods included in each of the at least one image (S120).

식습관 분석 장치(10)는 적어도 하나의 이미지(210) 내에 일례로 복수의 음식이 포함되는 경우, 각각의 음식을 식별할 수 있다.When a plurality of foods are included, for example, in the at least one image 210 , the eating habits analysis apparatus 10 may identify each food.

상기 식별된 하나 이상의 음식을 기 설정된 카테고리 별로 분류한 음식 분류 데이터를 생성할 수 있다(S130).Food classification data in which the one or more identified foods are classified according to a preset category may be generated (S130).

식습관 분석 장치(10)는 식별된 하나 이상의 음식을 기 설정된 카테고리 별로 일례로, 음식 종류, 시간, 장소 등에 따라 분류하여 음식 분류 데이터를 생성할 수 있다.The eating habit analysis apparatus 10 may generate food classification data by classifying the identified one or more foods for each preset category, for example, according to the type of food, the time, the place, and the like.

따라서, 식습관 분석 장치(10)는 음식 분류 데이터에 따라 개인 별로 언제 어떤 음식을 먹었고, 평균적으로 몇 칼로리를 소비하고, 좋아하는 음식, 싫어하는 음식, 평균적으로 밥을 제일 많이 먹는 시간대, 평일 또는 주말 비교, 다른 사용자들과 비교, 매운 음식을 좋아하는지, 육류 또는 채소를 좋아하는지 등에 대한 정보를 얻을 수 있다.Therefore, the eating habit analysis device 10 compares when and what kind of food each individual ate according to the food classification data, how many calories are consumed on average, favorite food, disliked food, time period in which rice is eaten the most on average, weekdays or weekends , comparison with other users, and whether you like spicy food, meat or vegetables, etc.

또한, 식습관 분석 장치(10)는 사용자 단말기(20)로부터 획득한 음식 이미지 데이터 외에도 사용자가 사용자 단말기(20)에 설치된 식습관 분석 어플리케이션을 통해 촬영한 음식 이미지에 대해 기 설정된 카테고리에 따라 분류하여 음식 분류 데이터를 생성할 수 있다.In addition, in addition to the food image data obtained from the user terminal 20, the eating habit analysis device 10 classifies the food image taken by the user through the eating habit analysis application installed in the user terminal 20 according to a preset category to classify the food. data can be created.

식습관 분석 장치(10)는 상기 음식 분류 데이터에 기반하여 리포팅 데이터를 생성하여 상기 사용자 단말기(20)에 표시할 수 있다(S140).The eating habits analysis device 10 may generate reporting data based on the food classification data and display it on the user terminal 20 (S140).

식습관 분석 장치(10)는 음식 분류 데이터에 기반하여 개인별 리포팅 데이터를 생성할 수 있다. 여기서, 리포팅 데이터는 상기 음식 분류 데이터에 기반하여 개인별로 자주 먹는 음식 종류, 음식 먹는 시간, 섭취하는 음식 량, 주로 음식 먹는 위치 등에 따라 현재 사용자의 식습관에 대한 코멘트일 수 있다.The eating habit analysis device 10 may generate individual reporting data based on the food classification data. Here, the reporting data may be a comment on the current user's eating habits based on the food classification data, depending on the type of food frequently eaten by each individual, the time to eat food, the amount of food consumed, the location where the food is mainly eaten, and the like.

일례로, 도 2를 보면, 식습관 분석 장치(10)는 "당신은 육식을 좋아하는 대식가 사자이시네요!"라고 기재되는 리포팅 데이터를 사용자 단말기(20)로 전송할 수 있다. 따라서, 사용자가 상기 리포팅 데이터를 수신하는 경우, 본인의 식습관을 알 수 있으며, 여러 사람들과 상기 리포팅 데이터를 공유하여 서로의 식습관도 확인할 수 있다.As an example, referring to FIG. 2 , the eating habits analysis device 10 may transmit reporting data in which “You are a meat-eater lion!” to the user terminal 20 . Accordingly, when the user receives the reporting data, the user can know his or her eating habits, and share the reporting data with several people to check each other's eating habits.

식습관 분석 장치(10)는 전문가 단말기로부터 입력받은 전문가 의견 데이터를 표시할 수 있다(S150).The eating habits analysis device 10 may display expert opinion data input from the expert terminal (S150).

식습관 분석 장치(10)는 사용자, 관계자, 전문가 등이 서로의 정보를 교환하고 확인할 수 있는 커뮤니케이션 워크스페이스(310)를 생성하여 사용자 단말기(20), 관계자 단말기(미도시), 전문가 단말기(미도시) 중 적어도 하나 이상의 단말기에 설치된 식습관 분석 어플리케이션을 통해 제공할 수 있다.The eating habits analysis device 10 creates a communication workspace 310 in which users, related parties, experts, etc. can exchange and check each other's information, and the user terminal 20, the related terminal (not shown), the expert terminal (not shown) ) can be provided through the eating habits analysis application installed in at least one terminal.

사용자가 사용자 단말기(20)를 통해 커뮤니케이션 워크스페이스(310)에 식습관 분석 어플리케이션으로 촬영한 앱 음식 이미지 데이터나 기 저장된 음식 이미지 데이터 중 적어도 하나를 업로드할 수 있다. 여기서, 식습관 분석 장치(10)는 상기 앱 음식 이미지 데이터나 기 저장된 음식 이미지 데이터에 대한 음식 분류 데이터를 전문가 단말기(미도시)로 제공할 수 있다. 전문가는 상기 음식 분류 데이터에 따라 전문가 의견 데이터를 상기 커뮤니케이션 워크스페이스(310)에 입력할 수 있다.The user may upload at least one of app food image data or pre-stored food image data captured by the eating habit analysis application to the communication workspace 310 through the user terminal 20 . Here, the eating habits analysis device 10 may provide food classification data for the app food image data or pre-stored food image data to an expert terminal (not shown). The expert may input expert opinion data into the communication workspace 310 according to the food classification data.

일례로, 도 3을 보면, 사용자이 고도비만 아들이 와플을 찍은 음식 이미지 데이터를 커뮤니케이션 워크스페이스(310)에 업로드하는 경우, 관계자인 아빠가 "아들~ 와플은 먹으면 안될 거 같은데.. 선생님 의견은 어떠세요?"라는 관계자 의견 데이터를 입력할 수 있다. 여기서, 전문가인 의사 선생님이 "와플은 현재 **님 건강상태로 보아 드시면 안될 거 같습니다."라는 전문가 의견 데이터를 입력할 수 있다.As an example, referring to FIG. 3 , when a user uploads food image data taken by his obese son to the communication workspace 310, the person in charge says, "Son, I don't think waffles should be eaten.. What is the teacher's opinion? ?" can be entered as stakeholder opinion data. Here, an expert doctor can input expert opinion data saying "Waffles are not likely to be eaten considering your current health condition."

도 1에서는 단계 S110 내지 단계 S150를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 1에 기재된 순서를 변경하여 실행하거나 단계 S110 내지 단계 S150 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 1은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S110 to S150 are sequentially executed in FIG. 1, this is merely illustrative of the technical idea of this embodiment, and those of ordinary skill in the art to which this embodiment belongs. Since it will be possible to apply various modifications and variations to executing by changing the order described in FIG. 1 or executing one or more steps of steps S110 to S150 in parallel within a range that does not deviate from the essential characteristics, FIG. 1 is a time series sequence It is not limited.

이상에서 전술한 본 발명의 일 실시예에 따른 식습관 분석 방법은, 하드웨어인 장치와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The eating habits analysis method according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium to be executed in combination with a hardware device.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer to be referenced. there is. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the above functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and an optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected to a network, and a computer-readable code may be stored in a distributed manner.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing the technical spirit or essential features thereof. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

Claims

A method performed by the device, comprising:
acquiring at least one image including one or more foods from the user terminal;
identifying the one or more foods each contained within the at least one image;
generating food classification data in which the identified one or more foods are classified according to a preset category;
generating reporting data based on the food classification data; and
providing the reporting data to the user terminal;
A method of analyzing user eating habits, including.