WO2021230724A1 - 식사 보조 서비스 제공 시스템 및 방법 - Google Patents
식사 보조 서비스 제공 시스템 및 방법 Download PDFInfo
- Publication number
- WO2021230724A1 WO2021230724A1 PCT/KR2021/006111 KR2021006111W WO2021230724A1 WO 2021230724 A1 WO2021230724 A1 WO 2021230724A1 KR 2021006111 W KR2021006111 W KR 2021006111W WO 2021230724 A1 WO2021230724 A1 WO 2021230724A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- user
- meal
- image
- assistance service
- Prior art date
Links
- 235000012054 meals Nutrition 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 85
- 235000013305 food Nutrition 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 20
- 235000005911 diet Nutrition 0.000 claims description 16
- 230000037213 diet Effects 0.000 claims description 16
- 206010020751 Hypersensitivity Diseases 0.000 claims description 8
- 208000026935 allergic disease Diseases 0.000 claims description 8
- 230000007815 allergy Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 239000004615 ingredient Substances 0.000 claims description 4
- 235000015097 nutrients Nutrition 0.000 claims description 4
- 230000037406 food intake Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 235000018823 dietary intake Nutrition 0.000 claims description 2
- 230000018984 mastication Effects 0.000 claims description 2
- 238000010077 mastication Methods 0.000 claims description 2
- 235000005686 eating Nutrition 0.000 abstract description 18
- 235000014490 good eating habits Nutrition 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 13
- 235000006694 eating habits Nutrition 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 235000016709 nutrition Nutrition 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 235000012041 food component Nutrition 0.000 description 3
- 239000005417 food ingredient Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004580 weight loss Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010016952 Food poisoning Diseases 0.000 description 1
- 208000019331 Foodborne disease Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 235000021045 dietary change Nutrition 0.000 description 1
- 235000008242 dietary patterns Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
Definitions
- the present invention relates to a system and method for providing a meal assistance service, and more particularly, to a system and method for providing a meal assistance service that monitors a user's meal situation in real time so that the user can maintain a correct eating pattern.
- the present invention has been proposed to solve the above problems, by monitoring the user's meal situation in real time to guide (instruct) the meal in real time, and at the same time provide a meal mission to provide a visual effect image and/or sound effect together.
- An object of the present invention is to provide a system and method for providing a meal assistance service that can cause interest in eating.
- a meal assistance service providing system for solving the above-described problems, a dining space in which at least one user receiving the meal assistance service dine, tableware in the dining space, and the user's meal status Obtaining at least one image including at least one of, and when the user's meal status is included in the acquired image, confirming the user according to the meal status, and generating guide information of the identified user service providing device to provide; and a service server that stores and manages meal-related information of a plurality of other users, and provides meal-related information of at least one user who satisfies a condition among a plurality of other users according to the request of the service providing device; and , the service providing device analyzes the at least one image, recognizes at least one of the dining space, the tableware, and the meal status, and checks the user's intake information and operation information based on the recognized result, , characterized in that the guide information is generated based on the confirmed intake information and operation information and meal-related information of at least one user who sati
- the method for providing a meal assistance service includes at least one of a dining space in which at least one user receiving the meal assistance service eats, tableware in the dining space, and a meal status of the user. acquiring at least one image; when the user's meal status is included in the acquired image, checking the user according to the meal status; and generating the identified user guide information and outputting it through the output unit, wherein the outputting through the output unit includes analyzing the at least one image and providing the dining space, the tableware and the meal. Recognizing at least one of the current status; checking the user's intake information and operation information based on the recognized result; and generating the guide information based on the confirmed intake information and operation information.
- the user's meal situation is monitored in real time to guide (instruct) the meal and at the same time provide a meal mission to provide a visual effect image and/or sound effect together to arouse interest in the meal.
- FIG. 1 is a perspective view illustrating an apparatus for providing a meal assistance service according to an embodiment of the present invention.
- FIG. 2A is a diagram illustrating an example of an imaging auxiliary member attachable to an imaging device of an apparatus for providing a meal assistance service according to an embodiment of the present invention
- FIG. 2B is an imaging device of the apparatus for providing a meal assistance service according to an embodiment of the present invention. It is a view showing an example in which an attachable imaging auxiliary member is attached
- FIG. 2C is a view showing another example of an imaging auxiliary member attachable to the imaging device of the meal assistance service providing apparatus according to an embodiment of the present invention.
- FIG. 3 is a block diagram showing the configuration of a meal assistance service providing system according to an embodiment of the present invention.
- FIG. 4 is a diagram illustrating an example in which an apparatus for providing a meal assistance service according to an embodiment of the present invention is used.
- FIG. 5 is a diagram illustrating an example of a screen output to a display unit of an apparatus for providing a meal assistance service according to an embodiment of the present invention.
- FIG. 6 is a flowchart illustrating a method for providing a meal assistance service according to an embodiment of the present invention.
- spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc. It can be used to easily describe the correlation between a component and other components.
- a spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
- unit refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles.
- “part” or “module” is not meant to be limited to software or hardware.
- a “part” or “module” may be configured to reside on an addressable storage medium and may be configured to reproduce one or more processors.
- “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
- Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or additional components and “parts” or “modules”. can be further separated.
- FIG. 1 is a perspective view illustrating an apparatus for providing a meal assistance service according to an embodiment of the present invention.
- an apparatus for providing a meal assistance service 100 (hereinafter, referred to as a 'service providing apparatus') according to an embodiment of the present invention includes a main body 110 , an acquisition unit 130 , and a display unit 150 . and an input/output unit 160 .
- the main body 110 has a structure that can be mounted at a specific location in the dining space so as to obtain an image including the user's meal status in the dining space.
- the main body 110 of the meal assistance service providing apparatus 100 shown in FIG. 1 is a standing type and is formed to have a relatively wide bottom surface to be stably supported on the floor, but the shape and type are not limited.
- the main body 110 may be formed as a wall-mounted type, and in this case, a fixing region for fixing to the wall may be included.
- the main body 110 is not limited to the shape shown in FIG. 1 , and the angle is adjustable so that the user can freely adjust and use it according to the user's physical condition or meal situation.
- the service providing apparatus 100 may be a commercial product rather than a separately manufactured apparatus as shown in FIG. 1 .
- the service providing device 100 is a computer, an Ultra Mobile PC (UMPC), a workstation, a net-book, a Personal Digital Assistants (PDA), a portable computer, a web tablet, a wireless A wireless phone, a mobile phone, a smart phone, an e-book, a portable multimedia player (PMP), a portable game machine, a navigation device, a black box ) or an electronic device such as a digital camera, it may include all devices capable of providing a meal assistance service, and a program for providing a meal assistance service may be installed in the service providing device 100 , If necessary, a meal assistance service may be provided through the web without a separate program installed.
- UMPC Ultra Mobile PC
- PDA Personal Digital Assistants
- PMP portable multimedia player
- the acquisition unit 130 may include at least one imaging device.
- the acquisition unit 130 may include one imaging device, but may include a first imaging device 131 and a second imaging device 132 like the service providing apparatus 100 according to the embodiment of FIG. 1 . have.
- the first imaging device 131 and the second imaging device 132 may be provided at different positions to photograph different objects or objects.
- the imaging device included in the acquisition unit 130 includes a 2D camera, a 3D camera, a Time of Flight (ToF) camera, a light field camera, a stereo camera, an event camera, an infrared camera, and a lidar. It may include at least one of a sensor and an array camera, and if it can measure image (image) information and depth information, the configuration is not limited.
- a plurality of cameras may be arranged in a stereo structure to acquire a left image and a right image for implementing a stereoscopic image.
- the imaging angle of each of the imaging devices 131 and 132 may be adjusted by the user, and the position at which each imaging device is provided is not limited.
- the first imaging device 131 is provided on the upper portion of the main body 110 to photograph the dining space, thereby acquiring an image including tableware and food contained in the tableware, and the second imaging device 132 . is provided in the lower part of the main body 110, by photographing a user eating, obtains an image containing the user's face or motion.
- the first imaging device 131 may acquire image information and depth information (distance information) about the dishes and food contained in the dishes, wherein the image information may be two-dimensional information, but is not limited thereto, and even three-dimensional information free of charge
- the image information is used to determine the type of the imaged object
- the depth information is used to calculate the volume of the imaged object.
- the first imaging device 131 can obtain image information and depth information
- the configuration thereof is not limited, for example, a 2D camera, a 3D camera, a Time of Flight (ToF) camera, a light field camera, It may include at least one of a stereo camera, an event camera, an infrared camera, and a lidar sensor, and if image information and depth information can be measured, the configuration is not limited.
- a 2D camera a 3D camera
- a Time of Flight (ToF) camera a light field camera
- It may include at least one of a stereo camera, an event camera, an infrared camera, and a lidar sensor, and if image information and depth information can be measured, the configuration is not limited.
- the display unit 150 is provided on the front of the service providing apparatus 100 and displays at least one image captured by the acquisition unit 130 .
- the screen of the display unit 150 may be divided into a plurality of regions, and different images may be displayed in each of the divided regions.
- the input/output unit 160 receives sound information generated from the outside, or outputs sound information such as an effect sound or a guide message generated by the service providing apparatus 100 .
- the input/output unit 160 may include a speaker 161 and/or a microphone 162 .
- the above-described service providing apparatus 100 corresponds to an embodiment, and the front and rear surfaces of the service providing apparatus 100 are configured the same as shown in FIG. 1 , and by photographing the meal status for a plurality of users , it is possible to provide each meal assistance service individually, or to perform a meal mission linked to each other to further increase interest.
- the communication unit may perform communication by wire or wirelessly, and there is no limitation on the communication method.
- the communication unit may communicate with an external terminal such as a user terminal, a guardian terminal, or an external device such as a service server that provides a meal assistance service, and transmits and receives a wireless signal in a communication network according to wireless Internet technologies.
- wireless Internet technologies for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), etc., and the service providing device 100 ) may transmit/receive data according to at least one wireless Internet technology within a range including Internet technologies not listed above.
- WLAN Wireless LAN
- Wi-Fi Wireless-Fidelity
- Wi-Fi Wireless Fidelity
- Direct Direct
- DLNA Digital Living Network Alliance
- WiBro Wireless Broadband
- WiMAX Worldwide Interoperability for Microwave Access
- HSDPA High Speed Downlink Packet Access
- HSUPA High Speed Uplink Packet Access
- LTE Long Term Evolution
- BluetoothTM RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi - At least one of Wireless-Fidelity (Fi), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-distance communication.
- wireless area networks can support the wireless communication between the meal monitoring device 100 and the user terminal (200).
- the local area wireless networks may be local area networks (Wireless Personal Area Networks).
- FIG. 2A is a diagram illustrating an example of an auxiliary imaging member attachable to an imaging device included in an acquisition unit of an apparatus for providing a meal assistance service according to an embodiment of the present invention
- FIG. 2B is a meal assistance service according to an embodiment of the present invention. It is a view showing an example in which an attachable imaging auxiliary member is attached to an imaging device included in the acquisition unit of the providing device.
- the imaging auxiliary member 180 shown in FIG. 2A may be attached (detached, mounted, etc.) to some imaging devices, and by the imaging auxiliary member 180 It is possible to change the shooting angle of view.
- the imaging auxiliary member 180 may be mounted to correspond to the first imaging device 131 provided on the upper end of the service providing device 100 , and for this purpose, the imaging auxiliary member 180 is mounted.
- a mounting groove 181 may be formed for it.
- this is only an example, and an attachment member for attachment may be provided separately.
- the imaging auxiliary member 180 is provided with a reflector 182 to change the angle of view of the first imaging device 131 .
- the mounting groove 181 is engaged with the upper end of the service providing device 100 , and the position is moved (adjusted) to a position corresponding to the first imaging device 131 to capture an image.
- the auxiliary member 180 may be attached to the service providing apparatus 100 .
- the angle of view of the first imaging device 131 provided to photograph the front through the imaging auxiliary member 180 it is possible to more easily photograph the dining space.
- the imaging auxiliary member 180 in a state in which the imaging auxiliary member 180 is attached to the first imaging device 131 , the tableware and/or the food contained in the tableware can be viewed at various angles through both the first imaging device 131 and the second imaging device 132 .
- the imaging targets of the first imaging device 131 and the second imaging device 132 may be changed according to circumstances, and are not limited to specific targets.
- 2C is a diagram illustrating another example of an imaging auxiliary member attachable to an imaging device included in an acquisition unit of the meal assistance service providing apparatus according to an embodiment of the present invention.
- the imaging auxiliary member 180 may be attached to a specific imaging device so that the imaging device may take pictures with the changed angle of view.
- the service providing apparatus 100 has one image pickup device, it is necessary to periodically change the photographing angle of view because it is necessary to photograph the tableware and food contained in the tableware as well as the user through one image pickup device. .
- the imaging auxiliary member 180 may support a first mode in which the imaging device is photographed with a changed photographing angle of view while being attached to the imaging device, and a second mode in which the imaging device is photographed with a unique photographing angle of view.
- the imaging auxiliary member 180 may further include a hinge 183 , through which the reflective mirror 182 can be opened and closed so that the imaging device is changed in a state of being attached to the imaging device. It is possible to support a first mode in which the image is photographed with a , and a second mode in which the image pickup device is photographed with a unique photographing angle of view.
- FIG. 3 is a block diagram illustrating the configuration of a meal assistance service providing system according to an embodiment of the present invention.
- the meal assistance service providing apparatus 200 illustrated in FIG. 3 is the same apparatus as the service providing apparatus 100 illustrated in FIG. 1
- FIG. 1 is a diagram for explaining the external configuration of the service providing apparatus 100 3 is for explaining an operation-related configuration for providing a meal assistance service.
- the meal assistance service providing device 200 (hereinafter, referred to as a 'service providing device') is a meal assistance service server 300 (hereinafter referred to as a 'service server') in order to provide a meal assistance service to the user. ), the smart home device 400 and the external terminal 500 may communicate with each other, and may constitute a meal assistance service system.
- the service providing apparatus 200 includes an output unit 210 , a storage unit 230 , an acquisition unit 250 , a communication unit 260 , and a processor 270 .
- the output unit 210 is for outputting an image or sound for providing a meal assistance service, and may include a display unit 211 and a speaker (not shown).
- the screen of the display unit 211 may be divided into a plurality of regions, and at least one image may be displayed in each of the divided regions.
- the display unit 211 may include a touch display.
- the output unit 210 may also receive an input from a user, and may further include a microphone (not shown) for this purpose.
- the storage unit 230 stores at least one piece of user information, various data and processes for providing a meal assistance service.
- the storage unit 230 may store information on tableware in order to confirm the user's intake information so that the processor 270 utilizes it.
- the service providing apparatus 200 provides a menu for photographing empty dishes to the user, thereby inducing the user to photograph the empty dishes through the acquiring unit 250 , and through this, information on the empty dishes can be obtained.
- the acquisition unit 250 acquires at least one image including at least one of a dining space in which at least one user who is provided with a meal assistance service eats, tableware in the dining space, and a user's meal status.
- the dining space of the user may be the user's residence, but there is no limitation as long as it is a space in which the user can receive a meal assistance service through the service providing device 200 while eating.
- the acquisition unit 250 may include at least one imaging device. 3 shows an example in which the acquiring unit 250 includes a first imaging device 251 and a second imaging device 252 , and the first image including dishes using the first imaging device 251 is shown. , and a second image including the user is acquired by using the second imaging device 252 .
- the first image may be an image obtained by attaching the imaging auxiliary member 180 described with reference to FIGS. 2A and 2B .
- the user may use the service providing device 200 by coupling an external device (not shown) to the service providing device 200 .
- an external device may be For example, a user may photograph dishes by combining a 3D camera capable of collecting three-dimensional information to the service providing apparatus 200 , or by combining a separate facial recognition camera with the service providing apparatus 200 to view the user, tableware, or food. can recognize Furthermore, it is possible to recognize dishes or food by linking a 3D camera to a general camera provided in a smartphone, tablet PC, notebook, etc., and to recognize a user by linking a face recognition camera.
- the processor 270 may provide a meal assistance service to the user by analyzing the image acquired by the acquisition unit 250 . However, since the service providing apparatus 200 configures the service server 300 and the meal assistance service system to provide the meal assistance service, at least some of the steps performed by the processor 270 are to be performed by the service server 300 . may be
- the processor 270 identifies the user.
- the user confirmation step may be simplified, and in some embodiments, the processor 270 omits the user confirmation step and provides a meal assistance service or provides sufficient information from the user. You may be able to provide a meal assistance service without getting it.
- the processor 270 may analyze the image of the user input from the acquisition unit 250, the image including the user's meal status, the user's fingerprint image, or the user's voice to specify the user who is provided with the meal assistance service. . To this end, the processor 270 may use information about an existing user stored in the storage unit 230 or the service server 300 .
- the processor 270 determines a new user through the output unit 210 . We can guide you through registration. In this case, the processor 270 may request the user to input age information, gender information, body type information, disease information, or allergy information as information about the user.
- the processor 270 may directly receive information about the user from the acquisition unit 250 .
- the processor 270 outputs information about an existing user stored in the storage unit 230 or the service server 300 through the output unit 210 , and the user selects a suitable target from the output information on the existing user.
- the processor 270 may continuously update information about the user based on the information collected and analyzed through the meal assistance service system.
- the processor 270 may analyze information collected and transmitted from the external terminal 500 in addition to the information collected through the service providing device 200 , and accordingly, information about the user may be updated.
- the meal assistance service system according to the present embodiment, even if the service providing apparatus 200 cannot be used because the meal is not made in the residence, information collected and transmitted through the external terminal 500 is also analyzed. Therefore, continuous analysis may be possible regardless of time and place.
- the processor 270 may generate guide information and output the generated guide information through the output unit 210 .
- the processor 270 generates guide information corresponding to the identified user.
- guide information for inducing a correct meal is generated by referring to the user's age information, gender information, body type information, disease information, or allergy information. If the user is a registered user, age information, gender information, body type information, disease information, or allergy information, etc. can be checked based on the previously stored user information about the user, and the user is a registered user If not, you can predict (detect) the age, gender, body type, etc. of the user and refer to it.
- information such as growth information of the corresponding period is received from the service server 300 by analyzing the eating habits information of the user so far, and can be provided by being included in the guide information. For example, as another user, intake information, eating habits information, meal time information, meal speed information, etc. for children of the same age are received from the service server 300, and based on this, the child user is unbalanced on the food or nutrition and induces the child user to eat the food or food containing the nutrients based on the identified information.
- the user's growth status is checked and provided based on growth information about children of the same age among a plurality of users stored in the service server 300 .
- the growth information may be body information related to growth such as average height, average weight, head circumference, waist circumference, etc. It may be information indicating the growth level of the user, etc. as a numerical value or a graph.
- intake information, eating habits information, growth information, etc. for children of the same age may be used only with information about users falling within a preset upper range among a plurality of users.
- the processor 270 may provide the user with information on eating habits of a user in a period of good growth or information on commonalities between them, thereby suggesting a direction for the user to improve his or her eating habits based on the information.
- the processor 270 identifies foods high in calories or not conducive to weight loss among foods being consumed based on the captured images or images, and other
- the processor 270 identifies foods high in calories or not conducive to weight loss among foods being consumed based on the captured images or images, and other
- the at least one user who has lost weight may be selected based on users having a similar or the same disease as the corresponding user by gender, age, and body type.
- the processor 270 should not consume the food based on the captured image or image, the patient suffering from the disease based on the disease-related data. It is possible to identify whether there is food and not to consume it, as well as information about good food for patients with the disease to be included in the guide information.
- the processor 270 may check the state information of the captured food, for example, information on whether the food is damaged and difficult to consume (information on whether or not food poisoning can be caused when consumed); Alternatively, information on whether the corresponding food induces a specific allergy may be included.
- the service providing device 200 calculates the state information of the food based on the image of the food, and information on the food/food material purchase item of the user from the smart home device 400 in order to increase the accuracy of the food state information. , information on the date of purchase of foodstuffs/food ingredients of the user can be further utilized.
- the service providing device 100 identifies the purchase pattern and main intake food of the user based on the food/food material purchase item information and the user's food/food material purchase date information, By predicting usage and/or remaining quantities, orders can be automatically placed before they run out.
- the user can check the diet of another user through the service server 300, he or she selects another user's diet through the service providing device 200 to configure his or her own future meal or order another user's meal as it is, or another user You can also order ingredients that can decorate your diet.
- the user's diet may be configured by the user or may be provided by being included in the guide information, and the processor 270 may automatically order food/food ingredients based on the diet. In this case, the order amount may be determined by calculating the required amount of food/food ingredients based on the corresponding diet.
- the processor 270 outputs the output unit 210 so that the user can learn naturally in the process of eating food when the user corresponds to a student or there is a user's choice based on the user's age information. Learning content can be output through
- the processor 270 determines the type of food present in the tableware and outputs a foreign language corresponding to the food present in the tableware through the output unit 210 , so that the user naturally learns a foreign language to increase his/her language ability through direct experience. can make this possible.
- the processor 270 outputs through the output unit 210 learning content for the ratio of the number and amount of food present in the tableware, the comparison of the quantity between the foods, etc., so that the user can naturally increase his or her ability to repair through direct experience. It can make it possible to learn mathematics for
- the processor 270 records the user's intake information for each hour by using the type of food consumed by the user and nutritional information of each food, and records the user's intake information by the user or the user through a pre-registered separate terminal. You can check intake information.
- the processor 270 of the service providing apparatus 200 may analyze the user's food intake history to calculate information on the user's eating habits.
- the information collected by the service providing device 200 is transmitted to the service server 300 for providing the meal assistance service to be analyzed, or the service providing device 200 is directly based on the collected information and the user It is possible to calculate meal information including the type of food consumed, nutritional information of each food, and information on the user's eating habits.
- information on the user's preferred food can be calculated by using the user's meal information and intake information, and information on food or nutrients that the user must additionally consume is calculated, and through the terminal of the user, guardian or medical staff, You can check that information.
- the service providing device 200 and/or a separate service server 300 for providing such a service is a guardian other than the user terminal for users who are cared for by guardians or medical staff, such as the elderly, students, or patients, including infants.
- Meal information including the type of food consumed by the user, nutritional information of each food, information on the user's eating habits, and intake information of the user may be transmitted to an external terminal 500 such as a terminal or a medical staff terminal.
- the guardian or the medical staff can check the user's meal status through the guardian terminal or the medical staff terminal, and grasp the meal information.
- the service providing apparatus 200 and/or the service server 300 confirms that the user has finished the meal by receiving the image of the tableware after the meal
- the guardian terminal or the medical staff terminal for the end of the user's meal can be informed through
- the guardian or the medical staff can check the user's meal status through the guardian terminal or the medical staff terminal, and provide evaluation information on the meal provided to the user.
- meal information, intake information, etc. can be generated and provided in real time, and the guardian or medical staff of the user can check the user's meal status by checking the user's meal information and intake information provided in real time.
- the nutritional intake balance for the user for a preset period through the analysis and storage of the user's meal information, intake information, etc., and the meal information and intake information of other users received from the service server 300, The degree, the average value of other users, etc. can be calculated and provided to users, guardians, or medical staff.
- the user's meal information may be provided to an external server (not shown) such as a school or hospital.
- a professional nutritionist may access an external server (not shown) to check and analyze the user's meal information, generate meal analysis information including the meal analysis information, and provide it to the user or guardian.
- the medical staff can access the external server (not shown) to check the user's meal information and use it as a reference for medical treatment.
- the medical staff can utilize the user's meal information in the process of conducting remote medical treatment for the user, and when it is necessary to prescribe using a diet, the medical staff can create and provide the meal prescription information to the user or guardian, if necessary. You can also enter a meal mission accordingly.
- the processor 270 may configure the display unit 215 so that, in the case of a user eating alone, a plurality of people can feel the feeling of eating together.
- the user can obtain other users who can eat together through the service providing device 200 , for example, a specific user creates a virtual space through the service providing device 200 and the service server 300 and corresponding Users who access the space can share their video and sound information to create an atmosphere of eating together in the same space.
- the service providing apparatus 200 may include a microphone and a speaker in addition to the first imaging device 251 and the second imaging device 252 , the user may have a conversation with other users during the meal process.
- the service providing apparatus 200 may not continuously track the user's meal process. For example, before the user eats, the pre-meal tableware containing food may be photographed through the service providing device 200 , and after the meal is finished, the post-meal tableware may be photographed through the service providing device 200 . That is, the service providing apparatus 200 may obtain the user's meal information and intake information by comparing the food items on the tableware before and after the meal.
- the service providing apparatus 200 identifies the user by acquiring image information (facial recognition information, etc.) or voice information about the user while the user is photographing the tableware, or directly receives information about the user from the user. can also be identified.
- image information facial recognition information, etc.
- voice information voice information about the user while the user is photographing the tableware, or directly receives information about the user from the user. can also be identified.
- the user when the user tags the external terminal 500 including a mobile device such as his/her smart phone to the service providing apparatus 200 , the user may be identified by acquiring information about the user. And it is also possible to identify the user eating by checking the location information of the user based on the connection strength with short-range communication such as Wi-Fi or BLE of the external terminal 500 of the user.
- short-range communication such as Wi-Fi or BLE
- the processor 270 generates intake information based on the first image acquired through the first imaging device 251 .
- This intake information is generated based on the recognition result of food contained in the tableware in the first image, and includes at least one of type of food, food volume information, intake calorie information, intake image component information, intake information, and allergy information. do.
- the processor 270 generates motion information based on the second image acquired through the second imaging device 252 .
- This motion information is generated based on the user's motion change in the second image, and includes at least one of ingestion-related hand motion information and mastication motion information.
- the processor 270 may grasp information that the user is ingesting through various analysis methods.
- the processor 270 analyzes the images of the dishes containing food in a time-series manner to determine that the user is consuming when the amount of food contained in the dishes is reduced.
- the processor 270 may analyze the image of the tableware containing the food in time series and at the same time analyze the movement of the user's face image or the movement of the user's arm or hand. That is, if the processor 270 analyzes the movement of the user's facial association and determines that the user's mouth is moving, or analyzes the user's arm or hand movement and determines that the user is moving the arm or hand around the face, the user can be considered to be ingested.
- the processor 270 may analyze the image of the eating utensils such as spoons, chopsticks or forks, and if there is a movement of the eating utensils, it may be determined that the user is eating.
- the processor 270 may determine that the user is spitting food by analyzing the movement of the user's facial image, and when the user's age information is low, the output unit 210 is used to inform that this behavior is a wrong eating habit. It is also possible to output information for sanctions.
- an image is received from each imaging device and an analysis operation is performed on the photographing target included in each image.
- an image is received from each imaging device and the corresponding image is analyzed to determine which of the dining space, tableware, and meal status is included. After first determining whether or not a target is identified according to the analysis result, an analysis operation for the corresponding target is respectively performed.
- the processor 270 does not clearly distinguish and use the first image acquired through the first imaging device 251 and the second image acquired through the second imaging device 252 , and, if necessary, It can also be used interchangeably. For example, if tableware or food is included in the second image, more accurate intake information may be generated by referring to this.
- the processor 270 when the processor 270 generates meal mission information to induce a meal according to the guide information and outputs it through the output unit 210 , when it is determined that the user has succeeded in the meal mission based on the meal mission information may provide a preset reward.
- the processor 270 motivates the user to continue eating by outputting compensation information that can be obtained when the user completes the meal to the display unit 211 . can do
- the processor 270 may calculate the meal time until the present since the user starts eating, and if the meal time up to the present exceeds the recommended meal time, it may be determined that the user's meal speed is insufficient. In addition, the processor 270 calculates the meal time from the time the user starts eating to the present, calculates the user's expected meal time to eat the remaining food on the tableware based on the meal time until the present, and the user If the expected meal time of the user exceeds the recommended meal time, it may be understood that the user's meal speed is insufficient.
- a meal mission for the user may be received in advance from the user, guardian, or medical staff through the service providing device 100 or a separate server. It may be to finish, or to eat food in a predetermined amount or more than a predetermined amount of calories, but is not limited thereto.
- the service providing apparatus 100 or the server may provide a predetermined reward to the user when the user completes the meal by completing the predetermined meal mission.
- the predetermined reward may be, for example, points, coupons, etc., but is not limited thereto.
- an image acquired through a separate imaging device provided in the dining space may be received and further utilized to generate more accurate intake information and/or motion information.
- FIG. 4 is a diagram illustrating an example in which an apparatus for providing a meal assistance service according to an embodiment of the present invention is used.
- the user arranges the service providing apparatus 100 to face himself in the dining space and eats.
- the imaging auxiliary member 180 is mounted at a position corresponding to the first imaging device 131 at the upper end of the main body 110 to photograph the food consumed by the user.
- the first image is acquired by photographing the tableware or food contained in the tableware through the first imaging device 131 , and the user's motion change is captured by the second imaging device 132 through the second imaging device 132 . acquire an image
- the service providing device 100 analyzes the first image acquired through the first imaging device 131 to generate intake information, and analyzes the second image acquired through the second imaging device 132 to provide motion information. By generating, guide information is generated.
- the service providing device 100 generates meal mission information based on the guide information, and displays the first image and/or the second image through the display unit 150 to display the guide information as well as the visual effect image and / Alternatively, by adding a sound effect, the user can check the guide information and perform (achieve) the meal mission at the same time.
- 5 illustrates an example of a screen output to such a display unit.
- FIG. 5 is a diagram illustrating an example of a screen output to a display unit of an apparatus for providing a meal assistance service according to an embodiment of the present invention.
- the display unit 150 displays the second image displayed by the user, and displays the user's intake information as a percentage or as a graph so that it can be easily confirmed visually. Also, a sticker may be added as a visual effect image, and various sound effects may be provided according to the user's intake or masturbation operation. On the other hand, by providing a mission to achieve a perfect score by displaying the meal score as a star point, the user can feel a sense of accomplishment.
- FIG. 6 is a flowchart illustrating a method for providing a meal assistance service according to an embodiment of the present invention.
- the first image and the second image are captured through the first image pickup device 251 and the second image pickup device 252 included in the acquisition unit 250 , respectively.
- Acquire (S301) is captured through the first image pickup device 251 and the second image pickup device 252 included in the acquisition unit 250 , respectively.
- the user is identified (detected) based on the second image (S303), and intake information and operation information are generated by analyzing the first image and the second image, respectively (S305).
- Guide information is generated based on the intake information and operation information and output through the display unit 211 (S307), and meal mission information is generated according to the generated guide information and output through the display unit 211 ( S309).
- the guide information and the meal mission information may be added as a visual effect image to the image with the first image and/or the second image as a background, and a sound effect may be further added as necessary.
- a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
- RAM random access memory
- ROM read only memory
- EPROM erasable programmable ROM
- EEPROM electrically erasable programmable ROM
- flash memory hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Human Resources & Organizations (AREA)
- Nutrition Science (AREA)
- Child & Adolescent Psychology (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
Abstract
본 발명은 식사 보조 서비스 제공 시스템 및 방법에 관한 것으로, 이용자의 식사 상황을 실시간으로 모니터링 하여 이용자가 올바른 식습관을 유지할 수 있도록 하고, 식사 미션과 시각 효과 이미지 및/또는 음향 효과를 함께 제공하여 식사에 흥미를 유발할 수 있도록 하는 식사 보조 서비스 제공 시스템 및 방법에 관한 것이다.
Description
본 발명은 식사 보조 서비스 제공 시스템 및 방법에 관한 것으로, 보다 상세하게는 이용자의 식사 상황을 실시간으로 모니터링 하여 이용자가 올바른 식습관을 유지할 수 있도록 하는 식사 보조 서비스 제공 시스템 및 방법에 관한 것이다.
최근 문화의 발달과 국제적인 교류의 증대로 인하여 급격한 식생활 변화, 불규칙한 식사 및 운동부족 등으로 비만, 각종 성인병 및 기타 만성 질환이 지속적인 증가를 보이고 있으며, 삶의 질이 높아지면서 생활양식이나 환경의 변화에 맞춘 건강관리에 대한 관심도 매우 높아지고 있다.
이에 따라 병원에서만 진행되는 건강관리가 아닌 일상생활에서 건강을 지키려는 사람들이 많아지면서 이에 가장 밀접한 식생활에도 매우 큰 관심을 가지기 시작했다. 그러나 식생활이 중요하다는 인식이 빠르게 정착되는 것에 비해 그 정보는 매우 열악한 실정이다.
또한, 일반인은 물론 환자들은 자기의 체질이나 건강에 도움을 주는 음식이나 영양분에 정보가 부족하여 영양을 충분히 고려하지 않는 식사를 하는 경우가 매우 많다.
한편, 어린 아이들의 경우에는 올바른 식습관을 유지하며 식사하는데 어려움이 있고, 더욱이 미디어(media)를 시청하며 식사하는 상황에서는 식사에 대한 집중도가 떨어져 저작 활동이 떨어져 식사 시간이 길어지게 되는 문제점이 있다.
따라서, 이용자의 식사 상황을 실시간으로 모니터링 하여 이용자가 올바른 식습관을 유지할 수 있도록 하는 기술이 개발될 필요가 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 이용자의 식사 상황을 실시간으로 모니터링 하여 식사를 가이드(지도)하는 동시에 식사 미션을 제공하여 시각 효과 이미지 및/또는 음향 효과를 함께 제공하여 식사에 흥미를 유발할 수 있도록 하는 식사 보조 서비스 제공 시스템 및 방법을 제공함에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 시스템은, 상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하고, 상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하고, 상기 확인된 이용자의 가이드 정보를 생성하여 제공하는 서비스 제공 장치; 및 복수의 다른 이용자들의 식사 관련 정보를 저장 및 관리하며, 상기 서비스 제공 장치의 요청에 따라 복수의 다른 이용자들 중 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 제공하는 서비스 서버;를 포함하며, 상기 서비스 제공 장치는, 상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하고, 상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하고, 상기 확인된 섭취 정보 및 동작 정보와 상기 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 기반으로 상기 가이드 정보를 생성하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 방법은, 상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하는 단계; 상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하는 단계; 및 상기 확인된 이용자의 가이드 정보를 생성하여 상기 출력부를 통해 출력하는 단계;를 포함하며, 상기 출력부를 통해 출력하는 단계는, 상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하는 단계; 상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하는 단계; 상기 확인된 섭취 정보 및 동작 정보를 기반으로 상기 가이드 정보를 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 의하면, 이용자의 식사 상황을 실시간으로 모니터링 하여 식사를 가이드(지도)하는 동시에 식사 미션을 제공하여 시각 효과 이미지 및/또는 음향 효과를 함께 제공하여 식사에 흥미를 유발할 수 있도록 한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치를 나타내는 사시도이다.
도 2a는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 촬상장치에 부착 가능한 촬상보조부재의 일 예를 나타내는 도면이고, 도 2b는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 촬상장치에 부착 가능 촬상보조부재가 부착된 일 예를 나타내는 도면이고, 도 2c는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 촬상장치에 부착 가능한 촬상보조부재의 다른 일 예를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 식사 보조 서비스 제공 시스템의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치가 사용되는 일 예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 디스플레이부에 출력된 화면의 일 예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 방법을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치를 나타내는 사시도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치(100)(이하, '서비스 제공 장치'라 칭함)는 본체부(110), 획득부(130), 디스플레이부(150) 및 입출력부(160)를 포함한다.
본체부(110)는 식사가 이뤄지는 공간에서 이용자의 식사 현황을 포함하는 영상을 획득할 수 있도록, 식사 공간의 특정 위치에 거치될 수 있는 구조를 갖는다.
다만, 도 1에 도시된 식사 보조 서비스 제공 장치(100)의 본체부(110)는 스탠딩 타입으로서, 안정적으로 바닥에 지지되도록 상대적으로 넓은 바닥면을 갖도록 형성하였으나, 그 형상 및 타입을 한정하지 않는다. 또한, 본체부(110)는 벽걸이 타입으로 형성될 수 있는데, 이 경우에는 벽에 고정하기 위한 고정 영역이 포함될 수 있다.
몇몇 실시예에서 본체부(110)는 도 1에 도시한 형상만으로 한정되지 않으며, 각도가 조절 가능하도록 형성되어, 이용자의 신체 조건 또는 식사 상황에 따라 이용자가 자유롭게 조절하여 사용하도록 할 수도 있다.
또한, 몇몇 실시예에서 서비스 제공 장치(100)는 도 1에 도시된 것과 같이 별도로 제작된 장치가 아니라 상용 제품일 수 있다. 예컨대, 서비스 제공 장치(100)는 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 테블릿(web tablet), 무선 전화기(wireless phone), 모바일폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera) 같은 전자 장치 중 하나로서, 식사 보조 서비스의 제공이 가능한 모든 장치를 포함할 수 있으며, 서비스 제공 장치(100)에 식사 보조 서비스의 제공을 위한 프로그램이 설치될 수 있으며, 필요에 따라 별도의 프로그램이 설치되지 않고 웹을 통해 식사 보조 서비스가 제공될 수도 있다.
획득부(130)는 적어도 하나의 촬상장치를 포함할 수 있다. 획득부(130)는 하나의 촬상장치를 포함할 수도 있지만, 도 1의 실시예에 따른 서비스 제공 장치(100)와 같이 제1 촬상장치(131) 및 제2 촬상장치(132)를 구비할 수 있다. 이때, 제1 촬상장치(131) 및 제2 촬상장치(132)는 서로 상이한 위치에 구비되어, 각기 다른 대상 또는 객체를 촬영하도록 할 수도 있다. 여기서, 획득부(130)에 포함된 촬상장치는 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서, 어레이(array) 카메라 중 적어도 하나를 포함할 수 있으며, 영상(이미지) 정보와 깊이 정보를 측정할 수 있다면 그 구성에 제한이 없다. 또한, 복수의 카메라가 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스트레오 구조로 배치될 수도 있다.
몇몇 실시예에서, 각각의 촬상장치(131, 132)는 이용자에 의해 그 촬상 각도가 조정될 수 있으며, 각각의 촬상장치가 구비되는 위치는 한정하지 않는다.
예를 들어, 제1 촬상장치(131)는 본체부(110)의 상부에 구비되어 식사 공간을 촬영함으로써, 식기와 그 식기에 담긴 음식물이 포함된 영상을 획득하고, 제2 촬상장치(132)는 본체부(110)의 하부에 구비되어 식사를 하는 이용자를 촬영함으로써, 이용자의 안면 또는 모션이 포함된 영상을 획득한다.
이때, 제1 촬상장치(131)는 식기 및 식기에 담긴 음식물에 대한 이미지 정보와 깊이 정보(거리 정보)를 획득할 수 있으며, 여기서 이미지 정보는 이차원 정보일 수 있지만, 이에 제한되지 않으며 삼차원 정보이더라도 무방하다. 여기서, 이미지 정보는 촬상된 대상의 종류를 파악하기 위해 이용되고, 깊이 정보는 촬상된 대상의 부피를 산출하기 위해 이용된다.
제1 촬상장치(131)는 이미지 정보와 깊이 정보를 얻을 수 있다면, 그 구성에는 제한이 없으며, 예컨대, 2D 카메라, 3D 카메라, ToF(Time of Flight) 카메라, 라이트 필드 카메라(light field camera), 스테레오 카메라, 이벤트 카메라, 적외선 카메라, 라이다(lidar) 센서 중 적어도 하나를 포함할 수 있으며, 이미지 정보와 깊이 정보를 측정할 수 있다면 그 구성에 제한이 없다.
디스플레이부(150)는 서비스 제공 장치(100)의 전면에 구비되어, 획득부(130)를 통해 촬영한 적어도 하나의 영상을 표시한다. 이때, 디스플레이부(150)의 화면은 복수의 영역으로 분할될 수 있으며, 그 분할된 각 영역에 서로 상이한 영상이 각각 표시될 수 있다.
입출력부(160)는 외부에서 발생되는 소리 정보를 입력받거나, 서비스 제공 장치(100)에서 발생되는 효과음, 안내 멘트 등의 소리 정보를 출력한다. 예를 들어, 입출력부(160)는 스피커(161) 및/또는 마이크(162)를 포함하여 구성될 수 있다.
앞서 설명한 서비스 제공 장치(100)는 일 실시예에 해당하는 것으로, 서비스 제공 장치(100)의 전면 및 후면이 도 1에 도시된 바와 같이 동일하게 구성되어, 복수의 이용자에 대한 식사 현황을 촬영함으로써, 식사 보조 서비스를 개별적으로 각각 제공받을 수 있도록 할 수도 있고, 상호 연계된 식사 미션을 수행하도록 하여 흥미를 더욱 높일 수 있다.
또한, 외부 기기와의 통신을 위한 통신부(미도시)를 더 포함하여 외부 장치로 식사 현황을 보고하도록 할 수 있으며, 필요에 따라 추가적인 다른 구성을 더 포함하도록 할 수 있다. 여기서, 통신부는 유선 또는 무선으로 통신을 수행할 수 있으며, 그 통신 방식에는 제한이 없다. 예를 들어, 통신부는 이용자 단말, 보호자 단말 등 외부 단말이나 식사 보조 서비스를 제공하는 서비스 서버 등의 외부 기기와 통신을 수행할 수 있으며, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 서비스 제공 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신할 수 있다.
근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 식사 모니터링 장치(100)와 이용자 단말(200) 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
도 2a는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 획득부에 포함되는 촬상장치에 부착 가능한 촬상보조부재의 일 예를 나타내는 도면이고, 도 2b는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 획득부에 포함되는 촬상장치에 부착 가능 촬상보조부재가 부착된 일 예를 나타내는 도면이다.
앞서 설명한 서비스 제공 장치(100)의 획득부(130)에서 일부 촬상장치에는 도 2a에 도시된 촬상보조부재(180)가 부착(탈착, 거치 등)될 수 있으며, 촬상보조부재(180)에 의해 그 촬영 화각을 변경하도록 할 수 있다.
도 2a를 참조하면, 촬상보조부재(180)는 서비스 제공 장치(100)의 상단에 구비된 제1 촬상장치(131)에 대응하도록 거치될 수 있으며, 이를 위해 촬상보조부재(180)에는 거치를 위한 거치홈(181)이 형성될 수 있다. 그러나, 이는 일 실시예일 뿐, 부착을 위한 부착부재가 별도로 구비될 수도 있다.
한편, 촬상보조부재(180)에는 반사경(182)이 구비되어 제1 촬상장치(131)의 촬영 화각을 변경할 수 있다.
도 2b에 도시된 바와 같이, 서비스 제공 장치(100)의 상부 끝단에 거치홈(181)이 맞물려 끼워지도록 하고, 그 위치를 제1 촬상장치(131)에 대응하는 위치로 이동(조절)시킴으로써 촬상보조부재(180)를 서비스 제공 장치(100)에 부착할 수 있다.
이러한 촬상보조부재(180)를 통해 정면을 촬영하도록 구비된 제1 촬상장치(131)의 촬영 화각을 변경함으로써, 식사 공간을 보다 용이하게 촬영할 수 있다. 또는, 제1 촬상장치(131)에 촬상보조부재(180)를 부착한 상태에서 제1 촬상장치(131)와 제2 촬상장치(132) 모두를 통해 식기 및/또는 식기에 담긴 음식을 다양한 각도에서 촬영하도록 함으로써, 보다 정확한 섭취 정보를 획득하도록 할 수도 있다. 즉, 제1 촬상장치(131) 및 제2 촬상장치(132)의 촬상 대상은 상황에 따라 변경 가능하며, 특정 대상으로 한정되지 않는다.
도 2c는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 획득부에 포함되는 촬상장치에 부착 가능한 촬상보조부재의 다른 일 예를 나타내는 도면이다.
서비스 제공 장치(100)에 복수의 촬상장치가 포함된다면, 특정한 촬상장치에 촬상보조부재(180)가 부착되어 해당 촬상장치가 변경된 촬영 화각으로 촬영을 하도록 할 수 있다.
그러나 서비스 제공 장치(100)에 하나의 촬상장치가 있는 경우, 하나의 촬상장치를 통해 식기 및 식기에 담긴 음식물의 촬영은 물론 이용자에 대한 촬영도 이루어져야 하기 때문에, 촬영 화각의 주기적인 변경이 필요하다.
이를 위해, 촬상보조부재(180)는 촬상장치에 부착된 상태에서 촬상장치가 변경된 촬영 화각으로 촬영되도록 하는 제1 모드와 촬상장치가 고유의 촬영 화각으로 촬영되도록 하는 제2 모드를 지원할 수 있다.
예컨대, 도 2c를 참조하면, 촬상보조부재(180)는 힌지(183)를 더 포함할 수 있으며, 이를 통해 반사경(182)의 개폐가 가능하여 촬상장치에 부착된 상태에서 촬상장치가 변경된 촬영 화각으로 촬영되도록 하는 제1 모드와 촬상장치가 고유의 촬영 화각으로 촬영되도록 하는 제2 모드를 지원할 수 있다.
도 3은 본 발명의 실시예에 따른 식사 보조 서비스 제공 시스템의 구성을 나타내는 블록도이다. 도3에 도시된 식사 보조 서비스 제공 장치(200)는 도 1에 도시된 서비스 제공 장치(100)와 동일한 장치와 동일한 장치로서, 도 1은 서비스 제공 장치(100)의 외형적인 구성을 설명하기 위한 것이고, 도 3은 식사 보조 서비스를 제공하기 위한 동작 관련 구성을 설명하기 위한 것이다.
도 3을 참조하면, 식사 보조 서비스 제공 장치(200)(이하, '서비스 제공 장치'라 칭함)는 이용자에게 식사 보조 서비스를 제공하기 위해 식사 보조 서비스 서버(300)(이하, '서비스 서버'라 칭함), 스마트 홈 장치(400) 및 외부 단말(500)과 통신할 수 있으며, 식사 보조 서비스 시스템을 구성할 수 있다.
서비스 제공 장치(200)는 출력부(210), 저장부(230), 획득부(250), 통신부(260) 및 프로세서(270)를 포함한다.
출력부(210)는 식사 보조 서비스를 제공하기 위한 영상 또는 소리를 출력하기 위한 것으로, 디스플레이부(211)와 스피커(미도시)를 포함할 수 있다.
이때, 디스플레이부(211)의 화면은 복수의 영역으로 분할될 수도 있으며, 그 분할된 영역에 적어도 하나의 영상을 각각 표시할 수 있다.
몇몇 실시예에서 디스플레이부(211)는 터치 디스플레이를 포함할 수 있다. 출력부(210)는 이용자로부터 입력을 받는 것도 가능하며, 이를 위해 마이크(미도시)를 더 포함할 수 있다.
저장부(230)는 적어도 하나의 이용자 정보, 식사 보조 서비스를 제공하기 위한 각종 데이터 및 프로세스를 저장한다.
또한, 식기에 담긴 음식물의 부피에 대한 정보의 정확도를 높이기 위해서는 식기의 크기나 길이 등의 수치 정보가 필요하다. 저장부(230)는 이용자의 섭취 정보를 확인하기 위해 식기에 대한 정보를 저장하여 프로세서(270)가 이를 활용하도록 할 수 있다. 서비스 제공 장치(200)는 이용자에게 빈 식기을 촬영하는 메뉴를 제공함으로서, 이용자가 획득부(250)를 통해 빈 식기를 촬영하도록 유도하고, 이를 통해 빈 식기에 대한 정보를 얻을 수 있다.
획득부(250)는 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 밥을 먹는 식사공간, 그 식사공간 내의 식기 및 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득한다. 여기서, 이용자의 식사공간은 이용자의 거주지일 수 있지만, 이용자가 식사를 하면서 서비스 제공 장치(200)를 통해 식사 보조 서비스를 제공받을 수 있는 공간이라면 제한이 없다.
이를 위해, 획득부(250)는 적어도 하나의 촬상장치를 포함할 수 있다. 도 3에서는 획득부(250)가 제1 촬상장치(251) 및 제2 촬상장치(252)를 포함하여 구성된 일 예를 나타낸 것으로, 제1 촬상장치(251)를 이용하여 식기를 포함한 제1 영상을 획득하고, 제2 촬상장치(252)를 이용하여 이용자를 포함한 제2 영상을 획득한다. 여기서, 제1 영상은 도 2a 및 도 2b를 기반으로 설명한 촬상보조부재(180)를 부착함으로써 획득한 영상일 수 있다.
몇몇 실시예에서 서비스 제공 장치(200)의 획득부(250)에 대한 추가 기능이 필요한 경우, 이용자는 외부 장치(미도시)를 서비스 제공 장치(200)에 결합시켜 서비스 제공 장치(200)를 사용할 수도 있다. 예컨대, 이용자는 삼차원 정보를 수집할 수 있는 3D 카메라를 서비스 제공 장치(200)에 결합하여 식기를 촬영할 수도 있고, 별도의 안면인식 카메라를 서비스 제공 장치(200)에 결합하여 이용자, 식기 또는 음식물을 인식할 수 있다. 나아가, 스마트폰, 태블릿 PC, 노트북 등에 구비된 일반 카메라에 3D 카메라를 연동함으로써 식기 또는 음식물을 인식하도록 하고, 안면 인식 카메라를 연동함으로써 이용자를 인식하도록 할 수도 있다.
프로세서(270)는 획득부(250)에 의해 획득된 영상을 분석하여 이용자에게 식사 보조 서비스를 제공할 수 있다. 다만, 서비스 제공 장치(200)는 서비스 서버(300)와 식사 보조 서비스 시스템을 구성하여 식사 보조 서비스를 제공하기 때문에, 프로세서(270)가 수행하는 적어도 일부의 단계는 서비스 서버(300)에서 수행될 수도 있다.
우선, 프로세서(270)는 이용자를 확인한다. 해당 서비스 제공 장치(200)에 대하여 이용자가 이미 정해진 경우에는 이용자 확인 단계가 간소화될 수 있으며, 몇몇 실시예에서 프로세서(270)는 이용자 확인 단계를 생략하고 식사 보조 서비스를 제공하거나 이용자로부터 충분한 정보를 얻지 못한 채 식사 보조 서비스를 제공할 수도 있다.
프로세서(270)는 획득부(250)로부터 입력된 이용자에 대한 영상, 이용자의 식사 현황이 포함된 영상, 이용자의 지문 영상 또는 이용자의 음성을 분석하여 식사 보조 서비스를 제공받는 이용자를 특정할 수 있다. 이를 위해, 프로세서(270)는 저장부(230) 또는 서비스 서버(300)에 저장된 기존 이용자에 대한 정보를 이용할 수 있다.
여기서, 프로세서(270)는 획득부(250)로부터 입력된 이용자에 대한 정보 일치하는 정보가 저장부(230) 또는 서비스 서버(300)에 저장되어 있지 않은 경우, 출력부(210)를 통해 새로운 이용자 등록을 안내할 수 있다. 이 때, 프로세서(270)는 이용자에 대한 정보로서 연령 정보, 성별 정보, 체형 정보, 질병 정보 또는 알러지 정보를 입력하도록 이용자에게 요청할 수 있다.
또한, 프로세서(270)는 획득부(250)로부터 이용자에 대한 정보를 직접 입력받을 수도 있다. 예컨대, 프로세서(270)는 출력부(210)를 통해 저장부(230) 또는 서비스 서버(300)에 저장된 기존 이용자에 대한 정보를 출력하고, 이용자는 출력된 기존 이용자에 대한 정보 중에서 적합한 대상을 선택할 수 있다.
한편, 프로세서(270)는 식사 보조 서비스 시스템을 통해 수집되고 분석되는 정보를 바탕으로 이용자에 대한 정보를 지속적으로 갱신할 수 있다. 또한, 프로세서(270)는 서비스 제공 장치(200)를 통해 수집되는 정보 이외에 외부 단말(500)로부터 수집되어 전달되는 정보도 함께 분석할 수 있으며, 이에 따라 이용자에 대한 정보가 갱신될 수 있다.
따라서 본 실시예에 따른 식사 보조 서비스 시스템에 따르면, 주거지 내에서 식사가 이루어진 것이 아니라서 서비스 제공 장치(200)를 이용하지 못하는 상황이라고 하더라도, 외부 단말(500)을 통해 수집되어 전달되는 정보도 함께 분석될 수 있으므로, 시간과 장소에 무관하게 지속적인 분석이 가능할 수 있다.
식사 보조 서비스로서, 프로세서(270)는 가이드 정보를 생성하고, 그 생성된 가이드 정보를 출력부(210)를 통해 출력할 수 있다. 여기서, 프로세서(270)는 확인된 이용자에 대응하는 가이드 정보를 생성한다. 예를 들어, 이용자의 연령 정보, 성별 정보, 체형 정보, 질병 정보 또는 알러지 정보 등을 참고하여 올바른 식사를 유도할 수 있도록 하는 가이드 정보를 생성한다. 만약, 해당 이용자가 기 등록된 이용자인 경우, 그 이용자에 대한 기 저장된 이용자 정보를 기반으로 연령 정보, 성별 정보, 체형 정보, 질병 정보 또는 알러지 정보 등을 확인할 수 있고, 해당 이용자가 기 등록된 이용자가 아닌 경우, 그 이용자에 대한 연령, 성별, 체형 등을 예측(감지)하여 참고할 수 있다.
구체적으로, 이용자가 영유아 또는 성장기의 학생인 경우, 이용자의 현재까지의 식습관 정보를 분석하여 서비스 서버(300)로부터 해당 시기의 성장 정보와 같은 정보들을 전달받아 가이드 정보에 포함시켜 제공할 수 있다. 예를 들어, 다른 이용자로서 같은 또래 어린이들에 대한 섭취 정보, 식습관 정보, 식사 시간 정보, 식사 속도 정보 등을 서비스 서버(300)로부터 전달받아 이를 기반으로 해당 어린이 이용자가 편식을 하고 있는 음식 또는 영양분을 파악하고, 그 파악된 정보를 기반으로 해당 어린이 이용자가 해당 음식 또는 영양분을 포함하는 음식을 먹을 수 있도록 유도한다.
뿐만 아니라, 서비스 서버(300)에 저장된 복수의 이용자 중 같은 또래 영유아 또는 성장기의 학생들에 대한 성장 정보를 기반으로 이용자의 성장 현황을 확인 및 제공한다. 여기서, 성장 정보는 평균 키, 평균 몸무게, 머리 둘레, 허리 둘레 등 성장과 관련한 신체 정보일 수 있고, 성장 현황은 이러한 다른 이용자의 신체 정보와 해당 이용자의 신체 정보를 비교/분석하여 다른 이용자 대비 해당 이용자의 성장 수준 등을 수치 또는 그래프 등으로 나타낸 정보일 수 있다.
이때, 같은 또래 어린이들에 대한 섭취 정보, 식습관 정보, 성장 정보 등은 복수의 이용자 중 미리 설정된 상위 범위 이내에 해당하는 이용자에 대한 정보만을 이용하도록 할 수 있다.
한편, 프로세서(270)는 이용자에게 성장 정도가 좋은 성장기의 이용자의 식습관 정보 또는 이들의 공통점에 대한 정보를 제공함으로써, 이용자가 해당 정보를 바탕으로 식습관을 개선할 수 있는 방향을 제시할 수 있다.
또한, 체중 감량을 목표로 하는 이용자의 경우에는, 프로세서(270)가 촬영된 영상 또는 이미지를 기반으로 섭취하고 있는 음식 중 칼로리가 높거나 체중 감량에 도움이 되지 않는 음식을 파악하고, 다이어트 중인 다른 이용자의 식단을 참조하여 해당 이용자에게 적합한 식단 정보를 포함시켜 제공할 수도 있다. 예를 들어, 동일하게 체중 감량을 식사 보조 서비스의 목적으로 하는 다른 이용자들 중 체중을 감량한 적어도 하나의 이용자에 대한 섭취 정보, 식단 정보, 식사 패턴 정보, 식사 시간 정보, 식사 속도 정보, 운동 정보 등 체중 감량에 도움이 되는 정보들을 가이드 정보에 포함시켜 이용자가 이를 참고하도록 한다. 이때, 체중을 감량한 적어도 하나의 이용자는 해당 이용자와 성별, 연령, 체형이 유사하거나 동일한 질병을 앓고 있는 이용자들을 기반으로 선택될 수 있다.
또한, 당뇨나 고혈압 등의 질병을 앓고 있는 환자의 경우에는, 프로세서(270)가 촬영된 영상 또는 이미지를 기반으로 섭취하고 있는 음식 중 해당 질병 관련 데이터를 기반으로 해당 질병을 앓는 환자가 섭취하면 안되는 음식이 있는지 여부를 파악하고, 이를 섭취하지 않도록 하는 안내 정보는 물론, 해당 질병을 앓는 환자가 섭취하면 좋은 음식에 대한 정보를 가이드 정보에 포함시켜 제공할 수 있다.
아울러, 해당 이용자가 특정 음식에 대한 알러지가 있는 것으로 확인되는 경우, 촬영된 영상 또는 이미지에 포함된 음식 중 해당 알러지를 유발할 수 있는 음식이 있는지 여부를 확인하고, 우려되는 음식에 대한 안내 정보를 가이드 정보에 포함시켜 제공함으로써 주의하도록 할 수 있다.
즉, 다양한 이용자에 대한 기 등록된 데이터 또는 감지한 데이터를 기반으로 각각의 특성에 맞게 보다 적합한 가이드 정보를 제공할 수 있다.
식사 보조 서비스로서, 프로세서(270)는 촬상된 음식물의 상태 정보를 확인할 수 있는데, 예컨대, 해당 음식물이 상해서 섭취하기 어려운 상황인지 여부에 대한 정보(섭취시 식중독을 유발할 수 있는지 여부에 대한 정보), 또는 해당 음식물이 특정 알러지를 유발하는지에 대한 정보 등을 포함할 수 있다. 여기서, 서비스 제공 장치(200)는 음식물에 대한 이미지에 기초하여 해당 음식물의 상태 정보를 산출하며, 음식물의 상태 정보에 대한 정확도를 높이기 위해 스마트 홈 장치(400)로부터 이용자의 식료품/식재료 구매 품목 정보, 이용자의 식료품/식재료 구매 일자 정보 등을 더 활용할 수 있다. 또한, 서비스 제공 장치(100)는 그 식료품/식재료 구매 품목 정보, 이용자의 식료품/식재료 구매 일자 정보를 기반으로, 이용자의 구매 패턴과 주 섭취 음식을 파악하고, 해당 음식에 필요한 식료품/식재료 등의 사용량 및/또는 잔여량을 예측함으로써, 모두 소진되기 이전에 자동으로 주문이 이뤄지도록 할 수도 있다.
이용자는 서비스 서버(300)를 통해 다른 이용자의 식단을 확인할 수 있기 때문에, 서비스 제공 장치(200)를 통해 다른 이용자의 식단을 선택하여 향후 본인의 식단을 구성하거나 다른 이용자의 식단 그대로 주문하거나 다른 이용자의 식단을 꾸밀 수 있는 식재료를 주문하도록 할 수도 있다. 이러한 이용자의 식단은 이용자에 의해 구성될 수도 있고, 가이도 정보에 포함되어 제공될 수도 있는데, 프로세서(270)는 그 식단을 기반으로 식료품/식재료를 자동으로 주문할 수 있다. 이때, 해당 식단을 기반으로 식료품/식재료의 필요량을 산출함으로써, 주문량을 결정할 수 있다.
식사 보조 서비스로서, 프로세서(270)는 이용자의 연령 정보를 기초로 이용자가 학생에 해당하거나 이용자의 선택이 있는 경우, 이용자가 음식물을 섭취하는 과정에서 자연스럽게 학습을 할 수 있도록 출력부(210)를 통해 학습 콘텐츠를 출력할 수 있다.
예컨대, 프로세서(270)는 식기에 존재하는 음식물의 종류를 파악하고 출력부(210)를 통해 식기에 존재하는 음식물에 대응하는 외국어를 출력함으로써 이용자가 직접 경험을 통해 자연스럽게 언어 능력 증대를 위해 외국어 학습이 가능하도록 할 수 있다. 이 밖에, 프로세서(270)는 식기에 존재한 음식물의 개수와 양의 비율, 음식물 간의 양의 비교 등에 대한 학습 콘텐츠를 출력부(210)를 통해 출력함으로써 이용자가 직접 경험을 통해 자연스럽게 수리 능력 증대를 위한 수학 학습이 가능하도록 할 수 있다.
또한, 식사 보조 서비스로서, 프로세서(270)는 이용자가 섭취하는 음식물의 종류, 각 음식물의 영양 정보를 이용하여, 이용자의 시간별 섭취 정보를 기록하고 이용자 또는 기등록된 별도의 단말을 통해 해당 이용자의 섭취 정보를 확인하도록 할 수 있다.
한편, 서비스 제공 장치(200)의 프로세서(270)는 이용자의 음식물 섭취 내역을 분석하여 이용자의 식습관에 대한 정보를 산출할 수도 있다.
이때, 식사 보조 서비스를 제공하기 위한 서비스 서버(300)로 서비스 제공 장치(200)에 의해 수집된 정보를 전송하여 분석하도록 하거나 서비스 제공 장치(200)가 직접 그 수집된 정보를 기반으로 하여 이용자가 섭취하는 음식물의 종류, 각 음식물의 영양정보, 이용자의 식습관에 대한 정보 등을 포함하는 식사 정보를 산출할 수 있다.
나아가, 이용자의 식사 정보, 섭취 정보를 이용하여 이용자의 선호 음식에 대한 정보를 산출할 수 있으며, 이용자가 추가적으로 섭취해야 하는 음식 또는 영양소에 대한 정보를 산출하고, 이용자, 보호자 또는 의료진의 단말을 통해 해당 정보를 확인할 수 있도록 할 수 있다.
구체적으로, 서비스 제공 장치(200) 및/또는 이러한 서비스 제공을 위한 별도의 서비스 서버(300)는 영유아를 포함하는 노약자, 학생 또는 환자와 같이 보호자 또는 의료진의 돌봄을 받는 이용자에 대하여 이용자 단말 이외에 보호자 단말, 의료진 단말 등과 같은 외부 단말(500)에도 이용자가 섭취하는 음식물의 종류, 각 음식물의 영양정보, 이용자의 식습관에 대한 정보, 이용자의 섭취정보를 포함하는 식사 정보를 전송할 수 있다.
이를 통해, 보호자 또는 의료진은 보호자 단말 또는 의료진 단말을 통해 이용자의 식사 현황에 대하여 확인을 하고, 식사 정보를 파악할 수 있다. 몇몇 실시예에서, 서비스 제공 장치(200) 및/또는 서비스 서버(300)가 식사 후 식기에 대한 이미지를 수신함으로써 이용자가 식사를 마친 것을 확인한 경우, 이용자의 식사 종료에 대하여 보호자 단말 또는 의료진 단말을 통해 알려줄 수 있다. 이러한 경우, 보호자 또는 의료진은 이용자의 식사 현황에 대하여 보호자 단말 또는 의료진 단말을 통해 확인하고, 이용자에게 제공된 식사에 대하여 평가 정보를 제공할 수 있다.
이때, 식사 정보, 섭취 정보 등은 실시간으로 생성되어 제공될 수 있는 바, 이용자의 보호자 또는 의료진은 실시간으로 제공되는 이용자의 식사 정보, 섭취 정보를 확인함으로써 이용자의 식사 현황을 확인할 수 있다. 뿐만 아니라, 분석 및 저장되는 이용자의 식사 정보, 섭취 정보 등과, 서비스 서버(300)로부터 전달받은 다른 이용자들의 식사 정보, 섭취 정보 등을 통해 미리 설정된 기간 동안의 해당 이용자에 대한 영양 섭취 균형도, 편식 정도, 다른 이용자들의 평균치 등을 산출하여 이용자, 보호자 또는 의료진에게 제공하여 줄 수 있다. 뿐만 아니라, 이용자에 대한 최적의 식단, 식사 패턴 등을 스케줄링 하여 컨설팅 정보로서 제공하여 줄 수도 있다.
이용자 또는 보호자의 동의나 요청이 있는 경우, 이용자의 식사 정보는 학교나 병원 등의 외부 서버(미도시)에 제공될 수도 있다. 전문 영양사는 외부 서버(미도시)에 접속하여 이용자의 식사 정보를 확인하고 분석하여, 식단 분석 정보를 포함하는 식사 분석 정보를 생성하여 이용자 또는 보호자에게 제공할 수 있다. 그리고 의료진은 외부 서버(미도시)에 접속하여 이용자의 식사 정보를 확인하여 진료에 참고 자료로 이용할 수 있다. 예컨대, 의료진은 이용자에 대하여 원격 진료를 진행하는 과정에서 이용자의 식사 정보를 활용할 수 있으며, 식이 요법을 이용하여 처방을 해야 하는 경우 식사 처방 정보를 생성하여 이용자 또는 보호자에게 제공할 수 있으며, 필요에 따라 식사 미션을 입력할 수도 있다.
한편, 프로세서(270)는 혼자 식사를 하는 이용자의 경우, 여러 명이 함께 식사를 하는 기분을 느낄 수 있도록 디스플레이부(215)를 구성하여 줄 수 있다. 구체적으로, 이용자는 서비스 제공 장치(200)를 통해서 함께 식사를 진행할 수 있는 다른 이용자를 구할 수 있으며, 예컨대 특정 이용자는 서비스 제공 장치(200) 및 서비스 서버(300)를 통해 가상의 공간을 만들고 해당 공간에 접속하는 이용자에게 각자의 영상 및 소리 정보를 공유하여 같은 공간에서 함께 식사를 하는 분위기를 조성할 수 있다. 이 서비스 제공 장치(200)는 제1 촬상장치(251) 및 제2 촬상장치(252) 이외에 마이크 및 스피커를 포함할 수 있기 때문에, 이용자는 식사 과정에서 다른 이용자와 대화를 나눌 수도 있다.
이를 통해, 독거 노인과 같은 실버 세대나, 혼밥족과 같은 개인의 경우, 서비스 제공 장치(200)를 통하여 다른 이용자와 함께 식사를 즐길 수 있기 때문에, 식사 과정에서 외로움을 해소할 수 있다.
한편, 몇몇 실시예에서 서비스 제공 장치(200)가 이용자의 식사 과정을 지속적으로 트래킹하지 않을 수 있다. 예컨대, 이용자가 식사를 하기 전에 음식물이 담긴 식사 전 식기를 서비스 제공 장치(200)를 통해 촬영하고, 식사를 마친 후에 식사 후 식기를 서비스 제공 장치(200)를 통해 촬영할 수 있다. 즉, 식사 전과 식사 후의 식기의 음식물을 비교함으로써 서비스 제공 장치(200)는 이용자의 식사 정보, 섭취 정보를 얻을 수 있다.
여기서, 서비스 제공 장치(200)는 이용자가 식기를 촬영하는 동안 이용자에 대한 영상 정보(안면 인식 정보 등)나 음성 정보를 함께 획득하여 이용자를 식별하거나, 이용자로부터 이용자에 대한 정보를 직접 입력받아 이용자를 식별할 수도 있다.
또한, 이용자가 서비스 제공 장치(200)에 자신의 스마트폰 등의 모바일 디바이스를 포함하는 외부 단말(500)을 태깅하는 경우 이용자에 대한 정보를 획득하여 이용자를 식별할 수 있다. 그리고 이용자의 외부 단말(500)의 와이파이 또는 BLE 등의 근거리 통신과의 연결 강도를 바탕으로 이용자의 위치 정보를 확인함으로써 식사를 하는 이용자를 식별할 수도 있다.
이 프로세서(270)는 제1 촬상장치(251)를 통해 획득된 제1 영상을 기반으로 섭취 정보를 생성한다. 이 섭취 정보는 제1 영상 내의 식기에 담긴 음식물의 인식 결과를 기반으로 생성되는 것으로, 음식물의 종류, 음식물의 부피 정보, 섭취 칼로리 정보, 섭취 영상 성분 정보, 섭취량 정보 및 알러지 정보 중 적어도 하나를 포함한다. 한편, 프로세서(270)는 제2 촬상장치(252)를 통해 획득된 제2 영상을 기반으로 동작 정보를 생성한다. 이 동작 정보는 제2 영상 내의 이용자의 모션 변화를 기반으로 생성되는 것으로, 섭취와 관련된 손 동작 정보 및 저작 동작 정보 중 적어도 하나를 포함한다.
한편, 프로세서(270)는 이용자가 섭취하고 있다는 정보를 다양한 분석 방법을 통해 파악할 수 있다.
우선, 프로세서(270)는 음식물이 담긴 식기에 대한 영상을 시계열적으로 분석하여 식기에 담긴 음식물이 줄어든 경우 이용자가 섭취하고 있다고 판단할 수 있다. 또한, 프로세서(270)는 음식물이 담긴 식기에 대한 영상을 시계열적으로 분석함과 동시에 이용자의 안면 영상의 움직임 또는 이용자의 팔 또는 손의 움직임을 분석할 수 있다. 즉, 프로세서(270)는 이용자의 안면 연상의 움직임을 분석하여 이용자의 입이 오물오물 움직이고 있다고 판단되거나 이용자의 팔 또는 손의 움직임을 분석하여 이용자가 팔 또는 손을 얼굴 주변으로 움직이고 있다고 판단되면 이용자가 섭취하고 있다고 판단할 수 있다.
이 밖에, 프로세서(270)는 숟가락, 젓가락 또는 포크 등의 식사도구에 대한 영상을 분석하여 식사도구의 움직임이 있는 경우 이용자가 섭취하고 있다고 판단할 수 있다.
몇몇 실시예에서 프로세서(270)는 이용자의 안면 영상의 움직임을 분석하여 이용자가 음식을 뱉고 있다고 판단할 수 있으며, 이용자의 연령 정보가 낮은 경우 이러한 행위가 잘못된 식습관임을 알리기 위해 출력부(210)를 통해 이를 제재하기 위한 정보를 출력할 수도 있다.
앞서 설명한 바와 같이, 각 촬상장치 별로 촬영하고자 하는 대상이 구분되어 있는 경우에는 각 촬상장치로부터 영상을 입력받아 각 영상에 포함된 촬영 대상에 대한 분석 동작을 각각 수행한다. 그러나, 하나 또는 여러 개의 촬상장치로 각 촬상장치 별로 촬영하고자 하는 대상이 구분되어 있지 않은 경우에는 각 촬상장치로부터 영상을 입력받아 해당 영상을 분석하여 식사공간, 식기, 식사 현황 중 어느 것을 포함하고 있는지 여부를 먼저 판단한 후, 그 분석 결과에 따라 대상이 확인되면, 해당 대상에 대한 분석 동작을 각각 수행한다.
아울러, 프로세서(270)는 제1 촬상장치(251)를 통해 획득된 제1 영상 및 제2 촬상장치(252)를 통해 획득된 제2 영상을 명확히 구분하여 이용하지 않고, 필요에 따라 참고적으로 호환하여 이용할 수도 있다. 예를 들어, 제2 영상에 식기 또는 음식물이 포함되어 있다면 이를 참고하여 보다 정확한 섭취 정보를 생성하도록 할 수 있다.
한편, 프로세서(270)는 가이드 정보에 따라 식사할 수 있도록 유도하는 식사 미션 정보를 생성하여 출력부(210)를 통해 출력하고, 이용자가 그 식사 미션 정보를 기반으로 식사 미션을 성공한 것으로 판단된 경우에는 미리 설정된 보상을 제공할 수 있다.
예를 들어, 프로세서(270)는 이용자의 식사 속도가 미진한 것으로 파악되면, 이용자에게 식사를 완료하는 경우 얻을 수 있는 보상 정보를 디스플레이부(211)에 출력함으로써 이용자가 식사를 지속할 수 있도록 동기 부여를 할 수 있다.
이때, 프로세서(270)는 이용자가 식사를 시작한 이후의 현재까지의 식사 시간을 계산하고, 현재까지의 식사 시간이 권장 식사 시간을 도과한 경우 이용자의 식사 속도가 미진한 것으로 파악할 수 있다. 또한, 프로세서(270)는 이용자가 식사를 시작한 이후의 현재까지의 식사 시간을 계산하고, 현재까지의 식사 시간을 기초로 식기의 잔여 음식물을 식사하기까지 걸리는 이용자의 예상 식사 시간을 산출하고, 이용자의 예상 식사 시간이 권장 식사 시간을 도과한 경우 이용자의 식사 속도가 미진할 것으로 파악할 수도 있다.
한편, 앞서 설명한 바와 같이, 서비스 제공 장치(100) 또는 별도의 서버를 통해 이용자, 보호자 또는 의료진으로부터 사전에 이용자에 대한 식사 미션을 입력 받을 수도 있는데, 예를 들어, 식사 미션은 잔반을 남기지 않고 식사를 마치는 것이거나, 미리 정해진 양 또는 미리 정해진 칼로리 이상의 음식물을 섭취하는 것일 수 있지만, 이에 제한되지 않는다. 서비스 제공 장치(100) 또는 서버는 이용자가 미리 정해진 식사 미션을 달성하여 식사를 마친 경우 해당 이용자에게 미리 정해진 보상을 제공할 수 있다. 여기서, 미리 정해진 보상은 예컨대, 포인트, 쿠폰 등일 수 있지만, 이에 제한되지 않는다.
아울러, 도 3에 도시된 획득부(250) 이외에도 식사 공간에 구비되는 별도의 촬상장치를 통해 획득된 영상을 수신하여 이를 더 활용함으로써 보다 정확한 섭취 정보 및/또는 동작 정보를 생성하도록 할 수도 있다.
도 4는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치가 사용되는 일 예를 나타내는 도면이다.
도 4를 참조하면, 이용자는 서비스 제공 장치(100)를 식사 공간 내에 자신을 마주보도록 배치하고, 식사를 한다. 이때, 본체부(110)의 상부 끝단에서 제1 촬상장치(131)에 대응하는 위치에 촬상보조부재(180)를 거치하여 이용자가 섭취하는 음식을 촬영하도록 한다.
이로써, 이용자가 식사하는 동안 제1 촬상장치(131)를 통해 식기 또는 식기에 담긴 음식물을 촬영하여 제1 영상을 획득하고, 제2 촬상장치(132)를 통해 이용자의 모션 변화를 촬영하여 제2 영상을 획득한다.
서비스 제공 장치(100)는 제1 촬상장치(131)를 통해 획득된 제1 영상을 분석하여 섭취 정보를 생성하고, 제2 촬상장치(132)를 통해 획득된 제2 영상을 분석하여 동작 정보를 생성함으로써, 가이드 정보를 생성한다.
이후, 서비스 제공 장치(100)는 가이드 정보를 기반으로 식사 미션 정보가 생성하고, 디스플레이부(150)를 통해 제1 영상 및/또는 제2 영상을 표시하여 가이드 정보는 물론, 시각 효과 이미지 및/또는 음향 효과를 부가함으로써 이용자가 가이드 정보를 확인하는 동시에 그 식사 미션을 수행(달성)하도록 할 수 있다. 도 5는 이러한 디스플레이부에 출력된 화면의 일 예를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 식사 보조 서비스 제공 장치의 디스플레이부에 출력된 화면의 일 예를 나타내는 도면이다.
도 5의 (a) 및 (b)와 같이, 디스플레이부(150)에 이용자가 표시된 제2 영상을 표시하고, 이용자의 섭취량 정보를 퍼센트로 표시하거나 그래프로 표시하여 시각적으로 용이하게 확인할 수 있도록 할 수도 있고, 시각 효과 이미지로서 스티커를 부가하고, 이용자의 섭취 동작 또는 저작 동작에 따라 다양한 음향 효과를 제공할 수 있다. 한편, 식사 점수를 별점으로 표시하여 만점을 달성하는 미션을 제공함으로써 이용자가 성취감을 느낄 수 있도록 한다.
도 6은 본 발명의 일 실시예에 따른 식사 보조 서비스 제공 방법을 나타내는 순서도이다.
도 6을 참조하면, 서비스 제공 장치(200)가 구동되면, 획득부(250)에 포함된 제1 촬상장치(251) 및 제2 촬상장치(252)를 통해 각각 제1 영상 및 제2 영상을 획득한다(S301).
이후, 제2 영상을 기반으로 이용자를 확인(감지)하고(S303), 제1 영상 및 제2 영상을 각각 분석하여 섭취 정보 및 동작 정보를 생성한다(S305).
이 섭취 정보 및 동작 정보를 기반으로 가이드 정보를 생성하여 디스플레이부(211)를 통해 출력하고(S307), 그 생성된 가이드 정보에 따라 식사 미션 정보를 생성하여 디스플레이부(211)를 통해 출력한다(S309). 여기서, 가이드 정보 및 식사 미션 정보는 제1 영상 및/또는 제2 영상을 배경으로 하여 그 영상에 시각 효과 이미지로서 부가될 수 있고, 필요에 따라 음향 효과가 더 부가될 수 있다.
이후, 이용자가 그 식사 미션을 성공하였는지 여부를 확인하고(S311), 식사 미션을 성공한 경우에는 기 설정된 보상을 제공한다(S313). 한편, 식사 미션을 성공하지 못한 경우에는 보상 없이 종료한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
Claims (10)
- 식사 보조 서비스 제공 시스템에 있어서,상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하고, 상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하고, 상기 확인된 이용자의 가이드 정보를 생성하여 제공하는 서비스 제공 장치; 및복수의 다른 이용자들의 식사 관련 정보를 저장 및 관리하며, 상기 서비스 제공 장치의 요청에 따라 복수의 다른 이용자들 중 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 제공하는 서비스 서버;를 포함하며,상기 서비스 제공 장치는, 상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하고, 상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하고, 상기 확인된 섭취 정보 및 동작 정보와 상기 조건을 만족하는 적어도 하나의 이용자의 식사 관련 정보를 기반으로 상기 가이드 정보를 생성하는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제1항에 있어서,상기 서비스 제공 장치는, 복수의 제1 및 제2 촬상 장치를 포함하고,상기 제1 촬상 장치는, 상기 식기를 포함한 제1 영상을 획득하고,상기 제2 촬상 장치는, 상기 이용자를 포함한 제2 영상을 획득하고,상기 섭취 정보는, 상기 제1 영상 내의 상기 식기에 담겨진 음식물의 인식 결과를 기반으로 생성되고,상기 동작 정보는, 상기 제2 영상 내의 상기 이용자의 모션 변화를 기반으로 생성되는,식사 보조 서비스 제공 시스템.
- 제2항에 있어서,상기 섭취 정보는, 상기 음식물의 종류, 상기 음식물의 부피 정보, 섭취 칼로리 정보, 섭취 영양 성분 정보, 섭취량 정보 및 알러지 정보 중 적어도 하나를 포함하고,상기 동작 정보는, 섭취와 관련된 손 동작 정보 및 저작 동작 정보 중 적어도 하나를 포함하는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제2항에 있어서,상기 서비스 제공 장치는,상기 가이드 정보에 따라 이용자가 식사할 수 있도록 유도하는 식사 미션 정보를 생성하여 디스플레이부를 통해 출력하고, 상기 이용자가 상기 식사 미션 정보를 기반으로 식사 미션을 성공한 것으로 판단된 경우, 미리 설정된 보상을 제공하는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제4항에 있어서,상기 식사 미션은, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나에 시각 효과 이미지 및 음향 효과 중 적어도 하나를 부가함으로써 제공되는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제1항에 있어서,상기 식사 관련 정보는, 섭취 정보, 식단 정보, 식사 패턴 정보, 식사 시간 정보, 식사 속도 정보, 운동 정보 중 적어도 하나를 포함하며,상기 가이드 정보는, 상기 확인된 이용자의 식사 현황 정보, 및 상기 식사 관련 정보를 기준으로 산출한 해당 이용자의 영양 섭취 균형도, 편식 정보, 다른 이용자의 평균치 및 식단 컨설팅 정보 중 적어도 하나를 포함하는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제2항에 있어서,상기 제1 영상은,상기 제1 촬상 장치에 촬영 화각 변경을 위한 반사경을 포함하는 촬상보조부재를 부착함으로써 획득 가능한 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제1항에 있어서,상기 서비스 제공 장치는,상기 확인된 이용자가 기 등록된 이용자인 경우, 기 저장된 이용자 정보를 기반으로 상기 가이드 정보를 생성하고,상기 확인된 이용자가 기 등록된 이용자가 아닌 경우, 연령, 성별 및 체형에 대한 정보를 감지하고, 상기 감지된 정보를 기반으로 상기 가이드 정보를 생성하는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 제6항에 있어서,상기 서비스 제공 장치는,스마트홈 장치로부터 식료품 및 식재료 구매 품목 정보, 구매 일자 정보를 제공받아 상기 식단 컨설팅 정보를 기반으로 필요한 식료품 및 식재료와 그 필요량을 확인하고, 확인된 필요량에 따라 식료품 및 식재료를 자동 주문하는 것을 특징으로 하는,식사 보조 서비스 제공 시스템.
- 식사 보조 서비스 제공 방법에 있어서,상기 식사 보조 서비스를 제공받는 적어도 하나의 이용자가 식사하는 식사공간, 상기 식사공간 내의 식기 및 상기 이용자의 식사 현황 중 적어도 하나가 포함된 적어도 하나의 영상을 획득하는 단계;상기 획득된 영상 내에 상기 이용자의 식사 현황이 포함된 경우, 상기 식사 현황에 따른 상기 이용자를 확인하는 단계; 및상기 확인된 이용자의 가이드 정보를 생성하여 상기 출력부를 통해 출력하는 단계;를 포함하며,상기 출력부를 통해 출력하는 단계는,상기 적어도 하나의 영상을 분석하여, 상기 식사공간, 상기 식기 및 상기 식사 현황 중 적어도 하나를 인식하는 단계;상기 인식된 결과를 기반으로 이용자의 섭취 정보 및 동작 정보를 확인하는 단계;상기 확인된 섭취 정보 및 동작 정보를 기반으로 상기 가이드 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는,식사 보조 서비스 제공 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0057986 | 2020-05-14 | ||
KR20200057986 | 2020-05-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021230724A1 true WO2021230724A1 (ko) | 2021-11-18 |
Family
ID=78524666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2021/006111 WO2021230724A1 (ko) | 2020-05-14 | 2021-05-14 | 식사 보조 서비스 제공 시스템 및 방법 |
Country Status (2)
Country | Link |
---|---|
KR (2) | KR20210141415A (ko) |
WO (1) | WO2021230724A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318991A (ja) * | 2000-05-08 | 2001-11-16 | Ryosuke Murayama | 情報システムを用いた栄養管理システム |
JP2003085289A (ja) * | 2001-09-13 | 2003-03-20 | Matsushita Electric Ind Co Ltd | 食生活改善支援装置 |
KR20160128017A (ko) * | 2015-04-28 | 2016-11-07 | 삼성전자주식회사 | 전자 장치, 서버 및 그 제어 방법 |
KR20180121225A (ko) * | 2017-04-28 | 2018-11-07 | 김지훈 | 식습관 유도 서비스 시스템 및 이를 이용한 식습관 유도 서비스 |
KR20190138147A (ko) * | 2018-06-04 | 2019-12-12 | 서울대학교산학협력단 | 모바일을 이용한 푸드 다이어리 장치 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200099668A (ko) | 2019-02-15 | 2020-08-25 | 주식회사 위허들링 | 식사 제공 및 식습관 코칭 방법 및 식사 제공 장치 |
-
2021
- 2021-05-14 WO PCT/KR2021/006111 patent/WO2021230724A1/ko active Application Filing
- 2021-05-14 KR KR1020210063046A patent/KR20210141415A/ko active Application Filing
-
2023
- 2023-07-21 KR KR1020230095301A patent/KR20230113508A/ko not_active Application Discontinuation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318991A (ja) * | 2000-05-08 | 2001-11-16 | Ryosuke Murayama | 情報システムを用いた栄養管理システム |
JP2003085289A (ja) * | 2001-09-13 | 2003-03-20 | Matsushita Electric Ind Co Ltd | 食生活改善支援装置 |
KR20160128017A (ko) * | 2015-04-28 | 2016-11-07 | 삼성전자주식회사 | 전자 장치, 서버 및 그 제어 방법 |
KR20180121225A (ko) * | 2017-04-28 | 2018-11-07 | 김지훈 | 식습관 유도 서비스 시스템 및 이를 이용한 식습관 유도 서비스 |
KR20190138147A (ko) * | 2018-06-04 | 2019-12-12 | 서울대학교산학협력단 | 모바일을 이용한 푸드 다이어리 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR20210141415A (ko) | 2021-11-23 |
KR20230113508A (ko) | 2023-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10485454B2 (en) | Systems and methods for markerless tracking of subjects | |
US12040088B2 (en) | Method and apparatus for determining user information | |
KR101849955B1 (ko) | 스마트 미러를 활용한 요양 케어시스템 | |
US20190147721A1 (en) | Personal emergency response system and method for improved signal initiation, transmission, notification/annunciation, and level of performance | |
US8731512B2 (en) | System and method for effecting context-cognizant medical reminders for a patient | |
JP2020500570A (ja) | 患者モニタリングシステム及び方法 | |
CN108882853B (zh) | 使用视觉情境来及时触发测量生理参数 | |
TW201909058A (zh) | 活動支援方法、程式及活動支援系統 | |
US20210082056A1 (en) | Information processing apparatus and information processing method | |
KR20170099773A (ko) | 신체 능력의 측정 및 증진을 위한 스마트 기기 | |
WO2019013456A1 (ko) | 동영상 기반 발작 추적감시 방법 및 장치 | |
JP2020071503A (ja) | ケアシステム、その管理方法、およびプログラム | |
JP7104951B1 (ja) | ヘルスケアシステム | |
KR20190073118A (ko) | 사용자의 건강 관리를 위한 모니터링 로봇 | |
WO2021230724A1 (ko) | 식사 보조 서비스 제공 시스템 및 방법 | |
CN204976639U (zh) | 家政服务机器人 | |
WO2020075675A1 (ja) | ケアシステムの管理方法および管理装置、ならびにプログラム | |
WO2014007555A1 (ko) | 건강관리 모니터링 기능을 갖는 스마트 tv 및 이를 이용한 건강관리 모니터링 방법 | |
WO2020189966A1 (ko) | 생체 임피던스 측정장치를 이용한 건강 관리시스템 및 건강 관리 장치 | |
JP2022189528A (ja) | 情報処理装置及び情報処理方法 | |
KR101809724B1 (ko) | 스마트 미러를 활용한 보육 케어시스템 | |
TWM625774U (zh) | 基於深度影像的被照護者行為分析的照護檢測系統 | |
JP2021174189A (ja) | サービスのメニューの作成を支援する方法、サービスの利用者の評価を支援する方法、当該方法をコンピューターに実行させるプログラム、および、情報提供装置 | |
CN114283948A (zh) | 一种儿童肝病延续性护理方法、系统及存储介质 | |
KR102520287B1 (ko) | 메타버스를 이용한 아동 돌봄 서비스 시스템 및 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21802958 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21802958 Country of ref document: EP Kind code of ref document: A1 |