WO2022086304A1 - 음식 정보 입력 방법 및 장치 - Google Patents

음식 정보 입력 방법 및 장치 Download PDF

Info

Publication number
WO2022086304A1
WO2022086304A1 PCT/KR2021/014989 KR2021014989W WO2022086304A1 WO 2022086304 A1 WO2022086304 A1 WO 2022086304A1 KR 2021014989 W KR2021014989 W KR 2021014989W WO 2022086304 A1 WO2022086304 A1 WO 2022086304A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
information
input
food information
user
Prior art date
Application number
PCT/KR2021/014989
Other languages
English (en)
French (fr)
Inventor
김대훈
Original Assignee
주식회사 누비랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210142157A external-priority patent/KR20220054223A/ko
Application filed by 주식회사 누비랩 filed Critical 주식회사 누비랩
Priority to JP2023524082A priority Critical patent/JP2023546583A/ja
Priority to EP21883371.3A priority patent/EP4235560A1/en
Priority to US17/629,557 priority patent/US20220365962A1/en
Priority to CN202180072552.1A priority patent/CN116457818A/zh
Publication of WO2022086304A1 publication Critical patent/WO2022086304A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a technology for providing information input convenience to a user, and to a method and apparatus for a user to conveniently input food information.
  • the user in order to identify the food actually consumed, the user must input food information using a mobile terminal or an input device.
  • the user shoots food by executing a food-related application or general shooting mode executed on the mobile terminal.
  • the user has the inconvenience of having to search for a food image taken in a food-related application and input food information about it again.
  • the user when shooting in the normal shooting mode, the user has to find food images taken from the album, upload the found food images to a food-related application, find the uploaded food images again, and enter food information. Therefore, since food photography and food information input are inconvenient as separate operations are performed, the frequency of uploading food information rapidly decreases after the user has taken several food images.
  • a method and apparatus for inputting food information may be provided for conveniently inputting food information together with photographing on a photographing screen.
  • a food information input method for conveniently inputting food information through a user interface (UI) related to recognized food A device may be provided.
  • a food information input method performed by a food information input device, the method comprising: operating in a photographing mode in which an input guide and an input button moving along the input guide are displayed on a photographing screen; and receiving at least one piece of food information by using the input guide and the input button while operating in the shooting mode, the food information input method may be provided.
  • the user activates the input button displayed on the shooting screen and deactivates the activated input button according to a position on the input guide. information can be entered.
  • the method may further include displaying at least one piece of food information corresponding to the position on the input guide of the input button activated by the user on the photographing screen.
  • the displaying of the at least one piece of food information on the photographing screen may include displaying food information corresponding to an input button position on the input guide activated by the user in a size greater than or equal to a preset size on the photographing screen.
  • the user activates the input button displayed on the shooting screen by moving the activated input button to receive at least one piece of food information according to the movement direction on the inactivated input guide. It can optionally be entered.
  • the user activates the input button displayed on the shooting screen and moves the activated input button to inactivate at least one according to the movement distance and movement direction on the input guide.
  • Food information may be selectively input.
  • the at least one piece of food information may include: amount information of food, type of food information, calorie information of food, nutritional information of food, food menu information, consumer information, intake target information, intake schedule information, intake time information, intake satisfaction information, food time information that meets a preset input purpose, food location information that meets a preset input purpose, food handler information, food waste discharge information, pre-meal input information, post-meal input information, favorite information, and wish list storage information It may include at least one piece of information.
  • the method related to the received at least one food information, user allergy effect, skin nutrition, growth nutrition, disease effect, aging effect, diet effect, target calorie intake compared to calorie, salinity, food conversion value, food cost information, food environment information, carbon value information, resource value information, carbon emission, operating cost loss cost, ingredient information, pre-meal input button, post-meal input button, favorite input button, and save wish list button
  • the method may further include displaying one.
  • the method may further include recognizing the food displayed on the photographing screen, and the received at least one food information may relate to the recognized food.
  • the step of receiving the at least one food information includes changing a unit of food displayed on the input button according to the type of the recognized food, and inputting information on the amount of the recognized food based on the changed unit of food.
  • the method may further include displaying an input limit range for the recognized food.
  • the method may further include adjusting the minimum and maximum values of the displayed input limit range, and the input unit of the food information may vary according to the adjusted minimum and maximum values of the adjusted input limit range.
  • the method may include calculating and displaying intake target information in consideration of user characteristics according to the recognized food; receiving an intake schedule information for the recognized food from the user; and displaying a ratio of the received intake schedule information to the displayed intake target information.
  • the method may further include, after the user consumes the recognized food, displaying success or failure of an intake target based on the received intake schedule information compared to the displayed intake target information.
  • the method includes the steps of analyzing the food image of the recognized food to determine whether it is before or after a meal; and recording the food image as a food review of the user before a meal when the food before a meal is taken, or recording the food image as a food review of the user after a meal when the food image is taken after a meal. there is.
  • the method may further include displaying a recognizable food candidate type based on the recognized type of food.
  • the method may include: searching for a restaurant providing the recognized food based on the location of the food information input device; and correcting and displaying the received food information based on the searched menu information in the restaurant.
  • the method may include: searching for a restaurant providing the recognized food based on the location of the food information input device; and ordering food corresponding to the received food information based on the searched menu information in the restaurant.
  • the method may further include, when the food information is input, providing a user with a preset incentive for the input food information.
  • a food information input method performed by a food information input device, the method comprising: operating in a photographing mode in which an input button is displayed on a photographing screen; checking whether a preset shooting guide condition is satisfied while operating in the shooting mode; And when the preset shooting guide condition is satisfied, a food information input method comprising the step of shooting may be provided.
  • the method may include: recognizing food displayed on the photographing screen; and receiving food information on the recognized food.
  • the preset shooting guide condition includes a parallel condition of the recognized food and the food information input device, a horizontal condition of the food information input device, a position condition of the food information input device on the vertical of the recognized food, and the food information It may be at least one condition among motion conditions of the input device.
  • the method may further include displaying the shooting accuracy on the screen based on the relative inclination between the recognized food and the food information input device.
  • the method may further include providing the user with a preset incentive for the shooting operation.
  • the method comprises the steps of analyzing the photographed image of the recognized food to determine whether it is before or after a meal; and recording the photographed image as the user's food review before a meal when the food before the meal is photographed, or recording the photographed image as the user's food review after the meal when the food is photographed after the meal there is.
  • the method may further include displaying a recognizable food candidate type based on the recognized type of food.
  • the method may include: searching for a restaurant providing the recognized food based on the location of the food information input device; and correcting and displaying the received food information based on the searched menu information in the restaurant.
  • the method may include: searching for a restaurant providing the recognized food based on the location of the food information input device; and ordering food corresponding to the received food information based on the searched menu information in the restaurant.
  • a camera a camera; display; a memory storing one or more programs; and a processor executing the stored one or more programs, wherein the processor operates in a shooting mode in which an input guide and an input button moving along the input guide are displayed on a shooting screen through the display, the shooting mode
  • a food information input device that receives at least one piece of food information by using the input guide and the input button through the camera while operating as a food information input device may be provided.
  • a camera a camera; display; a memory storing one or more programs; and a processor executing the one or more stored programs, wherein the processor operates in a shooting mode in which an input button is displayed on a shooting screen through the display, and while operating in the shooting mode, a preset shooting guide condition Check whether this is satisfied, and if the preset shooting guide condition is satisfied through the camera to take a picture, a food information input device can be provided.
  • the food information when food information is input along with the photographing on the photographing screen, the food information can be easily input through a user interface (UI) related to the recognized food.
  • UI user interface
  • photographing when a predetermined condition is satisfied while operating in the photographing mode, photographing may be performed automatically.
  • FIG. 1 is a diagram showing the configuration of a food information input system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a food information input method according to an embodiment of the present invention.
  • 3 to 6 are exemplary views illustrating an operation of inputting food information according to an embodiment of the present invention.
  • 7 to 9 are exemplary views illustrating an input operation of food information related to the discharge of leftovers according to an embodiment of the present invention.
  • 10 and 11 are exemplary views illustrating an operation of inputting food information related to food intake information according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a food information input method according to another embodiment of the present invention.
  • FIG. 13 to 18 are diagrams for explaining the food information input process of FIG. 12 .
  • FIG. 19 is a flowchart illustrating a food information input method according to another embodiment of the present invention.
  • FIG. 20 is a view showing an example of a food information input device according to another embodiment of the present invention.
  • 21 is a diagram illustrating an example of a photographing operation according to another embodiment of the present invention.
  • FIG. 1 is a diagram showing the configuration of a food information input system according to an embodiment of the present invention.
  • the food information input system 10 may include a food information input device 100 and an external server 200 that communicates with the food information input device 100 .
  • the food information input device 100 may include a communication module 110 , a camera 120 , a display 130 , a memory 140 , and a processor 150 .
  • the communication module 110 may include one or more modules that enable communication between the food information input device 100 and the wireless communication system, or between the food information input device 100 and the external server 200 .
  • the communication module 110 may include one or more modules for connecting the food information input device 100 to one or more networks.
  • the camera 120 may capture an image or a video according to a user's manipulation.
  • the camera 120 may photograph food as an image or a video before and after a meal according to a user's manipulation.
  • the camera 120 may include a single camera, a plurality of cameras, a single image sensor, or a plurality of image sensors.
  • the camera 120 may include at least one of at least one 2D camera, at least one 3D camera, at least one stereo camera, and at least one image sensor.
  • the display 130 may implement a touch screen by forming a mutual layer structure with the touch sensor or by being integrally formed. Such a touch screen may provide an input interface between the food information input device 100 and the user and, at the same time, provide an output interface between the food information input device 100 and the user.
  • the memory 140 may store data supporting various functions of the food information input device 100 .
  • the memory 140 stores one or more programs driven by the food information input device 100, a plurality of application programs or applications, data for the operation of the food information input device 100, and instructions. can At least some of these application programs may be downloaded from the external server 200 through wireless communication. In addition, at least some of these application programs may exist for a basic function of the food information input device 100 .
  • the application program is stored in the memory 140, installed on the food information input device 100, driven to perform the operation (or function) of the food information input device 100 by the processor 150 can be
  • the processor 150 may generally control the overall operation of the food information input device 100 .
  • the processor 150 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 140 .
  • the processor 150 executes one or more programs stored in the memory 140 to enter a shooting mode in which an input guide and an input button moving along the input guide are displayed on the shooting screen through the display 130 . While operating and operating in the shooting mode, at least one piece of food information may be input using an input guide and an input button through the camera 120 .
  • the processor 150 executes one or more programs stored in the memory 140 , through the display 130 , to operate in a shooting mode in which an input button is displayed on a shooting screen, and while operating in the shooting mode , it is checked whether a preset shooting guide condition is satisfied, and when the preset shooting guide condition is satisfied through the camera 120 , a picture can be taken.
  • the processor 150 may control at least some of the components discussed with reference to FIG. 1 in order to drive an application program stored in the memory 140 . Furthermore, the processor 150 may operate by combining at least two or more of the components included in the food information input device 100 to drive the application program. Here, a detailed description of the processor 150 will be described later with reference to FIGS. 2 to 20 .
  • the food information input system 10 may include fewer or more components than the components shown in FIG. 1 .
  • FIG. 2 is a flowchart of a food information input method according to an embodiment of the present invention.
  • the food information input method may be performed by at least one processor of the food information input device 100 or a computer that is the food information input device 100 .
  • the food information input device 100 may operate in a photographing mode (S110).
  • the food information input apparatus 100 may operate in a photographing mode in which an input guide and an input button moving along the input guide are displayed on the photographing screen of the display 130 .
  • the shooting screen may be a shooting screen of a food information input application executed by the food information input device 100 or a shooting screen of a shooting application executed by the food information input device 100, and is not limited to a specific shooting screen .
  • the food information input device 100 receives at least one piece of food information by using an input guide and an input button ( S120 ).
  • the at least one piece of food information may include general food information, food leftover information, or food waste information along with a photographed image or a photographed video.
  • the at least one piece of food information includes, along with a photographed image or a photographed video, amount information of food, type of food information, calorie information of food, nutritional information of food, food menu information, consumer information, intake target information, Intake schedule information, intake time information, intake satisfaction information, food time information that meets a preset input purpose, food location information that meets a preset input purpose, food processor information, food waste discharge information, pre-meal input information, post-meal input information, It may include at least one of favorite information and wish list storage information.
  • step S120 the user may activate the input button displayed on the shooting screen (S121).
  • the food information input device 100 may display at least one piece of food information corresponding to the input button position on the input guide activated by the user on the display ( S122 ).
  • the food information input device 100 may display food information corresponding to the input button position on the input guide activated by the user in a size greater than or equal to a preset size on the photographing screen.
  • the operation of displaying at least one piece of food information on the display is not an essential operation, and the display operation may or may not be performed according to a user setting.
  • the food information input device 100 may receive at least one piece of food information according to a position on the input guide in which the activated input button is deactivated ( S123 ). For example, in a state in which the user touches and activates the input button, the user may inactivate the input button by dragging the input button along the input guide and then releasing the touch. Then, the food information input device 100 may receive food information according to a position on the input guide in which the input button is deactivated. Alternatively, in a state where the user touches and activates the input button, the input button may be inactivated by releasing the touch at the position where the user touches the input button without dragging the input button along the input guide. Then, the food information input device 100 may receive food information according to a position on the input guide where the input button is deactivated, that is, a position where the user touches and then releases the touch.
  • the food information input device 100 selectively selects at least one piece of food information according to a movement direction on an input guide that is deactivated by moving the activated input button in a state in which the user activates the input button displayed on the shooting screen. can be input.
  • the type of food information may be set differently for each specific moving direction.
  • the user may selectively input at least one piece of food information according to a type of food information set differently according to a movement direction on the input guide.
  • the food information input device 100 moves the activated input button in a state in which the user activates the input button displayed on the shooting screen, and according to the movement distance and movement direction on the deactivated input guide, at least one piece of food information can be optionally input.
  • the type of food information may be set differently for each specific moving direction.
  • the information value of the food information may be changed for each moving distance. The user may selectively input the information value of the food information by considering the type of food information set differently according to the movement direction on the input guide and adjusting the movement distance.
  • the food information input device 100 is a combination of at least one combination of a location on an input guide and multimodal interface input information that is deactivated by moving the activated input button in a state in which the user activates the input button displayed on the shooting screen. At least one piece of food information may be selectively input according to the information.
  • the multimodal interface input information may include at least one of a user's voice, facial expression, gesture, action, gaze, and movement of a screen touch.
  • the food information input device 100 relates to the received at least one food information, user allergy effect, skin nutrition, growth nutrition, disease effect, aging effect, diet effect, target calorie intake vs. Calorie, salinity, converted value of food, food cost information, food environment information, carbon value information, resource value information, carbon emission, operating cost loss cost, ingredient information, pre-meal input button, post-meal input button, favorite input button, and wish At least one of the list save buttons may be displayed.
  • 3 to 6 are exemplary views illustrating an operation of inputting food information according to an embodiment of the present invention.
  • the food information input device 100 may receive food information through steps 310 to 330 .
  • the food information input device 100 operates in a shooting mode in which the input guide 302 and the input button 301 moving along the input guide 302 are displayed on the shooting screen. do.
  • the input guide 302 may display an input range related to food information. For example, an input range from 0 servings to 50 servings, which is a unit related to spaghetti, may be displayed on the input guide 302 .
  • An initial input value corresponding to the initial position on the input guide 302 (eg, 25 servings corresponding to 50%, etc.) may be displayed on the input button 301 , or an input value preset by a user may be displayed.
  • the food information input device 100 may identify a position on the moved input guide 302 when the user drags and moves the input button 301 while activating the input button 301 .
  • the food information input device 100 may display a food information value (eg, 33 servings, etc.) corresponding to the position of the input button 301 moved along the input guide 302 to a preset size or more.
  • the food information value corresponding to the position of the moved input button 301 may be displayed in an arbitrary area of the display or inside the input button 301, and is not limited to a specific display area.
  • the food information input device 100 performs food information according to the position on the input guide 302 in which the activated input button 301 is deactivated while the user activates the input button 301 through step 320 .
  • an input guide 302 and an input button 301 moving along the input guide 302 are displayed on the shooting screen in a shooting mode.
  • the input guide 302 may display an input range related to food information. For example, an input range from 0 servings to 50 servings, which is a unit related to spaghetti, may be displayed on the input guide 302 .
  • An initial input value corresponding to the initial position on the input guide 302 (eg, 25 servings corresponding to 50%, etc.) may be displayed on the input button 301 , or an input value preset by a user may be displayed.
  • the food information input device 100 may display an input limit range for the recognized food.
  • the input limit range may consist of a minimum value 304 and a maximum value 305 .
  • the food information input device 100 may adjust the minimum value 304 and the maximum value 305 of the displayed input limit range.
  • the input limit range can be increased or decreased. According to the minimum value 304 and the maximum value 305 of the adjusted input limit range, the input unit of food information may be varied to widen or narrow.
  • the food input device 100 may display the minimum value 304 of the input limit range as 0 servings and the maximum value 305 as 50 servings. At this time, the food input device 100 sets the minimum value 304 of the input limit range for 15 servings and the maximum value 305 for 35 when a preset adjustment operation of the input limit range (eg, pressing the shooting screen, etc.) is detected. It can be adjusted in person.
  • the input limit range can be adjusted from 50 servings to 20 servings. As the input limit range is adjusted from 50 servings to 20 servings, the input unit of food information may be more precisely varied.
  • the food information input device 100 may correct the input food information through steps 340 to 360 .
  • the food information input device 100 may display the food information previously input by the user, and correct the previously input food information through the user's tap operation. For example, the user may call up a record corresponding to 25 servings among previously input food information, such as 20 servings, 15 servings, 25 servings, and 8 servings.
  • step 350 when the food information input device 100 displays the food information (eg, 25 servings) previously input to the user, the user sets the previously input food information to another food information value (eg, 26 servings). can be modified with
  • the food information input device 100 may update the previously recorded food information (eg, 25 servings) to the food information (eg, 26 servings) modified by the user.
  • the food information input device 100 may complete the recording of food information related to the leftover food input by the user through steps 370 to 380 .
  • the food information input device 100 may record the food information received through steps 310 to 330. Alternatively, the food information input device 100 may correct previously recorded food information and update and record the corrected food information through 340 to 360 .
  • the food information input device 100 may display the food information to the user by sorting the remaining food records by the stored date. For example, the food information input device 100 may display food information (eg, 20 servings, 14 servings, 25 servings, 8 servings, 17 servings, etc.) input on July 26, 2021. The user may select a different day to check food information entered on the other day of the week.
  • food information eg, 20 servings, 14 servings, 25 servings, 8 servings, 17 servings, etc.
  • the activation and deactivation actions include a single touch and touch release action, a drag and release action, or a press and release action, a preset double touch action (or double click action) and double touch release on the shooting screen. It may be implemented as an operation (or double-click release operation), a simultaneous pressing and releasing operation of two or more input buttons, or a simultaneous touch operation (or a simultaneous click operation) and a simultaneous touch release operation for two or more areas.
  • the activation and deactivation operations may be any activation and deactivation operations for photographing, and are not limited to specific activation and deactivation operations.
  • food information may be inputted along with the photographing through at least one combination operation among the user's activation and deactivation operations and the user's multi-modal interface input operation in the photographing mode.
  • 7 to 9 are exemplary views illustrating an input operation of food information related to the discharge of leftovers according to an embodiment of the present invention.
  • the food information input device 100 may receive leftover food or food waste information for discharging through steps 410 to 430 .
  • the food information input device 100 operates in a shooting mode in which the input guide 402 and the input button 401 moving along the input guide 402 are displayed on the shooting screen. do.
  • the input guide 302 shown in FIG. 3 is disposed in a horizontal direction
  • the input guide 402 shown in FIG. 6 is disposed in a vertical direction.
  • the direction of the input guide may preferably be tailored to the amount of food that the user can intuitively recognize, but is not limited to a specific direction.
  • An input range related to food waste information may be displayed on the input guide 402 .
  • an input range of 0L to 120L which is a unit related to food waste, may be displayed on the input guide 402 .
  • An initial input value (eg, 60L corresponding to 50%, etc.) corresponding to an initial position on the input guide 402 may be displayed on the input button 401 , or a preset input value preset by a user may be displayed.
  • the food information input device 100 may identify a position on the moved input guide 402 when the user drags and moves the input button 401 while activating the input button 401 .
  • the food information input device 100 sets the food waste information value (eg, 86.4L corresponding to 72%, etc.) corresponding to the position of the input button 401 moved along the input guide 402 by a predetermined size or more. can be displayed as
  • the food waste information value corresponding to the moved position of the input button 401 may be displayed on an arbitrary area of the display or inside the input button 401 , and is not limited to a specific display area.
  • step 430 the food information input device 100 in a state in which the user activates the input button 401 through step 420, food information according to the position on the input guide 402 in which the activated input button 401 is deactivated can be input.
  • food information according to the position on the input guide 402 in which the activated input button 401 is deactivated can be input.
  • the user activates the input button 401 through step 420 drags and moves the activated input button 401 to a position of 86.4L within the range of 0L to 120L, and then inputs from the position of 86.4L
  • the button 401 may be deactivated.
  • the food information input device 100 checks the position of the input button 401 on the input guide 402 corresponding to 86.4L deactivated by the user, and inputs the food waste information to 86.4L according to the confirmed position. can receive
  • the food information input apparatus 100 may correct the received food waste information through steps 440 to 460 .
  • the food information input apparatus 100 may display the food waste information previously input by the user, and correct the previously input food waste information through the user's tap operation. For example, the user may call up a record corresponding to 86.4L among previously inputted food waste information 50L, 65L, 75L, and 86.4L.
  • step 450 when the food information input device 100 displays previously input food waste information (eg, 86.4L) to the user, the user converts the previously input food waste information to another food waste information value (eg, 86.4L). 86.5L) can be modified.
  • previously input food waste information eg, 86.4L
  • 86.4L another food waste information value
  • the food information input device 100 may update the previously recorded food waste information (eg, 86.4L) with the food waste information (eg, 86.5L) modified by the user.
  • the food information input apparatus 100 may complete the discharge recording of the food waste information input by the user through steps 470 to 480 .
  • the food information input device 100 may record the food waste information received in operations 410 to 430 .
  • the food information input device 100 may correct previously recorded food waste information and update and record the corrected food waste information through steps 440 to 460 .
  • the food information input device 100 may store the food waste discharge record for each date selected by the user.
  • the food information input device 100 may display the food waste information by sorting it by stored date to the user.
  • the food information input device 100 may display food waste information (eg, 50L, 65L, 86.4L, 70L, etc.) input on July 26, 2021. The user may select a different day of the week and check food waste information input on the other day of the week.
  • 10 and 11 are exemplary views illustrating an operation of inputting food information related to food intake information according to an embodiment of the present invention.
  • the food information input device 100 may receive, through steps 510 and 520, food information related to intake information about to consume food or consume food.
  • the food information input device 100 displays an input guide 502 related to intake information input and an input button 501 moving along the input guide 502 on the shooting screen.
  • the input guide 502 may display an input range related to intake information.
  • the input button 501 includes at least one of 'Manubi', 'Ranubi', 'Danubi', 'Nanubi', etc. as information on who will or have consumed the food displayed on the shooting screen. can be displayed.
  • at least one of 'afternoon snack' and 'morning snack' may be displayed on the input button 501 as menu information that the food displayed on the photographing screen will be eaten or eaten.
  • step 520 the food information input device 100 through step 310 in a state in which the user activates the input button 501 in the initial position (eg, the consumer 'Danubi'), Food information may be input according to a position on the input guide 502 in which the activated input button 501 is deactivated (eg, 'Ranubi', a consumer).
  • a position on the input guide 502 in which the activated input button 501 is deactivated eg, 'Ranubi', a consumer.
  • Danubi in a state in which the user activates the input button 501 at the initial position
  • step 520 drags and moves the activated input button 501 to the position of the consumeer, Ranubi, and then ingests It is possible to deactivate the input button 501 at the Zaranubi position.
  • the food information input device 100 confirms the position of the input button 501 on the input guide 502 corresponding to 'Ranubi' deactivated by the user, and food intake information according to the confirmed position can be input as 'Ranubi'. Meanwhile, when a food menu before or after a meal is displayed, the food information input device 100 allows the user to recognize the food menu before or after a meal by changing the color of the food menu.
  • FIG. 12 is a flowchart illustrating a food information input method according to another embodiment of the present invention
  • FIGS. 13 to 17 are diagrams for explaining the food information input process of FIG. 12 .
  • the food information input method is to be performed by at least one processor of the food information input device 100 or a computer that is the food information input device 100 .
  • the food information input device 100 may operate in a shooting mode (S210).
  • the food information input device 100 may operate in a shooting mode, and the camera 120 may be activated.
  • the food information input apparatus 100 may determine whether a preset condition is satisfied ( S220 ).
  • the preset condition may include a condition in which photographing is accurately performed through the camera 120 on the display 130 or a condition in which food is recognized more accurately.
  • the food information input device 100 may display a UI on the display 130 when a preset condition is satisfied (S230).
  • the food information input device 100 When the food information input device 100 does not automatically take a picture, the food information input device 100 takes a picture of the food according to the user's shooting input.
  • the food information input method It allows the user to input food information including the amount of food into the food information input device 100 at the same time as the user inputs the photographing input to the food information input device 100 .
  • the UI displayed on the display 130 may be a UI for inputting food information including the amount of food, and referring to FIG. 13 , for example, the UI 610 in the form of a bar may be , but not limited thereto.
  • the user In order to take a picture of the food information input device 100, the user must, for example, touch the display 130. At this time, according to the UI displayed on the display 130, the amount of food to be consumed by the user is included through the touched position. Food information may be input. That is, through the user's single touch on the display 130, the input of food information including the amount of food to be eaten may be performed simultaneously with the input of photographing, and through this, the user separately inputs food information including the amount of food It can save you the trouble you have to do.
  • an intake rate of food displayed on the display 130 is displayed.
  • the present invention is not limited thereto, and various UIs may be provided according to the type of food recognized by the camera 120 .
  • a unit of food eg, marie, jang, etc.
  • the Fragments can be displayed in the UI as a unit.
  • input of food information including the amount of food to be eaten is not made simultaneously with the input for shooting, and the input of food information including the amount of food to be consumed is not made separately from the input for shooting.
  • a UI for inputting food information may be provided.
  • an ingester candidate area 710 for setting an intake of food may be provided.
  • a preset intake candidate other than the owner of the food information input device 100 may be displayed on the display 130 .
  • An ingester or an ingester set to a high frequency may be displayed on the display 130 as an intake candidate.
  • the user may set a plurality of eaters by using the UI.
  • the UI displayed on the display 130 has an area that can be directly input and set, and when there is no target suitable for the intake candidate, the user can directly input the intake by selecting input.
  • the food information input device 100 is not limited to the smartphone form shown in FIG. 15 , and is not limited as long as it is a mobile form including the camera 120 .
  • the food information input device 100 may provide the user with food information about the food selected by the user from among the food recognized through the camera 120 .
  • the user may select input to the food information input device 100 by touching some food images in the image displayed on the display 130, but the method in which the user selects and inputs to the food information input device 100 is limited thereto. doesn't happen
  • an intake candidate may be displayed as an intake candidate group.
  • An intake candidate group divided based on at least one characteristic may be displayed on the display 130, for example, as a combination of age and gender, to be displayed such as a teenage woman, a teenage male, a 20's female, a 20's male, etc. can, but is not limited thereto.
  • the food information input device 100 when food is recognized through the camera 120 , while displaying the UI on the display 130 , the food information input device 100 provides food information about the recognized food to the user, or displays Regardless of displaying the UI on 130 , the food information input device 100 may provide food information on recognized food to the user.
  • the food information input device 100 may provide food information about the recognized food to the user. That is, when food is recognized through the camera 120 , the food information input device 100 may provide the user with food information about the food analyzed in real time.
  • Food information may include, for example, caloric information of food, type information of food, nutritional information of food, and the like, and the type of food information is not limited as long as it is information that can be derived based on a recognized image of food.
  • the food information may be analyzed by the food information input device 100 or the external server 200 based on the recognized image of the food.
  • the food information input device 100 may provide food information derived based on an image of food recognized to the user through a visual, auditory, or tactile method. For example, referring to FIG. 12 , calorie information of the food may be displayed on the display 130 together with the image of the food recognized through the camera 120 . In addition, the food information input device 100 may provide nutritional information of the food such as "The current food is a high-protein diet and contains a lot of vitamins, so it is good for fatigue recovery" through a speaker (not shown).
  • the food information input device 100 of the present invention is not limited to the smartphone form shown in FIG. 12 , and there is no limitation as long as it is a mobile form including the camera 120 .
  • the food information input apparatus 100 may not include the display 130 .
  • the food information input device 100 may receive food information according to the UI from the user ( S240 ).
  • a user may photograph a person who consumes the corresponding food by using the food information input device 100 .
  • the user may photograph the consumer of the corresponding food using the food information input device 100 , and the food information input device 100 A consumer photographed at a time closest to the photographed time may be recognized as a consumer of the corresponding food, or a consumer included in an image having a background similar to the background of the photographed food may be recognized as a consumer of the corresponding food.
  • the food information input device 100 changes a unit of food displayed at an input button or an arbitrary position according to the type of recognized food, and receives information on the amount of food recognized based on the changed unit of food. can be input.
  • the food information input device 100 analyzes the food image of the recognized food to determine whether it is before or after a meal, and when the food image is taken before a meal, it is used as a food review of the user before a meal. Or, the food image may be recorded as a food review of the user after a meal when the food is taken after a meal.
  • the food information input apparatus 100 may display a recognizable food candidate type based on the recognized food type.
  • the food information input device 100 searches for a restaurant providing recognized food based on the location of the food information input device, and corrects and displays the input food information based on menu information in the searched restaurant.
  • the food information input device 100 searches for a restaurant providing the recognized food based on the location of the food information input device, and receives the input based on menu information in the searched restaurant. It is possible to order food corresponding to the food information.
  • the food information input device 100 may order food from the restaurant through a payment process or the like.
  • the food information input device 100 may provide a user with a preset incentive for the input food information.
  • the food information input device 100 calculates and displays intake target information in consideration of user characteristics according to the recognized food, receives intake schedule information for the recognized food from the user, and compares the displayed intake target information It is possible to display the ratio of the input scheduled intake information.
  • the food information input device 100 may display the success or failure of the intake target based on the received intake schedule information compared to the displayed intake target information.
  • the food information input device 100 may diagnose the user's eating habits and provide the user's nutritional intake status information for each period (eg, daily, monthly, yearly, section, etc.).
  • nutritional intake status information may include total calories, carbohydrates, protein, fat, sodium, calcium, iron, vitamin A, thiamine, riboflavin, vitamin C, and the like.
  • the nutritional intake status information of the user may include first nutritional intake status information compared to the target section in which the target section is displayed, and second nutritional intake status information compared to the recommended amount.
  • the food information input device 100 may calculate and display the first nutritional intake information indicating the target section and the second nutrition intake information indicating the recommended amount in consideration of the user's nutritional intake information according to the recognized food.
  • 13 to 18 are sequentially described, but this is merely illustrative of the technical idea of another embodiment of the present invention, and those of ordinary skill in the art to which another embodiment of the present invention pertains.
  • 13 to 18 are time series, since it will be possible to apply various modifications and variations to executing by changing the order described in FIGS. 13 to 18 or executing one or more of the steps in parallel without departing from the essential characteristics It is not limited in order.
  • Figure 19 is a flowchart showing a food information input method according to another embodiment of the present invention
  • Figure 20 is a view showing an example of a food information input device according to another embodiment of the present invention
  • Figure 21 is another embodiment of the present invention It is a diagram showing an example of a photographing operation according to an example.
  • the food information input method is to be performed by at least one processor of the food information input device 100 or a computer that is the food information input device 100 .
  • the food information input device 100 may operate in a photographing mode (S310). According to the operation of the food information input application (not shown), the food information input device 100 may operate in a shooting mode, and the camera 120 may be activated.
  • the food information input device 100 may provide a shooting guide to the user (S320).
  • the food information input device 100 determines whether the food and the food information input device 100 are parallel, whether the food information input device 100 or the camera 120 is horizontal, and the camera 120 is positioned vertically above the food. By analyzing whether there is, a shooting guide may be provided to the user so that the user can move the position of the food information input device 100 or the camera 120 .
  • a shooting guide may be visually displayed on the display 130, a shooting guide may be output through a speaker (not shown), or a shooting guide may be provided through a vibration module (not shown), but is not limited thereto.
  • the food information input device 100 may determine whether a preset condition is satisfied (S330).
  • the food information input device 100 may determine whether a preset condition is satisfied.
  • the preset condition includes at least one of a condition in which shooting operates accurately in a shooting mode, a condition in which the food information input device 100 provides food information to the user, or a condition in which food is recognized through the camera 120.
  • the food information input device 100 may provide food information about the recognized food to the user. That is, when food is recognized through the camera 120 , the food information input device 100 may provide the user with food information about the food analyzed in real time.
  • Food information may include, for example, caloric information of food, type information of food, nutritional information of food, and the like, and the type of food information is not limited as long as it is information that can be derived based on a recognized image of food.
  • the food information may be analyzed by the food information input device 100 or the external server 200 based on the recognized image of the food.
  • the food information input device 100 may provide a photographing guide or food information derived based on an image of food recognized to the user through a visual, auditory, or tactile method. For example, along with the image of the food recognized through the camera 120 , caloric information of the corresponding food may be displayed on the display 130 . In addition, the food information input device 100 may provide nutritional information of the food such as "The current food is a high-protein diet and contains a lot of vitamins, so it is good for fatigue recovery" through a speaker (not shown).
  • the food information input device 100 is not limited to the smartphone form shown in FIG. 15 , and is not limited as long as it is a mobile form including the camera 120 .
  • the food information input apparatus 100 may not include the display 130 .
  • the food information input device 100 may automatically take a picture when a preset condition is satisfied ( S340 ). That is, when a preset condition is satisfied, the food information input apparatus 100 may automatically take a photograph even if there is no user input for photographing.
  • the preset condition may be an optimal condition for photographing food using the camera 120 .
  • the preset condition is a condition that the food information input device 100 or the camera 120 is horizontal, a condition that the movement of the food information input device 100 or the camera 120 is less than or equal to a predetermined value, and the camera 120 It may be a condition in which food is recognized in the photographed image.
  • the preset conditions include a parallel condition of the recognized food and the food information input device 100 , a horizontal condition of the food information input device 100 , a position condition of the food information input device 100 on the vertical of the recognized food, and food It may be at least one of the motion conditions of the information input device 100 .
  • the food information input device 100 may automatically take pictures when food is recognized in a state where the camera 120 is horizontal and there is no shaking of the camera 120 .
  • the food information input device 100 provides a shooting guide to the user so that the user can find the optimal shooting conditions, and when the optimal shooting conditions are satisfied, the food
  • the user's convenience may be increased by the information input device 100 automatically taking a picture.
  • the food information input device 100 may determine whether a preset condition is satisfied ( S330 ), and when the preset condition is satisfied, a notification may be provided to the user to take a picture without automatically taking a picture.
  • the food information input device 100 may provide a notification to the user using at least one of a visual, an auditory, and a tactile method. Displaying a notification to take a picture on the display 130, or providing a notification to the user to take a picture by emitting a light emitting device (not shown) included in the food information input device 100, or a speaker (not shown) or a vibration module (not shown) may provide a notification to the user to take a picture, but is not limited thereto.
  • a user may photograph a person who consumes the corresponding food by using the food information input device 100 .
  • the user may photograph the consumer of the corresponding food by using the food information input device 100 , and the food information input device 100 receives the food
  • a consumer photographed at a time closest to the time may be recognized as a consumer of the corresponding food, or a consumer included in an image having a background similar to the background of the photographed food may be recognized as a consumer of the corresponding food.
  • the food information input device 100 may request the user to input an amount of food eaten or a review on the food eaten after the photographing is made, and in consideration of the time input by the user according to the request, the user You can adjust the rewards provided to you.
  • the food information input device 100 may provide the user with food information about food recognized according to the photographing when the automatic photographing or the photographing according to the user's photographing input is performed. That is, when food is photographed through the camera 120 , the food information input device 100 may provide the user with food information about the food analyzed in real time.
  • Food information may include, for example, caloric information of food, type information of food, nutritional information of food, and the like, and the type of food information is not limited as long as it is information that can be derived based on a recognized image of food.
  • the food information may be analyzed by the food information input device 100 or the external server 200 based on the recognized image of the food.
  • the food information input device 100 may provide various functions to the user after photographing is performed by the food information input device 100 .
  • a method of receiving input for various functions from the user in the food information input device 100 may be various, and may be as follows.
  • a selectable area is provided on the display 130 as a UI, and the user's input can be differently recognized according to a location where the user touches (or clicks) in the selectable area.
  • the food information input device 100 may perform a predetermined function accordingly.
  • the food information input device 100 when a double touch input (or double click input) or two or more buttons is pressed simultaneously, or there is a simultaneous touch input (or click input) for two or more areas, the food information input device 100 according to this in advance determined function can be performed.
  • the user directly sets a mode for executing the corresponding function, so that the food information input device 100 performs a predetermined function.
  • the function that the food information input device 100 provides to the user after photographing is performed by the food information input device 100 may be as follows.
  • the user may set a storage space for the photographed image.
  • the photographed image is analyzed, a folder suitable for storage among existing folders is recommended, and the user can store the photographed image in the corresponding folder by dragging. can do.
  • users can freely create folders and drag images taken into the folders to save them, such as where they will come back in the future, what food to cook at home, and what to expect.
  • the user can easily share the photographed image.
  • the corresponding image may be shared with other users through SNS or the like.
  • the food information input device 100 is set to the sharing mode through mode setting, if food is included in the photographed image, the image is automatically shared with other users through SNS, etc. even without additional input.
  • the user uploads the photographed image to an unspecified community to share food information, so that people who are thinking about the type of food consumed, looking for images of food taken, or people seeking fun can utilize the image.
  • the food information input device 100 may receive a review before or after ingestion from the user.
  • the food information input device 100 may analyze the photographed image to determine whether the food before a meal is a photographed image or a photographed image of the food after a meal. In the case of an image of food taken after a meal, the user's review can be recorded as a review after ingestion.
  • the food information input device 100 may allow the user to record a review before ingestion, for example, according to the drag input direction performed by the user on the display 130, the maximum expected value before intake Pre-ingestion reviews may be recorded, such as , or minimum expectations prior to ingestion.
  • the method of entering a review before intake is not limited thereto.
  • the food information input device 100 may allow the user to record a review after ingestion, for example, satisfaction after ingestion according to the drag input direction performed by the user on the display 130 .
  • Pre-ingestion reviews such as maximum or minimum satisfaction after intake may be recorded.
  • the method of entering a review after ingestion is not limited thereto.
  • the food information input method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a hardware device and stored in a medium.
  • the above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through the device interface of the computer in order for the computer to read the program and execute the methods implemented as a program
  • It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • this code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. there is.
  • the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
  • the storage medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device.
  • examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and an optical data storage device.
  • the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user.
  • the medium may be distributed in a computer system connected to a network, and a computer-readable code may be stored in a distributed manner.
  • a software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

Abstract

본 발명은 음식 정보 입력 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 음식 정보 입력 방법은, 촬영 화면에 입력 가이드 및 상기 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동하는 단계, 및 상기 촬영 모드로 작동하는 동안, 상기 입력 가이드 및 상기 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받는 단계를 포함한다.

Description

음식 정보 입력 방법 및 장치
본 발명은 사용자에게 정보 입력 편의를 제공하기 위한 기술에 대한 것으로, 사용자가 음식 정보를 간편하게 입력하는 방법 및 장치에 관한 것이다.
최근 들어 건강에 대한 관심이 높아지고 있으나 반면에 과체중이나 비만으로 고통받는 사람들도 점차 증가하고 있다. 이러한 과체중이나 비만은 당뇨, 고혈압 등 각종 질환의 원인이 되는 심각한 문제이다.
따라서, 이와 같은 과체중이나 비만을 해결하기 위해서는 자신의 식 습관을 분석하는 것이 선행되어야 한다. 일반적으로 본인의 호불호 음식에 대해 알고 있지만 실제로 섭취하는 음식의 종류와 횟수를 기억하지는 못한다. 따라서 자신의 식습관을 분석하기 위해 실제로 섭취하는 음식을 파악하고, 파악한 음식에 대한 정보에 따라 개인의 식습관을 분석할 필요가 있다.
일례로, 실제로 섭취하는 음식을 파악하기 위해서 사용자가 모바일 단말이나 입력 장치를 이용하여 음식 정보를 입력하여야 한다. 여기서, 사용자는 모바일 단말에 실행된 음식 관련 애플리케이션이나 일반 촬영 모드를 실행하여 음식을 촬영한다. 이때, 사용자는 음식 관련 애플리케이션에서 촬영된 음식 이미지를 검색하고 다시 이에 대한 음식 정보를 입력하여야 하는 불편함이 있다. 또는 일반 촬영 모드로 촬영한 경우, 사용자는 앨범에서 촬영한 음식 이미지를 찾고, 찾은 음식 이미지를 음식 관련 애플리케이션에 올리고, 올린 음식 이미지를 다시 찾아서 음식 정보를 입력해야 하는 불편함이 있다. 따라서 음식 촬영과 음식 정보 입력이 별도의 동작으로 이루어져서 불편하기 때문에, 사용자는 몇 개의 음식 이미지를 촬영한 후에는 음식 정보를 올리는 빈도가 급격히 낮아지게 된다.
만약, 사용자가 음식을 촬영만 하고 나중에 음식 정보를 입력하게 되는 경우가 발생할 수 있다. 음식 이미지를 촬영한 기간이 오래 경과된 경우, 사용자는 촬영 때 입력하고자 했던 음식 정보를 기억하지 못해 음식 정보를 기록하지 못하거나, 잘못된 음식 정보를 올려서 식습관 분석에서 오류가 발생할 수 있다. 또한, 사용자가 촬영된 음식 이미지에 대해 여러 가지의 음식 정보를 입력하길 원해도, 애플리케이션마다 설정된 몇 가지 고정된 음식 정보만 입력할 수밖에 없다. 이러한 경우, 음식 정보의 개수가 제한되어 사용자 식습관 분석이 정확히 이루어 지지 않을 수 있다.
이와 같이, 사용자의 불편이 가중됨으로써 음식 정보 입력을 통해 일례로 개인의 식습관을 분석하는 서비스에 대한 만족도가 저하되고 있는 실정이다.
본 발명의 일 실시예에 따르면, 사용자가 음식 정보를 입력해야 하는 경우, 촬영 화면에서 촬영과 함께 음식 정보를 간편하게 입력하기 위한, 음식 정보 입력 방법 및 장치가 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 촬영 화면에서 촬영과 함께 음식 정보를 입력하는 경우, 인식되는 음식과 관련된 사용자 인터페이스(UI, User Interface)를 통해 음식 정보를 간편하게 입력하기 위한, 음식 정보 입력 방법 및 장치가 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 촬영 모드로 동작하는 동안, 미리 정해진 조건이 만족되면 자동으로 촬영하기 위한, 음식 정보 입력 방법 및 장치를 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 음식 정보 입력 장치에 의해 수행되는 음식 정보 입력 방법으로서, 촬영 화면에 입력 가이드 및 상기 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동하는 단계; 및 상기 촬영 모드로 작동하는 동안, 상기 입력 가이드 및 상기 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받는 단계를 포함하는, 음식 정보 입력 방법이 제공될 수 있다.
상기 적어도 하나의 음식 정보를 입력받는 단계는, 상기 촬영 모드로 작동하는 동안, 사용자가 상기 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 상기 활성화시킨 입력 버튼을 비활성화시킨 상기 입력 가이드 상의 위치에 따라 음식 정보를 입력받을 수 있다.
상기 방법은, 사용자가 활성화시킨 입력 버튼의 입력 가이드 상의 위치에 대응되는 적어도 하나의 음식 정보를 상기 촬영 화면에 표시하는 단계를 더 포함할 수 있다.
상기 적어도 하나의 음식 정보를 상기 촬영 화면에 표시하는 단계는, 상기 사용자가 활성화시킨 입력 가이드 상의 입력 버튼 위치에 대응되는 음식 정보를 상기 촬영 화면에 기설정된 크기 이상으로 표시할 수 있다.
상기 적어도 하나의 음식 정보를 입력받는 단계는, 사용자가 상기 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 상기 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 상기 입력 가이드 상의 이동 방향에 따라 적어도 하나의 음식 정보를 선택적으로 입력받을 수 있다.
상기 적어도 하나의 음식 정보를 입력받는 단계는, 사용자가 상기 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 상기 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 상기 입력 가이드 상의 이동 거리 및 이동 방향에 따라 적어도 하나의 음식 정보를 선택적으로 입력받을 수 있다.
상기 적어도 하나의 음식 정보는, 음식의 양 정보, 음식의 종류 정보, 음식의 열량 정보, 음식의 영양 정보, 음식 메뉴 정보, 섭취자 정보, 섭취 목표 정보, 섭취 예정 정보, 섭취 시간 정보, 섭취 만족도 정보, 기설정된 입력 목적에 맞는 음식 시간 정보, 기설정된 입력 목적에 맞는 음식 위치 정보, 음식의 처리자 정보, 음식물 쓰레기 배출 정보, 식전 입력 정보, 식후 입력 정보, 즐겨찾기 정보, 및 위시리스트 저장 정보 중에서 적어도 하나의 정보를 포함할 수 있다.
상기 방법은, 상기 입력받은 적어도 하나의 음식 정보와 관련된, 사용자 알러지 영향도, 피부 영양도, 성장 영양도, 질병 영향도, 노화 영향도, 다이어트 영향도, 목표 칼로리 대비 섭취 예정 칼로리, 염도, 음식의 환산 가치, 음식 비용 정보, 음식 환경 정보, 탄소 가치 정보, 자원 가치 정보, 탄소 배출량, 운영비 손실 비용, 식재료 정보, 식전 입력 버튼, 식후 입력 버튼, 즐겨찾기 입력 버튼, 및 위시리스트 저장 버튼 중에서 적어도 하나를 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 촬영 화면에 표시된 음식을 인식하는 단계를 더 포함하고, 상기 입력받은 적어도 하나의 음식 정보는 상기 인식된 음식에 관한 것일 수 있다.
상기 적어도 하나의 음식 정보를 입력받는 단계는, 상기 인식된 음식의 종류에 따라 상기 입력 버튼에 표시되는 음식의 단위를 변경하고, 상기 변경된 음식의 단위를 기초로 상기 인식된 음식의 양 정보를 입력받을 수 있다.
상기 방법은, 상기 인식된 음식에 대한 입력 한계 범위를 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 표시된 입력 한계 범위의 최소값 및 최대값을 조절하는 단계를 더 포함하고, 상기 조절된 입력 한계 범위의 최소값 및 최대값에 따라 상기 음식 정보의 입력 단위가 가변될 수 있다.
상기 방법은, 상기 인식된 음식에 따라 사용자 특성을 고려한 섭취 목표 정보를 계산하여 표시하는 단계; 상기 사용자로부터 상기 인식된 음식에 대한 섭취 예정 정보를 입력받는 단계; 및 상기 표시된 섭취 목표 정보 대비 상기 입력받은 섭취 예정 정보의 비율을 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 사용자가 상기 인식된 음식을 섭취한 후, 상기 표시된 섭취 목표 정보 대비 상기 입력받은 섭취 예정 정보를 기준으로 섭취 목표 성공 또는 실패를 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 인식된 음식의 음식 이미지를 분석하여 식사 전 또는 식사 후인지를 판단하는 단계; 및 상기 음식 이미지가 식사 전 음식이 촬영된 경우에 식사 전 사용자의 음식 리뷰로 기록하거나, 상기 음식 이미지가 식사 후 음식이 촬영된 경우에 식사 후 사용자의 음식 리뷰로 기록하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 인식된 음식의 종류를 기초로 인식 가능한 음식 후보 종류를 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및 상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보를 보정하여 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및 상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보에 대응되는 음식을 주문하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 음식 정보가 입력되는 경우, 상기 입력받은 음식 정보에 대한 미리 설정된 인센티브를 사용자에게 제공하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 음식 정보 입력 장치에 의해 수행되는 음식 정보 입력 방법으로서, 촬영 화면에 입력 버튼이 표시되는 촬영 모드로 작동하는 단계; 상기 촬영 모드로 작동하는 동안, 기설정된 촬영 가이드 조건이 만족되는지를 확인하는 단계; 및 상기 기설정된 촬영 가이드 조건이 만족되면 촬영하는 단계를 포함하는, 음식 정보 입력 방법이 제공될 수 있다.
상기 방법은, 상기 촬영 화면에 표시된 음식을 인식하는 단계; 및 상기 인식된 음식에 대한 음식 정보를 입력받는 단계를 더 포함할 수 있다.
상기 기설정된 촬영 가이드 조건은, 상기 인식된 음식과 상기 음식 정보 입력 장치의 평행 조건, 상기 음식 정보 입력 장치의 수평 조건, 상기 인식된 음식의 수직 위에 상기 음식 정보 입력 장치의 위치 조건 및 상기 음식 정보 입력 장치의 움직임 조건 중에서 적어도 하나의 조건일 수 있다.
상기 방법은, 상기 인식된 음식과 상기 음식 정보 입력 장치 간의 상대 기울기를 기초로 하여 상기 화면에 촬영 정확도를 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 촬영 동작에 대해 미리 설정된 인센티브를 사용자에게 제공하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 인식된 음식의 촬영 이미지를 분석하여 식사 전 또는 식사 후인지를 판단하는 단계; 및 상기 촬영 이미지가 식사 전 음식이 촬영된 경우에 식사 전 사용자의 음식 리뷰로 기록하거나, 상기 촬영 이미지가 식사 후 음식이 촬영된 경우에 식사 후 사용자의 음식 리뷰로 기록하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 인식된 음식의 종류를 기초로 인식 가능한 음식 후보 종류를 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및 상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보를 보정하여 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및 상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보에 대응되는 음식을 주문하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 카메라; 디스플레이; 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이를 통해, 촬영 화면에 입력 가이드 및 상기 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동하고, 상기 촬영 모드로 작동하는 동안, 상기 카메라를 통해 상기 입력 가이드 및 상기 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받는, 음식 정보 입력 장치가 제공될 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 카메라; 디스플레이; 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이를 통해, 촬영 화면에 입력 버튼이 표시되는 촬영 모드로 작동하고, 상기 촬영 모드로 작동하는 동안, 기설정된 촬영 가이드 조건이 만족되는지를 확인하고, 상기 카메라를 통해 상기 기설정된 촬영 가이드 조건이 만족되면 촬영하는, 음식 정보 입력 장치가 제공될 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 음식 정보를 입력해야 하는 경우, 촬영 화면에서 촬영과 함께 음식 정보를 간편하게 입력할 수 있다.
본 발명의 다른 실시예에 따르면, 촬영 화면에서 촬영과 함께 음식 정보를 입력하는 경우, 인식되는 음식과 관련된 사용자 인터페이스(UI, User Interface)를 통해 음식 정보를 간편하게 입력할 수 있다.
본 발명의 다른 실시예에 따르면, 촬영 모드로 동작하는 동안, 미리 정해진 조건이 만족되면 자동으로 촬영할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 음식 정보 입력 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 음식 정보 입력 방법에 대한 흐름도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 음식 정보 입력 동작을 나타낸 예시 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 잔식 배출과 관련된 음식 정보의 입력 동작을 나타낸 예시 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 음식 섭취 정보와 관련된 음식 정보 입력 동작을 나타낸 예시 도면이다.
도 12는 본 발명의 다른 실시예에 따른 음식 정보 입력 방법을 나타낸 흐름도이다.
도 13 내지 도 18은 도 12의 음식 정보 입력 과정을 설명하기 위한 도면이다.
도 19는 본 발명의 다른 실시예에 따른 음식 정보 입력 방법을 나타낸 흐름도이다.
도 20은 본 발명의 다른 실시예에 따른 음식 정보 입력 장치의 예시를 나타낸 도면이다.
도 21은 본 발명의 다른 실시예에 따른 촬영 동작 예시를 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그 러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐 이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이 상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 음식 정보 입력 시스템의 구성을 나타낸 도면이다.
먼저, 도 1을 참조하면, 본 발명에 따른 음식 정보 입력 시스템(10)은 음식 정보 입력 장치(100) 및 음식 정보 입력 장치(100)와 통신하는 외부 서버(200)를 포함할 수 있다.
음식 정보 입력 장치(100)는 통신 모듈(110), 카메라(120), 디스플레이(130), 메모리(140), 및 프로세서(150)를 포함할 수 있다.
통신 모듈(110)은 음식 정보 입력 장치(100)와 무선 통신 시스템 사이, 또는 음식 정보 입력 장치(100)와 외부 서버(200) 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신 모듈(110)은 음식 정보 입력 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함 할 수 있다.
카메라(120)는 사용자의 조작에 따라 이미지 또는 동영상을 촬영할 수 있다. 여기서, 카메라(120)는 사용자의 조작에 따라 식사 전후에 음식을 이미지 또는 동영상으로 촬영할 수 있다. 카메라(120)는 단일 카메라, 복수의 카메라, 단일 이미지 센서, 또는 복수의 이미지 센서로 이루어질 수 있다. 카메라(120)는 적어도 하나의 2D 카메라, 적어도 하나의 3D 카메라, 적어도 하나의 스테레오 카메라, 적어도 하나의 이미지 센서 중에서 적어도 하나로 구성될 수 있다.
디스플레이(130)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 음식 정보 입력 장치(100)와 사용자 사이의 입력 인터페이스를 제공함과 동시에, 음식 정보 입력 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
메모리(140)는 음식 정보 입력 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(140)는 음식 정보 입력 장치(100)에서 구동되는 하나 이상의 프로그램, 다수의 응용 프로그램(application program) 또는 애플리케이션(application), 음식 정보 입력 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버(200)로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는, 음식 정보 입력 장치(100)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(140)에 저장되고, 음식 정보 입력 장치(100) 상에 설치되어, 프로세서(150)에 의하여 상기 음식 정보 입력 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
프로세서(150)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 음식 정보 입력 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(150)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
일 실시예에서, 프로세서(150)는 메모리(140)에 저장된 하나 이상의 프로그램을 실행함으로써, 디스플레이(130)를 통해, 촬영 화면에 입력 가이드 및 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동하고, 촬영 모드로 작동하는 동안, 카메라(120)를 통해 입력 가이드 및 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받을 수 있다.
일 실시예에서, 프로세서(150)는 메모리(140)에 저장된 하나 이상의 프로그램을 실행함으로써, 디스플레이(130)를 통해, 촬영 화면에 입력 버튼이 표시되는 촬영 모드로 작동하고, 촬영 모드로 작동하는 동안, 기설정된 촬영 가이드 조건이 만족되는지를 확인하고, 카메라(120)를 통해 기설정된 촬영 가이드 조건이 만족되면 촬영할 수 있다.
또한, 프로세서(150)는 메모리(140)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나 아가, 프로세서(150)는 상기 응용 프로그램의 구동을 위하여, 음식 정보 입력 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다. 여기서, 프로세서(150)에 대한 상세한 설명은 도 2 내지 도 20을 통해 서 후술한다.
이상, 도 1을 참조하여, 본 발명에 따른 음식 정보 입력 시스템(10)의 구성에 대해 상세히 설명하였다. 음식 정보 입력 시스템(10)은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
이하, 도 2 내지 도 11을 참조하여, 본 발명의 일 실시예들에 따른 음식 정보 입력 방법에 대해서 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 음식 정보 입력 방법에 대한 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음식 정보 입력 방법은 음식 정보 입력 장치(100)의 적어도 하나의 프로세서 또는 음식 정보 입력 장치(100)인 컴퓨터에 의해 수행될 수 있다.
우선, 음식 정보 입력 장치(100)는 촬영 모드로 작동할 수 있다(S110). 음식 정보 입력 장치(100)는 디스플레이(130)의 촬영 화면에 입력 가이드 및 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동할 수 있다. 촬영 화면은 음식 정보 입력 장치(100)에 의해 실행되는 음식 정보 입력 애플리케이션의 촬영 화면이거나, 음식 정보 입력 장치(100)에 의해 실행된 촬영 애플리케이션의 촬영 화면일 수 있으며, 특정 촬영 화면으로 한정되지 않는다.
그리고 음식 정보 입력 장치(100)는 촬영 모드로 작동하는 동안, 입력 가이드 및 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받는다(S120). 여기서, 적어도 하나의 음식 정보는 촬영 이미지 또는 촬영 비디오와 함께 일반적인 음식 정보 또는 음식을 먹고 남은 잔식 정보 또는 음식물 쓰레기 정보 등이 포함될 수 있다. 예시적으로, 적어도 하나의 음식 정보는 촬영 이미지 또는 촬영 비디오와 함께, 음식의 양 정보, 음식의 종류 정보, 음식의 열량 정보, 음식의 영양 정보, 음식 메뉴 정보, 섭취자 정보, 섭취 목표 정보, 섭취 예정 정보, 섭취 시간 정보, 섭취 만족도 정보, 기설정된 입력 목적에 맞는 음식 시간 정보, 기설정된 입력 목적에 맞는 음식 위치 정보, 음식의 처리자 정보, 음식물 쓰레기 배출 정보, 식전 입력 정보, 식후 입력 정보, 즐겨찾기 정보, 및 위시리스트 저장 정보 중에서 적어도 하나의 정보를 포함할 수 있다.
단계 S120에 대해 세부적인 동작을 살펴보면, 그리고 음식 정보 입력 장치(100)는 촬영 모드로 작동하는 동안, 사용자가 촬영 화면에 표시된 입력 버튼을 활성화시킬 수 있다(S121).
이어서, 음식 정보 입력 장치(100)는 사용자가 활성화시킨 입력 가이드 상의 입력 버튼 위치에 대응되는 적어도 하나의 음식 정보를 디스플레이에 표시할 수 있다(S122). 추가로, 음식 정보 입력 장치(100)는 사용자가 활성화시킨 입력 가이드 상의 입력 버튼 위치에 대응되는 음식 정보를 촬영 화면에 기설정된 크기 이상으로 표시할 수 있다. 여기서, 적어도 하나의 음식 정보가 디스플레이에 표시되는 동작은 필수적인 동작이 아니며, 사용자 설정에 따라 표시 동작이 수행되거나 수행되지 않을 수 있다.
이후, 음식 정보 입력 장치(100)는 사용자가 입력 버튼을 활성화시킨 상태에서, 활성화시킨 입력 버튼을 비활성화시킨 입력 가이드 상의 위치에 따라 적어도 하나의 음식 정보를 입력받을 수 있다(S123). 예를 들어, 사용자는 입력 버튼을 터치하여 활성화시킨 상태에서, 입력 버튼을 입력 가이드를 따라 드래그한 후 터치를 해제하여 입력 버튼을 비활성화시킬 수 있다. 그러면, 음식 정보 입력 장치(100)는 입력 버튼을 비활성화시킨 입력 가이드 상의 위치에 따라 음식 정보를 입력받을 수 있다. 또는, 사용자는 입력 버튼을 터치하여 활성화시킨 상태에서, 입력 버튼을 입력 가이드를 따라 드래그하지 않고 사용자가 터치한 위치에서 터치를 해제하여 입력 버튼을 비활성화시킬 수 있다. 그러면, 음식 정보 입력 장치(100)는 입력 버튼을 비활성화시킨 입력 가이드 상의 위치 즉, 사용자가 터치한 후 터치 해제한 위치에 따라 음식 정보를 입력받을 수 있다.
한편, 음식 정보를 입력받는 과정을 구체적으로 살펴보면 다음과 같다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 사용자가 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 입력 가이드 상의 이동 방향에 따라 적어도 하나의 음식 정보를 선택적으로 입력받을 수 있다. 예를 들어, 특정 이동 방향마다 음식 정보의 유형이 서로 다르게 설정될 수 있다. 사용자는 입력 가이드 상의 이동 방향에 따라 서로 다르게 설정된 음식 정보의 유형에 따라 적어도 하나의 음식 정보를 선택적으로 입력할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 사용자가 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 입력 가이드 상의 이동 거리 및 이동 방향에 따라 적어도 하나의 음식 정보를 선택적으로 입력받을 수 있다. 예를 들어, 특정 이동 방향마다 음식 정보의 유형이 서로 다르게 설정될 수 있다. 또한, 이동 거리마다 음식 정보의 정보 값이 변경될 수 있다. 사용자는 입력 가이드 상의 이동 방향에 따라 서로 다르게 설정된 음식 정보의 유형을 고려하고, 이동 거리를 조절하여 음식 정보의 정보 값을 선택적으로 입력할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 사용자가 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 입력 가이드 상의 위치와 멀티모달 인터페이스 입력 정보의 적어도 하나의 조합 정보에 따라 적어도 하나의 음식 정보를 선택적으로 입력받을 수 있다. 멀티모달 인터페이스 입력 정보에는 사용자의 음성, 표정, 제스처, 행동, 시선, 및 화면 터치의 움직임 중에서 적어도 하나가 포함될 수 있다.
이후, 음식 정보 입력 장치(100)는 입력받은 적어도 하나의 음식 정보와 관련된, 사용자 알러지 영향도, 피부 영양도, 성장 영양도, 질병 영향도, 노화 영향도, 다이어트 영향도, 목표 칼로리 대비 섭취 예정 칼로리, 염도, 음식의 환산 가치, 음식 비용 정보, 음식 환경 정보, 탄소 가치 정보, 자원 가치 정보, 탄소 배출량, 운영비 손실 비용, 식재료 정보, 식전 입력 버튼, 식후 입력 버튼, 즐겨찾기 입력 버튼, 및 위시리스트 저장 버튼 중에서 적어도 하나를 표시할 수 있다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 음식 정보 입력 동작을 나타낸 예시 도면이다.
음식 정보 입력 장치(100)는 단계 310 내지 330을 통해, 음식 정보를 입력받을 수 있다.
도 3에 도시된 바와 같이, 단계 310에서, 음식 정보 입력 장치(100)는 촬영 화면에 입력 가이드(302) 및 입력 가이드(302)를 따라 이동되는 입력 버튼(301)이 표시되는 촬영 모드로 작동한다. 여기서, 입력 가이드(302)에는 음식 정보와 관련된 입력 범위가 표시될 수 있다. 예를 들어, 입력 가이드(302)에는 스파게티에 관련된 단위인 0인분 내지 50인분까지의 입력 범위가 표시될 수 있다. 입력 버튼(301)에는 입력 가이드(302) 상의 초기 위치에 대응되는 초기 입력 값(예컨대, 50%에 대응되는 25인분 등)이 표시되거나, 사용자에 의해 기설정된 입력 값이 표시될 수 있다.
단계 320에서, 음식 정보 입력 장치(100)는 사용자가 입력 버튼(301)을 활성화시킨 상태에서 드래그하여 이동시키면 이동시킨 입력 가이드(302) 상의 위치를 확인할 수 있다. 또한, 음식 정보 입력 장치(100)는 입력 가이드(302)를 따라 이동된 입력 버튼(301)의 위치에 대응되는 음식 정보 값(예컨대, 33인분 등)을 기설정된 크기 이상으로 표시할 수 있다. 여기서, 이동된 입력 버튼(301)의 위치에 대응되는 음식 정보 값을 디스플레이의 임의의 영역이나 입력 버튼(301) 내부에 표시할 수 있으며, 특정 표시 영역으로 한정되지 않는다.
단계 330에서, 음식 정보 입력 장치(100)는 단계 320을 통해 사용자가 입력 버튼(301)을 활성화시킨 상태에서, 활성화시킨 입력 버튼(301)을 비활성화시킨 입력 가이드(302) 상의 위치에 따라 음식 정보를 입력받을 수 있다. 예를 들어, 사용자가 단계 320을 통해 입력 버튼(301)을 활성화시킨 상태에서, 활성화시킨 입력 버튼(301)을 0인분 내지 50인분 범위 내에서 33인분 위치까지 드래그하여 이동시킨 후, 33인분 위치에서 입력 버튼(301)을 비활성화시킬 수 있다. 그러면, 음식 정보 입력 장치(100)는 사용자가 비활성화시킨 33인분에 대응되는 입력 가이드(302) 상의 입력 버튼(301)의 위치를 확인하고, 그 확인된 위치에 따라 음식 정보를 33인분으로 입력받을 수 있다.
한편, 도 4에 도시된 바와 같이, 단계 310에서, 촬영 화면에 입력 가이드(302) 및 입력 가이드(302)를 따라 이동되는 입력 버튼(301)이 표시되는 촬영 모드로 작동한다. 여기서, 입력 가이드(302)에는 음식 정보와 관련된 입력 범위가 표시될 수 있다. 예를 들어, 입력 가이드(302)에는 스파게티에 관련된 단위인 0인분 내지 50인분까지의 입력 범위가 표시될 수 있다. 입력 버튼(301)에는 입력 가이드(302) 상의 초기 위치에 대응되는 초기 입력 값(예컨대, 50%에 대응되는 25인분 등)이 표시되거나, 사용자에 의해 기설정된 입력 값이 표시될 수 있다.
음식 정보 입력 장치(100)는 인식된 음식에 대한 입력 한계 범위를 표시할 수 있다. 입력 한계 범위는 최소값(304) 및 최대값(305)으로 이루어질 수 있다. 그리고 음식 정보 입력 장치(100)는 표시된 입력 한계 범위의 최소값(304) 및 최대값(305)을 조절할 수 있다. 입력 한계 범위는 증가되거나 감소될 수 있다. 조절된 입력 한계 범위의 최소값(304) 및 최대값(305)에 따라 음식 정보의 입력 단위가 넓어지거나 좁아지도록 가변될 수 있다.
일례로, 음식 입력 장치(100)는 입력 한계 범위의 최소값(304)을 0인분으로 표시하고 최대값(305)을 50인분으로 표시할 수 있다. 이때, 음식 입력 장치(100)는 입력 한계 범위의 기설정된 조절 동작(예컨대, 촬영 화면을 누르는 동작 등)이 감지되면, 입력 한계 범위의 최소값(304)을 15인분 및 최대값(305)을 35인분으로 조절할 수 있다. 입력 한계 범위는 50인분에서 20인분으로 조절될 수 있다. 입력 한계 범위가 50인분에서 20인분으로 조절됨에 따라, 음식 정보의 입력 단위가 더욱 세밀하게 가변될 수 있다.
한편, 도 5에 도시된 바와 같이, 음식 정보 입력 장치(100)는 단계 340 내지 360을 통해, 입력받은 음식 정보를 수정할 수 있다.
단계 340에서, 음식 정보 입력 장치(100)는 사용자가 이전에 입력했던 음식 정보를 표시하고, 사용자의 탭 동작을 통해 이전에 입력받은 음식 정보를 수정할 수 있다. 예를 들어, 사용자는 이전에 입력했던 음식 정보인 20인분, 15인분, 25인분, 8인분 중에서 25인분에 대응되는 기록을 불러올 수 있다.
그리고 단계 350에서, 음식 정보 입력 장치(100)는 사용자에게 이전에 입력받은 음식 정보(예컨대, 25인분)를 표시하면, 사용자는 이전에 입력했던 음식 정보를 다른 음식 정보 값(예컨대, 26인분)으로 수정할 수 있다.
이후, 단계 360에서, 음식 정보 입력 장치(100)는 이전에 기록했던 음식 정보(예컨대, 25인분)를 사용자에 의해 수정된 음식 정보(예컨대, 26인분)로 업데이트할 수 있다.
한편, 도 6에 도시된 바와 같이, 음식 정보 입력 장치(100)는 단계 370 내지 380을 통해, 사용자에 의해 입력받은 잔식과 관련된 음식 정보의 기록을 완료할 수 있다.
단계 370에서, 음식 정보 입력 장치(100)는 단계 310 내지 330을 통해 입력받은 음식 정보를 기록할 수 있다. 또는, 음식 정보 입력 장치(100)는 340 내지 360을 통해, 이전에 기록된 음식 정보를 수정하고 수정된 음식 정보를 업데이트하여 기록할 수 있다.
단계 380에서, 음식 정보 입력 장치(100)는 잔식 기록이 저장된 날짜별로 음식 정보를 정렬하여 사용자에게 표시할 수 있다. 예를 들어, 음식 정보 입력 장치(100)는 2021년 7월 26일에 입력받은 음식 정보(예컨대, 20인분, 14인분, 25인분, 8인분, 17인분 등)를 표시할 수 있다. 사용자는 다른 요일을 선택하여 다른 요일에 입력했던 음식 정보를 확인할 수 있다.
이와 같이, 촬영 모드에서 사용자의 활성화 및 비활성화 동작을 통해, 촬영 입력과 동시에 음식 정보를 입력할 수 있다. 예를 들어, 활성화 및 비활성화 동작은 사용자가 촬영 화면에서 한 번의 터치 및 터치 해제 동작, 드래그 및 드래그 해제 동작, 또는 누름 및 누름 해제 동작, 기설정된 더블 터치 동작(또는 더블 클릭 동작) 및 더블 터치 해제 동작(또는 더블 클릭 해제 동작), 2가지 이상의 입력 버튼을 동시에 누름 및 누름 해제 동작, 또는 2군데 이상의 영역에 대한 동시 터치 동작(또는 동시 클릭 동작) 및 동시 터치 해제 동작 등으로 구현될 수 있다. 활성화 및 비활성화 동작은 촬영을 위한 임의의 활성화 및 비활성화 동작이 될 수 있으며, 특정 활성화 및 비활성화 동작으로 한정되지 않는다. 또는, 촬영 모드에서 사용자의 활성화 및 비활성화 동작과 사용자 멀티모달 인터페이스 입력 동작 중에서 적어도 하나의 조합 동작을 통해, 음식 정보를 촬영과 함께 입력할 수 있다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 잔식 배출과 관련된 음식 정보의 입력 동작을 나타낸 예시 도면이다.
음식 정보 입력 장치(100)는 단계 410 내지 430을 통해, 배출을 위한 잔식 또는 음식물 쓰레기 정보를 입력받을 수 있다.
도 6에 도시된 바와 같이, 단계 410에서, 음식 정보 입력 장치(100)는 촬영 화면에 입력 가이드(402) 및 입력 가이드(402)를 따라 이동되는 입력 버튼(401)이 표시되는 촬영 모드로 작동한다. 여기서, 도 3에 도시된 입력 가이드(302)는 가로 방향으로 배치되어 있고, 도 6에 도시된 입력 가이드(402)는 세로 방향으로 배치되어 있다. 입력 가이드의 방향은 바람직하게 사용자가 직관적으로 알 수 있는 음식의 양에 맞춰질 수 있으나, 특정 방향으로 한정되지 않는다. 입력 가이드(402)에는 음식물 쓰레기 정보와 관련된 입력 범위가 표시될 수 있다. 예를 들어, 입력 가이드(402)에는 음식물 쓰레기와 관련된 단위인 0L 내지 120L까지의 입력 범위가 표시될 수 있다. 입력 버튼(401)에는 입력 가이드(402) 상의 초기 위치에 대응되는 초기 입력 값(예컨대, 50%에 대응되는 60L 등)이 표시되거나, 사용자에 의해 기설정된 기설정 입력 값이 표시될 수 있다.
단계 420에서, 음식 정보 입력 장치(100)는 사용자가 입력 버튼(401)을 활성화시킨 상태에서 드래그하여 이동시키면 이동시킨 입력 가이드(402) 상의 위치를 확인할 수 있다. 또한, 음식 정보 입력 장치(100)는 입력 가이드(402)를 따라 이동된 입력 버튼(401)의 위치에 대응되는 음식물 쓰레기 정보 값(예컨대, 72%에 대응되는 86.4L 등)을 기설정된 크기 이상으로 표시할 수 있다. 여기서, 이동된 입력 버튼(401)의 위치에 대응되는 음식물 쓰레기 정보 값을 디스플레이의 임의의 영역이나 입력 버튼(401) 내부에 표시할 수 있으며, 특정 표시 영역으로 한정되지 않는다.
단계 430에서, 음식 정보 입력 장치(100)는 단계 420을 통해 사용자가 입력 버튼(401)을 활성화시킨 상태에서, 활성화시킨 입력 버튼(401)을 비활성화시킨 입력 가이드(402) 상의 위치에 따라 음식 정보를 입력받을 수 있다. 예를 들어, 사용자가 단계 420을 통해 입력 버튼(401)을 활성화시킨 상태에서, 활성화시킨 입력 버튼(401)을 0L 내지 120L 범위 내에서 86.4L 위치까지 드래그하여 이동시킨 후, 86.4L 위치에서 입력 버튼(401)을 비활성화시킬 수 있다. 그러면, 음식 정보 입력 장치(100)는 사용자가 비활성화시킨 86.4L에 대응되는 입력 가이드(402) 상의 입력 버튼(401)의 위치를 확인하고, 그 확인된 위치에 따라 음식물 쓰레기 정보를 86.4L로 입력받을 수 있다.
한편, 도 8에 도시된 바와 같이, 음식 정보 입력 장치(100)는 단계 440 내지 460을 통해, 입력받은 음식물 쓰레기 정보를 수정할 수 있다.
단계 440에서, 음식 정보 입력 장치(100)는 사용자가 이전에 입력했던 음식물 쓰레기 정보를 표시하고, 사용자의 탭 동작을 통해 이전에 입력받은 음식물 쓰레기 정보를 수정할 수 있다. 예를 들어, 사용자는 이전에 입력했던 음식물 쓰레기 정보인 50L, 65L, 75L, 86.4L 중에서 86.4L에 대응되는 기록을 불러올 수 있다.
그리고 단계 450에서, 음식 정보 입력 장치(100)는 사용자에게 이전에 입력받은 음식물 쓰레기 정보(예컨대, 86.4L)를 표시하면, 사용자는 이전에 입력했던 음식물 쓰레기 정보를 다른 음식물 쓰레기 정보 값(예컨대, 86.5L)으로 수정할 수 있다.
이후, 단계 460에서, 음식 정보 입력 장치(100)는 이전에 기록했던 음식물 쓰레기 정보(예컨대, 86.4L)를 사용자에 의해 수정된 음식물 쓰레기 정보(예컨대, 86.5L)로 업데이트할 수 있다.
한편, 도 9에 도시된 바와 같이, 음식 정보 입력 장치(100)는 단계 470 내지 480을 통해, 사용자에 의해 입력받은 음식물 쓰레기 정보의 배출 기록을 완료할 수 있다.
단계 470에서, 음식 정보 입력 장치(100)는 단계 410 내지 430을 통해 입력받은 음식물 쓰레기 정보를 기록할 수 있다. 또는, 음식 정보 입력 장치(100)는 단계 440 내지 460을 통해, 이전에 기록된 음식물 쓰레기 정보를 수정하고 수정된 음식물 쓰레기 정보를 업데이트하여 기록할 수 있다.
단계 480에서, 음식 정보 입력 장치(100)는 음식물 쓰레기의 배출 기록을 사용자에 의해 선택된 날짜별로 저장할 수 있다. 또한, 음식 정보 입력 장치(100)는 저장된 날짜별로 음식물 쓰레기 정보를 정렬하여 사용자에게 표시할 수 있다. 예를 들어, 음식 정보 입력 장치(100)는 2021년 7월 26일에 입력받은 음식물 쓰레기 정보(에컨대, 50L, 65L, 86.4L, 70L 등)를 표시할 수 있다. 사용자는 다른 요일을 선택하여 다른 요일에 입력했던 음식물 쓰레기 정보를 확인할 수 있다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 음식 섭취 정보와 관련된 음식 정보 입력 동작을 나타낸 예시 도면이다.
음식 정보 입력 장치(100)는 단계 510 및 520을 통해, 음식을 섭취할 예정이거나 음식을 섭취한 섭취 정보와 관련된 음식 정보를 입력받을 수 있다.
도 10에 도시된 바와 같이, 단계 510에서, 음식 정보 입력 장치(100)는 촬영 화면에 섭취 정보 입력과 관련된 입력 가이드(502) 및 입력 가이드(502)를 따라 이동되는 입력 버튼(501)이 표시되는 촬영 모드로 작동한다. 여기서, 입력 가이드(502)에는 섭취 정보와 관련된 입력 범위가 표시될 수 있다. 예를 들어, 입력 버튼(501)에는 촬영 화면에 표시된 음식을 섭취할 예정이거나 섭취한 섭취자 정보로서, '마누비', '라누비', '다누비', '나누비' 등이 적어도 하나로 표시될 수 있다. 또는, 입력 버튼(501)에는 촬영 화면에 표시된 음식을 섭취할 예정이거나 섭취한 메뉴 정보로서, '오후 간식', '오전 간식' 등이 적어도 하나로 표시될 수 있다.
도 11에 도시된 바와 같이, 단계 520에서, 음식 정보 입력 장치(100)는 단계 310을 통해 사용자가 입력 버튼(501)을 초기 위치(예컨대, 섭취자 '다누비')에서 활성화시킨 상태에서, 활성화시킨 입력 버튼(501)을 비활성화시킨 입력 가이드(502) 상의 위치(예컨대, 섭취자 '라누비')에 따라 음식 정보를 입력받을 수 있다. 예를 들어, 사용자가 단계 520을 통해 입력 버튼(501)을 초기 위치인 섭취자 다누비에서 활성화시킨 상태에서, 활성화시킨 입력 버튼(501)을 섭취자인 라누비 위치까지 드래그하여 이동시킨 후, 섭취자 라누비 위치에서 입력 버튼(501)을 비활성화시킬 수 있다. 그러면, 음식 정보 입력 장치(100)는 사용자가 비활성화시킨 섭취자 '라누비'에 대응되는 입력 가이드(502) 상의 입력 버튼(501)의 위치를 확인하고, 그 확인된 위치에 따라 음식 섭취자 정보를 '라누비'로 입력받을 수 있다. 한편, 음식 정보 입력 장치(100)는 식사 전 또는 식사 후 음식 메뉴가 표시된 경우, 식사 전 또는 식사 후 음식 메뉴의 색상을 서로 다르게 하여 사용자가 인식할 수 있도록 한다.
이하에서는, 도 12 내지 도 17을 참조하여, 본 발명의 다른 실시예에 따른 음식 정보 입력 과정에 대해 상세히 설명한다. 도 12는 본 발명의 다른 실시예에 따른 음식 정보 입력 방법을 나타낸 흐름도이고, 도 13 내지 도 17은 도 12의 음식 정보 입력 과정을 설명하기 위한 도면이다.
먼저, 도 12 내지 도 14를 참조하면, 본 발명의 다른 실시예에 따른 음식 정보 입력 방법은 음식 정보 입력 장치(100)의 적어도 하나의 프로세서 또는 음식 정보 입력 장치(100)인 컴퓨터에 의해 수행될 수 있다.
우선, 음식 정보 입력 장치(100)가 촬영 모드로 작동할 수 있다(S210).
음식 정보 입력 애플리케이션(미 도시)의 작동에 따라 음식 정보 입력 장치(100)가 촬영 모드로 작동할 수 있으며, 카메라(120)가 활성화될 수 있다.
이어서, 음식 정보 입력 장치(100)는 미리 설정된 조건의 만족 여부를 판단할 수 있다(S220). 일례로, 미리 설정된 조건은 디스플레이(130) 상에 카메라(120)를 통해 촬영이 정확하게 수행되는 조건 또는 음식이 더욱 정확하게 인식되는 조건을 포함할 수 있다.
이어서, 음식 정보 입력 장치(100)는 미리 설정된 조건이 만족된 경우 디스플레이(130) 상에 UI를 표시할 수 있다(S230).
음식 정보 입력 장치(100)가 자동 촬영이 되지 않는 경우, 음식 정보 입력 장치(100)는 사용자의 촬영 입력에 따라서 음식을 촬영하게 되는데, 본 발명의 다른 실시예에 따른 음식 정보 입력 방법에 따르면, 사용자가 음식 정보 입력 장치(100)에 촬영 입력을 하는 것과 동시에 음식의 양을 포함하는 음식 정보를 음식 정보 입력 장치(100)에 입력할 수 있도록 한다.
이를 위해 디스플레이(130) 상에 표시되는 UI는 음식의 양을 포함하는 음식 정보를 입력할 수 있는 UI일 수 있으며, 도 13을 참조하면, 예컨대 바(bar) 형태의 UI(610)일 수 있지만, 이에 제한되지 않는다.
음식 정보 입력 장치(100)의 촬영을 위해, 사용자는 예컨대 디스플레이(130)를 터치해야 하는데, 이때 디스플레이(130)에 표시되는 UI에 따라 터치되는 위치를 통해 사용자의 섭취 예정 음식의 양을 포함하는 음식 정보가 입력될 수 있다. 즉, 사용자의 한 번의 디스플레이(130) 터치를 통해, 촬영 입력과 동시에 섭취 예정 음식의 양을 포함하는 음식 정보의 입력이 이루어질 수 있으며, 이를 통해 사용자는 별도로 음식의 양을 포함하는 음식 정보를 입력해야 하는 수고로움을 덜 수 있다.
도 13을 참조하면, 바 형태의 UI(610)의 경우 디스플레이(130)에 표시된 음식의 섭취 비율을 표시하고 있다. 다만, 이에 제한되지 않고, 카메라(120)에 의해 인식되는 음식의 종류에 따라 다양한 UI가 제공될 수 있다.
예컨대, 카메라(120)에 의해 인식되는 음식의 종류에 따라 UI에 음식의 단위(예컨대, 마리, 장 등)가 표시될 수 있으며, 조각으로 나누어진 음식이 카메라(120)에 인식되는 경우 음식의 단위로서 조각이 UI에 표시될 수 있다.
몇몇 실시예에서, 사용자의 한 번의 디스플레이(130) 터치를 통해, 촬영 입력과 동시에 섭취 예정 음식의 양을 포함하는 음식 정보의 입력이 이루어지지 않고, 촬영 입력과 별도로 섭취 예정 음식의 양을 포함하는 음식 정보의 입력을 위한 UI가 제공될 수도 있다.
몇몇 실시예에서 도 14를 참조하면 디스플레이(130) 상에 표시되는 UI로서 음식의 섭취자를 설정하기 위한 섭취자 후보 영역(710)이 제공될 수 있다.
예컨대, 섭취자 후보 영역(710)을 통해 음식의 섭취자를 선택할 수 있도록 할 수 있으며, 음식 정보 입력 장치(100)의 소유자 이외에 미리 설정된 섭취 후보자가 디스플레이(130)에 표시될 수 있으며, 최근 음식의 섭취자 또는 높은 빈도로 설정된 섭취자가 섭취 후보자로서 디스플레이(130)에 표시될 수 있다. 그리고 사용자는 UI를 이용하여 음식의 섭취자를 복수로 설정할 수 있다.
한편, 디스플레이(130)에 표시되는 UI에는 직접 입력하여 설정할 수 있는 영역이 있어서, 섭취 후보자에 적합한 대상이 없는 경우 사용자는 직접 입력하기를 선택하여 섭취자를 입력할 수 있다.
음식 정보 입력 장치(100)는 도 15에 도시된 스마트폰 형태로 제한되지 않으며, 카메라(120)를 포함하는 모바일 형태이면 제한이 없다.
몇몇 실시예에서, 도 16을 참조하면, 음식 정보 입력 장치(100)는 카메라(120)를 통해 인식되는 음식 중 사용자에 의해 선택된 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 예컨대, 사용자는 디스플레이(130)에 표시된 이미지에서 일부 음식 이미지를 터치함으로써 음식 정보 입력 장치(100)에 선택 입력을 할 수 있지만, 사용자가 음식 정보 입력 장치(100)에 선택 입력하는 방식은 이에 제한되지 않는다.
또한, 음식 정보 입력 장치(100)가 개인적인 용도로 이용되는 것이 아니라 식당 등에서 종업원이 불특정 다수를 대상으로 음식 정보 입력 장치(100)를 이용하는 경우에는 섭취 후보자가 섭취 후보군으로 표시될 수 있다. 적어도 하나의 특징을 기준으로 나누어진 섭취 후보군이 디스플레이(130)에 표시될 수 있으며, 예컨대, 연령과 성별의 조합으로, 10대 여성, 10대 남성, 20대 여성, 20대 남성 등과 같이 표시될 수 있지만, 이에 제한되지 않는다.
몇몇 실시예에서, 카메라(120)를 통해 음식이 인식되면, 디스플레이(130) 상에 UI를 표시하는 것과 동시에 음식 정보 입력 장치(100)는 인식되는 음식에 대한 음식 정보를 사용자에게 제공하거나, 디스플레이(130) 상에 UI를 표시하는 것과 무관하게 음식 정보 입력 장치(100)는 인식되는 음식에 대한 음식 정보를 사용자에게 제공할 수 있다.
구체적으로, 사용자가 촬영 입력을 하기 전이라도 카메라(120)를 통해 음식이 인식되는 경우, 음식 정보 입력 장치(100)는 인식되는 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 즉, 카메라(120)를 통해 음식이 인식되는 경우, 음식 정보 입력 장치(100)는 실시간으로 분석된 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 음식 정보로서 예컨대 음식의 열량 정보, 음식의 종류 정보, 음식의 영양 정보 등이 포함될 수 있으며, 음식 정보는 인식되는 음식의 이미지를 바탕으로 도출 가능한 정보라면 그 종류에 제한이 없다. 음식 정보는 인식되는 음식의 이미지를 바탕으로 음식 정보 입력 장치(100) 또는 외부 서버(200)에서 분석될 수 있다.
음식 정보 입력 장치(100)는 시각적, 청각적, 또는 촉각적 방법을 통해서 사용자에게 인식되는 음식의 이미지를 바탕으로 도출되는 음식 정보를 제공할 수 있다. 예컨대, 도 12를 참조하면, 카메라(120)를 통해 인식되는 음식의 이미지와 더불어 해당 음식의 열량 정보가 디스플레이(130)에 표시될 수 있다. 또한, 음식 정보 입력 장치(100)는 스피커(미도시)를 통해서 "현재 음식은 고단백질 식단이며, 비타민이 많이 포함되어 있어서 피로회복에 좋습니다."와 같은 음식의 영양 정보를 제공할 수도 있다.
다만, 본 발명의 음식 정보 입력 장치(100)는 도 12에 도시된 스마트폰 형태로 제한되지 않으며, 카메라(120)를 포함하는 모바일 형태이면 제한이 없다. 예컨대, 도 19를 참조하면, 본 발명의 일 실시예에 따른 음식 정보 입력 장치(100)는 디스플레이(130)를 포함하지 않을 수 있다.
이후, 음식 정보 입력 장치(100)는 사용자로부터 UI에 따른 음식 정보를 입력받을 수 있다(S240).
몇몇 실시예에서 사용자는 음식 정보 입력 장치(100)를 이용하여 해당 음식의 섭취자를 촬영할 수 있다. 예컨대, 음식 정보 입력 장치(100)에 의해 음식 정보의 입력이 진행된 후, 사용자는 음식 정보 입력 장치(100)를 이용하여 해당 음식의 섭취자를 촬영할 수 있으며, 음식 정보 입력 장치(100)는 음식이 촬영된 시간과 가장 근접한 시간에 촬영된 섭취자를 해당 음식의 섭취자로 인식하거나, 촬영된 음식의 배경과 유사한 배경을 가진 이미지에 포함된 섭취자를 해당 음식의 섭취자로 인식할 수도 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 인식된 음식의 종류에 따라 입력 버튼 또는 임의의 위치에 표시되는 음식의 단위를 변경하고, 변경된 음식의 단위를 기초로 인식된 음식의 양 정보를 입력받을 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 인식된 음식의 음식 이미지를 분석하여 식사 전 또는 식사 후인지를 판단하고, 음식 이미지가 식사 전 음식이 촬영된 경우에 식사 전 사용자의 음식 리뷰로 기록하거나, 음식 이미지가 식사 후 음식이 촬영된 경우에 식사 후 사용자의 음식 리뷰로 기록할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 인식된 음식의 종류를 기초로 인식 가능한 음식 후보 종류를 표시할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 음식 정보 입력 장치의 위치를 기반으로 인식된 음식을 제공하는 음식점을 검색하고, 검색된 음식점 내의 메뉴 정보를 기반으로 입력받은 음식 정보를 보정하여 표시할 수 있다.
몇몇 실시예에서, 도 17을 참조하면, 음식 정보 입력 장치(100)는 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하고, 검색된 음식점 내의 메뉴 정보를 기반으로 입력받은 음식 정보에 대응되는 음식을 주문할 수 있다. 이때, 음식 정보 입력 장치(100)는 검색된 음식점의 메뉴와 인식된 음식에 대해, 사용자가 촬영 화면에 표시된 주문 버튼(810)을 터치하면 결제 과정 등을 통해 해당 음식점으로 음식을 주문할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 음식 정보가 입력되는 경우, 입력받은 음식 정보에 대한 미리 설정된 인센티브를 사용자에게 제공할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 인식된 음식에 따라 사용자 특성을 고려한 섭취 목표 정보를 계산하여 표시하고, 사용자로부터 인식된 음식에 대한 섭취 예정 정보를 입력받고, 표시된 섭취 목표 정보 대비 입력받은 섭취 예정 정보의 비율을 표시할 수 있다.
몇몇 실시예에서, 음식 정보 입력 장치(100)는 사용자가 인식된 음식을 섭취한 후, 표시된 섭취 목표 정보 대비 입력받은 섭취 예정 정보를 기준으로 섭취 목표 성공 또는 실패를 표시할 수 있다.
도 18에 도시된 바와 같이, 음식 정보 입력 장치(100)는 사용자 식습관을 진단하여 사용자의 영양 섭취 현황 정보를 기간별(예컨대, 일별 월별, 연도별, 구간별 등)로 제공할 수 있다. 예를 들면, 영양 섭취 현황 정보에는 총 열량, 탄수화물, 단백질, 지방, 나트륨, 칼슘, 철, 비타민 A, 티아민, 리보플라빈, 비타민 C 등이 포함될 수 있다. 사용자의 영양 섭취 현황 정보에는 목표 구간이 표시된 목표 구간 대비 제1 영양 섭취 현황 정보와, 권장량 대비 제2 영양 섭취 현황 정보가 포함될 수 있다. 음식 정보 입력 장치(100)는 인식된 음식에 따라 사용자의 영양 섭취 현황 정보를 고려하여 목표 구간이 표시된 제1 영양 섭취 현황 정보와 권장량이 표시된 제2 영양 섭취 현황 정보를 계산하여 표시할 수 있다.
도 13 내지 도 18이 순차적으로 기재되어 있으나, 이는 본 발명의 다른 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 다른 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 13 내지 도 18에 기재된 순서를 변경하여 실행하거나 단계 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 13 내지 도 18은 시계열적인 순서로 한정되는 것은 아니다.
이하에서는, 도 19 내지 도 21을 참조하여, 본 발명의 다른 실시예에 따른 음식 정보 입력 과정에 대해 상세히 설명한다. 도 19은 본 발명의 다른 실시예에 따른 음식 정보 입력 방법을 나타낸 흐름도이고, 도 20은 본 발명의 다른 실시예에 따른 음식 정보 입력 장치의 예시를 나타낸 도면이고, 도 21은 본 발명의 다른 실시예에 따른 촬영 동작 예시를 나타낸 도면이다.
먼저, 도 19 내지 도 21을 참조하면, 본 발명의 다른 실시예에 따른 음식 정보 입력 방법은 음식 정보 입력 장치(100)의 적어도 하나의 프로세서 또는 음식 정보 입력 장치(100)인 컴퓨터에 의해 수행될 수 있다.
우선, 음식 정보 입력 장치(100)가 촬영 모드로 작동할 수 있다(S310). 음식 정보 입력 애플리케이션(미 도시)의 작동에 따라 음식 정보 입력 장치(100)가 촬영 모드로 작동할 수 있으며, 카메라(120)가 활성화될 수 있다.
이어서, 음식 정보 입력 장치(100)가 사용자에게 촬영 가이드를 제공할 수 있다(S320).
이미지를 포함하는 음식 정보가 정확하게 분석되기 위해서는 촬영 대상이 되는 음식과 평행하게 카메라(120)가 위치한 상태에서 촬영 대상이 되는 음식의 수직 위에서 카메라(120)에 의해 촬영이 수행되어야 한다. 만약 위의 조건에 따라 음식에 대한 촬영이 수행되지 않는 경우, 획득된 음식 정보를 분석하더라도 정확도 높은 분석이 이루어지기 용이하지 않다.
이를 위하여, 음식 정보 입력 장치(100)는 음식과 음식 정보 입력 장치(100)의 평행 여부, 음식 정보 입력 장치(100) 또는 카메라(120)의 수평 여부, 음식의 수직 위에 카메라(120)가 위치해 있는지 여부를 분석하여, 사용자가 음식 정보 입력 장치(100) 또는 카메라(120)의 위치를 이동시킬 수 있도록 사용자에게 촬영 가이드를 제공할 수 있다.
사용자에게 촬영 가이드를 제공하는 방법은 시각적, 청각적, 또는 촉각적 방법이 이용될 수 있다. 디스플레이(130)에 시각적으로 촬영 가이드가 표시되거나, 스피커(미도시)를 통해 촬영 가이드가 출력되거나, 진동 모듈(미도시)을 통해 촬영 가이드가 제공될 수도 있지만, 이에 제한되지 않는다.
이어서, 음식 정보 입력 장치(100)는 미리 설정된 조건의 만족 여부를 판단할 수 있다(S330).
몇몇 실시예에서, 음식 정보 입력 장치(100)가 촬영 모드로 작동하여 카메라(120)가 활성화된 경우, 음식 정보 입력 장치(100)는 미리 설정된 조건의 만족 여부를 판단할 수 있다. 미리 설정된 조건은 촬영 모드에서 촬영이 정확하게 동작하는 조건이거나, 음식 정보 입력 장치(100)가 사용자에게 음식 정보를 제공할 조건이거나, 카메라(120)를 통해 음식이 인식되는 조건 중에서 적어도 하나를 포함할 수 있다.
구체적으로, 사용자가 촬영 입력을 하기 전이라도 카메라(120)를 통해 음식이 인식되는 경우, 음식 정보 입력 장치(100)는 인식되는 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 즉, 카메라(120)를 통해 음식이 인식되는 경우, 음식 정보 입력 장치(100)는 실시간으로 분석된 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 음식 정보로서 예컨대 음식의 열량 정보, 음식의 종류 정보, 음식의 영양 정보 등이 포함될 수 있으며, 음식 정보는 인식되는 음식의 이미지를 바탕으로 도출 가능한 정보라면 그 종류에 제한이 없다. 음식 정보는 인식되는 음식의 이미지를 바탕으로 음식 정보 입력 장치(100) 또는 외부 서버(200)에서 분석될 수 있다.
음식 정보 입력 장치(100)는 시각적, 청각적, 또는 촉각적 방법을 통해서 사용자에게 인식되는 음식의 이미지를 바탕으로 도출되는 촬영 가이드 또는 음식 정보를 제공할 수 있다. 예컨대, 카메라(120)를 통해 인식되는 음식의 이미지와 더불어 해당 음식의 열량 정보가 디스플레이(130)에 표시될 수 있다. 또한, 음식 정보 입력 장치(100)는 스피커(미도시)를 통해서 "현재 음식은 고단백질 식단이며, 비타민이 많이 포함되어 있어서 피로회복에 좋습니다."와 같은 음식의 영양 정보를 제공할 수도 있다.
본 발명의 다른 실시예에 따른 음식 정보 입력 장치(100)는 도 15에 도시된 스마트폰 형태로 제한되지 않으며, 카메라(120)를 포함하는 모바일 형태이면 제한이 없다. 예컨대, 도 20을 참조하면, 본 발명의 다른 실시예에 따른 음식 정보 입력 장치(100)는 디스플레이(130)를 포함하지 않을 수 있다.
음식 정보 입력 장치(100)는 미리 설정된 조건이 만족되는 경우 자동 촬영할 수 있다(S340). 즉, 음식 정보 입력 장치(100)는 미리 설정된 조건이 만족되면 사용자의 촬영 입력이 없더라도 자동으로 촬영을 할 수 있다.
미리 설정된 조건은 카메라(120)를 이용하여 음식을 촬영할 수 있는 최적의 조건일 수 있다. 예컨대, 미리 설정된 조건은 음식 정보 입력 장치(100) 또는 카메라(120)가 수평일 조건, 음식 정보 입력 장치(100) 또는 카메라(120)의 움직임이 미리 정해진 수치 이하일 조건, 카메라(120)를 통해 촬영되는 이미지에 음식이 인식될 조건일 수 있다. 또는, 미리 설정된 조건은 인식된 음식과 음식 정보 입력 장치(100)의 평행 조건, 음식 정보 입력 장치(100)의 수평 조건, 인식된 음식의 수직 위에 음식 정보 입력 장치(100)의 위치 조건 및 음식 정보 입력 장치(100)의 움직임 조건 중에서 적어도 하나의 조건일 수 있다.
즉, 도 21을 참조하면 음식 정보 입력 장치(100)는 카메라(120)가 수평을 이루고 카메라(120)의 흔들림이 없는 상태에서 음식이 인식되는 경우 자동 촬영을 진행할 수 있다.
본 발명의 다른 실시예에 따른 음식 정보 입력 과정에 따르면, 사용자가 최적의 촬영 조건을 찾을 수 있도록 음식 정보 입력 장치(100)가 사용자에게 촬영 가이드를 제공하고, 최적의 촬영 조건이 만족된 경우 음식 정보 입력 장치(100)가 자동 촬영을 함으로써 사용자의 편의성을 높일 수 있다.
몇몇 실시예에서 음식 정보 입력 장치(100)는 미리 설정된 조건의 만족 여부를 판단하고(S330), 미리 설정된 조건이 만족되는 경우 자동으로 촬영을 하지 않고 사용자에게 촬영을 하도록 알림을 제공할 수 있다. 예컨대, 음식 정보 입력 장치(100)는 시각적, 청각적, 또는 촉각적 방법 중 적어도 하나의 방법을 이용하여 사용자에게 알림을 제공할 수 있다. 디스플레이(130)에 촬영을 하도록 알림을 표시하거나, 음식 정보 입력 장치(100)에 포함된 발광 장치(미도시)를 발광시켜 사용자가 촬영을 하도록 알림을 제공하거나, 스피커(미도시) 또는 진동 모듈(미도시)을 통해 사용자가 촬영을 하도록 알림을 제공할 수도 있지만, 이에 제한되지 않는다.
몇몇 실시예에서 사용자는 음식 정보 입력 장치(100)를 이용하여 해당 음식의 섭취자를 촬영할 수 있다. 예컨대, 음식 정보 입력 장치(100)에 의해 자동 촬영이 진행된 후, 사용자는 음식 정보 입력 장치(100)를 이용하여 해당 음식의 섭취자를 촬영할 수 있으며, 음식 정보 입력 장치(100)는 음식이 촬영된 시간과 가장 근접한 시간에 촬영된 섭취자를 해당 음식의 섭취자로 인식하거나, 촬영된 음식의 배경과 유사한 배경을 가진 이미지에 포함된 섭취자를 해당 음식의 섭취자로 인식할 수도 있다.
몇몇 실시예에서 음식 정보 입력 장치(100)는 촬영이 이루어진 후 사용자에게 섭취한 음식의 양 또는 섭취한 음식에 대한 리뷰를 입력하도록 요청할 수 있으며, 해당 요청에 따라 사용자가 입력한 시간을 고려하여 사용자에게 제공하는 리워드를 조정할 수 있다.
몇몇 실시예에서 음식 정보 입력 장치(100)는 자동 촬영 또는 사용자의 촬영 입력에 따른 촬영이 될 때 촬영에 따라 인식되는 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 즉, 카메라(120)를 통해 음식이 촬영되는 경우, 음식 정보 입력 장치(100)는 실시간으로 분석된 음식에 대한 음식 정보를 사용자에게 제공할 수 있다. 음식 정보로서 예컨대 음식의 열량 정보, 음식의 종류 정보, 음식의 영양 정보 등이 포함될 수 있으며, 음식 정보는 인식되는 음식의 이미지를 바탕으로 도출 가능한 정보라면 그 종류에 제한이 없다. 음식 정보는 인식되는 음식의 이미지를 바탕으로 음식 정보 입력 장치(100) 또는 외부 서버(200)에서 분석될 수 있다.
한편, 본 발명의 다른 실시예에 따른 음식 정보 입력 과정에 대해 상세히 설명한다.
본 발명의 다른 실시예에 따른 음식 정보 입력 과정에 따르면, 음식 정보 입력 장치(100)는 음식 정보 입력 장치(100)에 의해 촬영이 수행된 후 사용자에게 다양한 기능을 제공할 수 있다.
음식 정보 입력 장치(100)에서 사용자에게 다양한 기능에 대하여 입력받는 방식은 다양할 수 있으며, 다음과 같을 수 있다.
우선, 디스플레이(130)에 UI로서 선택 가능 영역을 제공하고 사용자가 해당 선택 가능 영역에서 터치 입력(또는 클릭 입력)하는 위치에 따라 사용자의 입력을 다르게 파악할 수 있다.
또한, 촬영된 이미지에 대하여 사용자가 디스플레이(130)에 드래그 입력을 하는 경우, 음식 정보 입력 장치(100)는 이에 따라 미리 결정된 기능을 수행할 수 있다.
또한, 더블 터치 입력(또는 더블 클릭 입력)이나 2가지 이상의 버튼을 동시에 누르거나, 2군데 이상의 영역에 대한 동시 터치 입력(또는 클릭 입력)이 있는 경우, 음식 정보 입력 장치(100)는 이에 따라 미리 결정된 기능을 수행할 수 있다.
마지막으로, 사용자가 해당 기능의 실행을 위한 모드(mode)를 직접 설정함으로써, 음식 정보 입력 장치(100)가 정해진 기능을 수행하도록 할 수 있다.
한편, 음식 정보 입력 장치(100)가 음식 정보 입력 장치(100)에 의해 촬영이 수행된 후 사용자에게 제공하는 기능은 다음과 같을 수 있다.
우선, 음식 정보 입력 장치(100)에 의해 촬영이 되는 경우, 사용자가 촬영된 이미지의 저장 공간을 설정하도록 할 수 있다.
예컨대, 음식 정보 입력 장치(100)에 의해 촬영이 되는 경우, 촬영된 이미지를 분석하여 기존에 존재하는 폴더 중 저장하기 적합한 폴더를 추천해주고 사용자가 드래그를 통해 해당 폴더에 촬영된 이미지를 저장할 수 있도록 할 수 있다.
이 밖에, 향후에 다시 올 곳, 내가 집에서 요리할 음식, 최고의 기대 등 사용자가 자유롭게 폴더를 생성하고 해당 폴더로 촬영된 이미지를 드래그하여 저장할 수 있도록 할 수 있다.
또한, 음식 정보 입력 장치(100)에 의해 촬영이 되는 경우, 사용자가 촬영된 이미지를 손쉽게 공유하도록 할 수 있다.
예컨대, 사용자가 촬영된 이미지를 특정한 방향으로 드래그를 하거나 공유를 위한 입력을 수행하면 해당 이미지가 SNS 등을 통해 다른 사용자에게 공유되도록 할 수 있다. 또한, 모드 설정을 통해 음식 정보 입력 장치(100)를 공유 모드로 설정하면, 촬영되는 이미지에 음식이 포함되는 경우 별도의 추가적인 입력이 없더라도 해당 이미지가 SNS 등을 통해 다른 사용자에게 자동으로 공유되도록 할 수 있다.
이를 통해, 사용자가 불특정 커뮤니티에 촬영된 이미지를 업로드하여 음식 정보를 공유함으로써 섭취 음식 종류를 고민하거나 음식이 촬영된 이미지 찾는 사람이나 재미를 추구하는 사람들이 해당 이미지를 활용할 수 있도록 할 수 있다.
이어서, 음식 정보 입력 장치(100)는 사용자에게 섭취 전 리뷰 또는 섭취 후 리뷰를 입력받을 수 있다.
음식 정보 입력 장치(100)는 촬영된 이미지를 분석하여 식사 전 음식이 촬영된 이미지인지, 식사 후 음식이 촬영된 이미지인지를 판단할 수 있으며, 식사 전 음식이 촬영된 이미지인 경우, 촬영 후 사용자의 리뷰를 섭취 전 리뷰로 기록하고, 식사 후 음식이 촬영된 이미지인 경우, 촬영 후 사용자의 리뷰를 섭취 후 리뷰로 기록할 수 있다.
예컨대 식사 전 음식이 촬영된 이미지인 경우, 음식 정보 입력 장치(100)는 사용자에게 섭취 전 리뷰를 기록하도록 할 수 있으며, 예컨대 사용자가 디스플레이(130)에 수행하는 드래그 입력 방향에 따라 섭취 전 기대치 최대, 또는 섭취 전 기대치 최소 등의 섭취 전 리뷰가 기록될 수 있다. 다만, 섭취 전 리뷰를 입력하는 방식은 이에 제한되지 않는다.
또한, 식사 후 음식이 촬영된 이미지인 경우, 음식 정보 입력 장치(100)는 사용자에게 섭취 후 리뷰를 기록하도록 할 수 있으며, 예컨대 사용자가 디스플레이(130)에 수행하는 드래그 입력 방향에 따라 섭취 후 만족도 최대, 또는 섭취 후 만족도 최소 등의 섭취 전 리뷰가 기록될 수 있다. 다만, 섭취 후 리뷰를 입력하는 방식은 이에 제한되지 않는다.
이상에서 전술한 본 발명의 일 실시예에 따른 음식 정보 입력 방법은, 하드웨어인 장치와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU) 가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소 정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (30)

  1. 음식 정보 입력 장치에 의해 수행되는 음식 정보 입력 방법으로서,
    촬영 화면에 입력 가이드 및 상기 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동하는 단계; 및
    상기 촬영 모드로 작동하는 동안, 상기 입력 가이드 및 상기 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받는 단계
    를 포함하는, 음식 정보 입력 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 음식 정보를 입력받는 단계는,
    상기 촬영 모드로 작동하는 동안, 사용자가 상기 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 상기 활성화시킨 입력 버튼을 비활성화시킨 상기 입력 가이드 상의 위치에 따라 음식 정보를 입력받는, 음식 정보 입력 방법.
  3. 제1항에 있어서,
    사용자가 활성화시킨 입력 버튼의 입력 가이드 상의 위치에 대응되는 적어도 하나의 음식 정보를 상기 촬영 화면에 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  4. 제3항에 있어서,
    상기 적어도 하나의 음식 정보를 상기 촬영 화면에 표시하는 단계는,
    상기 사용자가 활성화시킨 입력 가이드 상의 입력 버튼 위치에 대응되는 음식 정보를 상기 촬영 화면에 기설정된 크기 이상으로 표시하는, 음식 정보 입력 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 음식 정보를 입력받는 단계는,
    사용자가 상기 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 상기 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 상기 입력 가이드 상의 이동 방향에 따라 적어도 하나의 음식 정보를 선택적으로 입력받는, 음식 정보 입력 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 음식 정보를 입력받는 단계는,
    사용자가 상기 촬영 화면에 표시된 입력 버튼을 활성화시킨 상태에서 상기 활성화시킨 입력 버튼을 이동시켜 비활성화시킨 상기 입력 가이드 상의 이동 거리 및 이동 방향에 따라 적어도 하나의 음식 정보를 선택적으로 입력받는, 음식 정보 입력 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 음식 정보는,
    음식의 양 정보, 음식의 종류 정보, 음식의 열량 정보, 음식의 영양 정보, 음식 메뉴 정보, 섭취자 정보, 섭취 목표 정보, 섭취 예정 정보, 섭취 시간 정보, 섭취 만족도 정보, 기설정된 입력 목적에 맞는 음식 시간 정보, 기설정된 입력 목적에 맞는 음식 위치 정보, 음식의 처리자 정보, 음식물 쓰레기 배출 정보, 식전 입력 정보, 식후 입력 정보, 즐겨찾기 정보, 및 위시리스트 저장 정보 중에서 적어도 하나의 정보를 포함하는, 음식 정보 입력 방법.
  8. 제1항에 있어서,
    상기 입력받은 적어도 하나의 음식 정보와 관련된, 사용자 알러지 영향도, 피부 영양도, 성장 영양도, 질병 영향도, 노화 영향도, 다이어트 영향도, 목표 칼로리 대비 섭취 예정 칼로리, 염도, 음식의 환산 가치, 음식 비용 정보, 음식 환경 정보, 탄소 가치 정보, 자원 가치 정보, 탄소 배출량, 운영비 손실 비용, 식재료 정보, 식전 입력 버튼, 식후 입력 버튼, 즐겨찾기 입력 버튼, 및 위시리스트 저장 버튼 중에서 적어도 하나를 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  9. 제1항에 있어서,
    상기 촬영 화면에 표시된 음식을 인식하는 단계를 더 포함하고,
    상기 입력받은 적어도 하나의 음식 정보는 상기 인식된 음식에 관한 것인, 음식 정보 입력 방법.
  10. 제9항에 있어서,
    상기 적어도 하나의 음식 정보를 입력받는 단계는,
    상기 인식된 음식의 종류에 따라 상기 입력 버튼에 표시되는 음식의 단위를 변경하고, 상기 변경된 음식의 단위를 기초로 상기 인식된 음식의 양 정보를 입력받는, 음식 정보 입력 방법.
  11. 제9항에 있어서,
    상기 인식된 음식에 대한 입력 한계 범위를 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  12. 제11항에 있어서,
    상기 표시된 입력 한계 범위의 최소값 및 최대값을 조절하는 단계를 더 포함하고,
    상기 조절된 입력 한계 범위의 최소값 및 최대값에 따라 상기 음식 정보의 입력 단위가 가변되는, 음식 정보 입력 방법.
  13. 제9항에 있어서,
    상기 인식된 음식에 따라 사용자 특성을 고려한 섭취 목표 정보를 계산하여 표시하는 단계;
    상기 사용자로부터 상기 인식된 음식에 대한 섭취 예정 정보를 입력받는 단계; 및
    상기 표시된 섭취 목표 정보 대비 상기 입력받은 섭취 예정 정보의 비율을 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  14. 제13항에 있어서,
    상기 사용자가 상기 인식된 음식을 섭취한 후, 상기 표시된 섭취 목표 정보 대비 상기 입력받은 섭취 예정 정보를 기준으로 섭취 목표 성공 또는 실패를 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  15. 제9항에 있어서,
    상기 인식된 음식의 음식 이미지를 분석하여 식사 전 또는 식사 후인지를 판단하는 단계; 및
    상기 음식 이미지가 식사 전 음식이 촬영된 경우에 식사 전 사용자의 음식 리뷰로 기록하거나, 상기 음식 이미지가 식사 후 음식이 촬영된 경우에 식사 후 사용자의 음식 리뷰로 기록하는 단계를 더 포함하는, 음식 정보 입력 방법.
  16. 제9항에 있어서,
    상기 인식된 음식의 종류를 기초로 인식 가능한 음식 후보 종류를 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  17. 제9항에 있어서,
    상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및
    상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보를 보정하여 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  18. 제9항에 있어서,
    상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및
    상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보에 대응되는 음식을 주문하는 단계를 더 포함하는, 음식 정보 입력 방법.
  19. 제9항에 있어서,
    상기 음식 정보가 입력되는 경우, 상기 입력받은 음식 정보에 대한 미리 설정된 인센티브를 사용자에게 제공하는 단계를 더 포함하는, 음식 정보 입력 방법.
  20. 음식 정보 입력 장치에 의해 수행되는 음식 정보 입력 방법으로서,
    촬영 화면에 입력 버튼이 표시되는 촬영 모드로 작동하는 단계;
    상기 촬영 모드로 작동하는 동안, 기설정된 촬영 가이드 조건이 만족되는지를 확인하는 단계; 및
    상기 기설정된 촬영 가이드 조건이 만족되면 촬영하는 단계
    를 포함하는, 음식 정보 입력 방법.
  21. 제20항에 있어서,
    상기 촬영 화면에 표시된 음식을 인식하는 단계; 및
    상기 인식된 음식에 대한 음식 정보를 입력받는 단계를 더 포함하는, 음식 정보 입력 방법.
  22. 제21항에 있어서,
    상기 기설정된 촬영 가이드 조건은,
    상기 인식된 음식과 상기 음식 정보 입력 장치의 평행 조건, 상기 음식 정보 입력 장치의 수평 조건, 상기 인식된 음식의 수직 위에 상기 음식 정보 입력 장치의 위치 조건 및 상기 음식 정보 입력 장치의 움직임 조건 중에서 적어도 하나의 조건인, 음식 정보 입력 방법.
  23. 제21항에 있어서,
    상기 인식된 음식과 상기 음식 정보 입력 장치 간의 상대 기울기를 기초로 하여 상기 화면에 촬영 정확도를 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  24. 제21항에 있어서,
    촬영 동작에 대해 미리 설정된 인센티브를 사용자에게 제공하는 단계를 더 포함하는, 음식 정보 입력 방법.
  25. 제21항에 있어서,
    상기 인식된 음식의 촬영 이미지를 분석하여 식사 전 또는 식사 후인지를 판단하는 단계; 및
    상기 촬영 이미지가 식사 전 음식이 촬영된 경우에 식사 전 사용자의 음식 리뷰로 기록하거나, 상기 촬영 이미지가 식사 후 음식이 촬영된 경우에 식사 후 사용자의 음식 리뷰로 기록하는 단계를 더 포함하는, 음식 정보 입력 방법.
  26. 제21항에 있어서,
    상기 인식된 음식의 종류를 기초로 인식 가능한 음식 후보 종류를 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  27. 제21항에 있어서,
    상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및
    상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보를 보정하여 표시하는 단계를 더 포함하는, 음식 정보 입력 방법.
  28. 제21항에 있어서,
    상기 음식 정보 입력 장치의 위치를 기반으로 상기 인식된 음식을 제공하는 음식점을 검색하는 단계; 및
    상기 검색된 음식점 내의 메뉴 정보를 기반으로 상기 입력받은 음식 정보에 대응되는 음식을 주문하는 단계를 더 포함하는, 음식 정보 입력 방법.
  29. 카메라;
    디스플레이;
    하나 이상의 프로그램을 저장하는 메모리; 및
    상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이를 통해, 촬영 화면에 입력 가이드 및 상기 입력 가이드를 따라 이동되는 입력 버튼이 표시되는 촬영 모드로 작동하고,
    상기 촬영 모드로 작동하는 동안, 상기 카메라를 통해 상기 입력 가이드 및 상기 입력 버튼을 이용하여 적어도 하나의 음식 정보를 입력받는, 음식 정보 입력 장치.
  30. 카메라;
    디스플레이;
    하나 이상의 프로그램을 저장하는 메모리; 및
    상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이를 통해, 촬영 화면에 입력 버튼이 표시되는 촬영 모드로 작동하고,
    상기 촬영 모드로 작동하는 동안, 기설정된 촬영 가이드 조건이 만족되는지를 확인하고,
    상기 카메라를 통해 상기 기설정된 촬영 가이드 조건이 만족되면 촬영하는, 음식 정보 입력 장치.
PCT/KR2021/014989 2020-10-23 2021-10-25 음식 정보 입력 방법 및 장치 WO2022086304A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023524082A JP2023546583A (ja) 2020-10-23 2021-10-25 飲食物情報入力方法及び装置
EP21883371.3A EP4235560A1 (en) 2020-10-23 2021-10-25 Food information input method and apparatus
US17/629,557 US20220365962A1 (en) 2020-10-23 2021-10-25 Method and Apparatus for Inputting Food Information
CN202180072552.1A CN116457818A (zh) 2020-10-23 2021-10-25 食物信息输入方法和装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0138123 2020-10-23
KR20200138123 2020-10-23
KR1020210142157A KR20220054223A (ko) 2020-10-23 2021-10-22 음식 정보 입력 방법 및 장치
KR10-2021-0142157 2021-10-22

Publications (1)

Publication Number Publication Date
WO2022086304A1 true WO2022086304A1 (ko) 2022-04-28

Family

ID=81289931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/014989 WO2022086304A1 (ko) 2020-10-23 2021-10-25 음식 정보 입력 방법 및 장치

Country Status (4)

Country Link
US (1) US20220365962A1 (ko)
EP (1) EP4235560A1 (ko)
JP (1) JP2023546583A (ko)
WO (1) WO2022086304A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563694B1 (ko) * 2015-02-27 2015-10-27 정의준 위치기반 음식점 광고 서비스 제공 시스템
KR20170031517A (ko) * 2015-09-11 2017-03-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20170083382A (ko) * 2016-01-08 2017-07-18 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP2019054378A (ja) * 2017-09-14 2019-04-04 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
KR102108535B1 (ko) * 2017-11-23 2020-06-16 오연재 증강현실을 이용한 음식 정보 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563694B1 (ko) * 2015-02-27 2015-10-27 정의준 위치기반 음식점 광고 서비스 제공 시스템
KR20170031517A (ko) * 2015-09-11 2017-03-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20170083382A (ko) * 2016-01-08 2017-07-18 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP2019054378A (ja) * 2017-09-14 2019-04-04 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
KR102108535B1 (ko) * 2017-11-23 2020-06-16 오연재 증강현실을 이용한 음식 정보 처리 방법

Also Published As

Publication number Publication date
JP2023546583A (ja) 2023-11-06
US20220365962A1 (en) 2022-11-17
EP4235560A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
WO2019135542A1 (en) Electronic device and method for processing information associated with food
WO2017043857A1 (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
WO2016060400A1 (en) Method and apparatus for managing images using a voice tag
EP3590253A1 (en) Method for providing different indicator for image based on shooting mode and electronic device thereof
WO2020214006A1 (en) Apparatus and method for processing prompt information
WO2018174648A1 (ko) 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
EP3583524A1 (en) Method for providing information and electronic device supporting the same
WO2014025185A1 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
WO2016085212A1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
WO2019027255A1 (en) ELECTRONIC DEVICE FOR DETERMINING BIOMETRIC INFORMATION AND METHOD FOR OPERATING IT
WO2017209502A1 (ko) 전자 장치와 충전 장치간의 연결을 제어하는 방법 및 이를 제공하는 장치
WO2016126007A1 (en) Method and device for searching for image
WO2017086676A1 (ko) 전자 장치 및 전자 장치의 컨텐츠 출력 방법
WO2017043686A1 (ko) 이동 단말기 및 그의 동작 방법
CN109189986B (zh) 信息推荐方法、装置、电子设备和可读存储介质
WO2017018722A1 (en) Screen operating method and electronic device supporting the same
EP3335411A1 (en) Electronic device and method of managing application programs thereof
WO2019240513A1 (ko) 전자 장치에서 생체 정보 제공 방법 및 장치
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2016200085A1 (en) Electronic apparatus and method of extracting still images
WO2019235793A1 (en) Electronic device and method for providing information related to image to application through input unit
WO2016064106A1 (ko) 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법
WO2018143669A1 (en) Method and electronic device for providing health content
WO2018217066A1 (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21883371

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023524082

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180072552.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021883371

Country of ref document: EP

Effective date: 20230523