WO2019135670A2 - 냉장고 및 냉장고의 물품 관리 방법 - Google Patents

냉장고 및 냉장고의 물품 관리 방법 Download PDF

Info

Publication number
WO2019135670A2
WO2019135670A2 PCT/KR2019/004304 KR2019004304W WO2019135670A2 WO 2019135670 A2 WO2019135670 A2 WO 2019135670A2 KR 2019004304 W KR2019004304 W KR 2019004304W WO 2019135670 A2 WO2019135670 A2 WO 2019135670A2
Authority
WO
WIPO (PCT)
Prior art keywords
user
article
information
refrigerator
camera
Prior art date
Application number
PCT/KR2019/004304
Other languages
English (en)
French (fr)
Other versions
WO2019135670A3 (ko
Inventor
김진옥
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020197020771A priority Critical patent/KR102699484B1/ko
Priority to US16/487,644 priority patent/US11599928B2/en
Priority to PCT/KR2019/004304 priority patent/WO2019135670A2/ko
Publication of WO2019135670A2 publication Critical patent/WO2019135670A2/ko
Publication of WO2019135670A3 publication Critical patent/WO2019135670A3/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Definitions

  • the present invention relates to a refrigerator and an article management method for the refrigerator.
  • the refrigerator discharges cold air generated by a refrigeration cycle including a compressor, a condenser, an expansion valve, an evaporator, etc. to lower the temperature of the inside of the refrigerator to freeze or refrigerate food or the like.
  • the user can not identify the food stored in the refrigerator without opening the door of the refrigerator.
  • the user can input the preference food name every day or collectively .
  • Still another object of the present invention is to provide a method of managing an article of a refrigerator and a refrigerator in which an on-line purchasing article can be immediately recommended based on a history of use for each user.
  • a refrigerator comprising: a storage chamber for storing an article; A camera for photographing the outside and inside of the storage room, respectively; A memory in which user information including a face image and one or more shopping malls are stored in association with each other; A control unit for recognizing user information matched to a face image photographed through the camera and an image of an article photographed through the camera while the refrigerator door is opened and closed to obtain article information of the article to be shipped; And a display electrically connected to the control unit, wherein the control unit senses opening and closing of the refrigerator door, stores the obtained article information of the article in the warehouse in association with the matched user information, In response to receipt of the user input, display a list of per-user purchase recommendation items based on the product use history together with connection information of the shopping mall on the display.
  • the camera includes a first camera that photographs the outside of the storage compartment and a second camera that photographs the inside of the storage compartment, and the control unit displays a face image captured through the first camera Acquires matching user information, and recognizes the image of the article photographed through the second camera to acquire the article information of the article to be shipped.
  • the controller when the opening of the refrigerator door is detected, the controller detects a face area by photographing a face image through the first camera, And classifies the users by analyzing based on the learned model.
  • the controller when the opening of the refrigerator door is detected, extracts feature points from the image of the article photographed through the second camera, recognizes the vision based on the extracted feature points, And the like.
  • the control unit senses entry into the user information registration mode and displays first screen information for selecting a face image to be registered as user information through network communication, And controls the display to display second screen information for selecting a shopping mall to be associated with the selected face image when a second input for selecting a face image to be registered is received using the first screen information.
  • the first camera is located inside the refrigerator door, and the controller determines that the hinge part provided at one side of the door after the refrigerator door is opened And outputs a photographing instruction for photographing the face image of the user.
  • the first camera is located outside the refrigerator door, and the control unit displays the user's face image in response to the fact that the user is close to the refrigerator door and the door open signal is received And outputs a photographing instruction for photographing.
  • control unit may output identification information of a user recognized based on a face image obtained through the first camera when a touch input is applied to the display, And outputting a graphic object for providing a purchase recommendation item to the display.
  • control unit displays a list of recommended purchase items corresponding to the recognized user's usage history in response to a touch input applied to the graphic object, And displays the shopping icon as connection information of the shopping mall associated with the shopping mall.
  • control unit executes a shopping basket adding function for the recommended shopping recommendation item and displays a purchase icon for performing the payment for the recommended shopping article item And is output to the display.
  • each article in the list of purchase recommendation articles is arranged in order based on the frequency of use of the article in accordance with the article usage history of the user.
  • the purchase recommendation article list includes at least a part of the food information, the expiration date information, and the shipment time information of the shipment article obtained through the vision recognition.
  • the refrigerator further includes a sensor for sensing a proximity of the user, and the control unit may photograph the face image of the user through the camera in response to the proximity of the user being sensed, And outputting notification information for inducing the purchase of the article based on the user's use history of the article matched to the facial image.
  • control unit may be configured to add the purchase recommendation item of the second user selected based on the touch input applied to the display to the list while the list of purchase recommendation items of the first user is displayed And controls the display.
  • an article managing method for a refrigerator comprising: registering user information including a face image in association with one or more shopping malls; After opening the refrigerator door, photographing the outside of the refrigerator through the first camera to recognize the user's face; Capturing the inside of the refrigerator storage room through the second camera during the closing of the refrigerator door after opening the door, and recognizing the photographed image to acquire article information of the article to be entered and exited; Associating the acquired article information of the delivered article with the recognized user face, and storing the article information as the article use history; And displaying a list of purchase recommendation items for each user together with information of the associated shopping mall based on the use history of the goods when the predetermined user input is received.
  • the user's face and the article to be shipped can be photographed, respectively, and the history of the article can be more accurately managed for each user.
  • the preferred shopping mall is linked in advance, so that it is possible to recommend and immediately purchase the purchased item on the basis of the history of use of each user.
  • the usability of management and purchasing of preferred goods is further improved for each user.
  • the user who is close to the refrigerator is recognized, by checking the usage history of the recognized user and outputting the notification information for inducing the purchase of the article requiring the purchase, the article requiring the purchase is not missed and the purchasing power of the user can be improved .
  • FIG. 1 is a schematic diagram for explaining how a refrigerator according to an embodiment of the present invention communicates with an external device such as a terminal, a server, and a shopping mall server.
  • FIG. 2 is an exemplary block diagram for explaining a configuration of a refrigerator according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of managing a refrigerator article according to an embodiment of the present invention.
  • FIGS. 4A and 4B are views for explaining a process of classifying a user and a goods item on the basis of a photographed image when a door is opened in a refrigerator according to an embodiment of the present invention.
  • FIGS. 5A, 5B, and 5C are conceptual diagrams illustrating a process of registering user information including a face image in association with a desired shopping mall in a refrigerator according to an embodiment of the present invention.
  • 6A, 6B, and 6C are conceptual diagrams for explaining how to recognize a user using a camera provided inside a door of a refrigerator according to an embodiment of the present invention.
  • 6D and 6E are conceptual diagrams for explaining how to recognize a user using a camera provided outside the door in a refrigerator according to an embodiment of the present invention.
  • FIGS. 7A, 7B, and 7C are conceptual diagrams for explaining a specific example of providing a list of recommendable articles for purchase based on the recognized user's use history of the user in the refrigerator according to the embodiment of the present invention.
  • FIG. 8 is an exemplary flowchart for explaining a method of purchasing an article based on a history of use of an article that matches user information in a refrigerator according to an embodiment of the present invention.
  • FIG. 9A is an example in which additional information is provided to a list of recommended purchases by user in a refrigerator according to an embodiment of the present invention
  • FIG. 9B is an example in which notification information for inducing purchase of a specific article is provided when the user is close to the user.
  • 10A and 10B are views for explaining addition of another user to the list of displayed purchase recommendation items in the refrigerator according to the embodiment of the present invention.
  • FIG. 11 is a diagram for explaining that the history of use of goods generated in the refrigerator according to the embodiment of the present invention is transmitted to an external terminal and connected to a shopping mall server through an external terminal.
  • FIG. 1 is a schematic diagram for explaining how a refrigerator according to an embodiment of the present invention communicates with an external device such as a terminal, a server, and a shopping mall server.
  • the refrigerator 100 according to the present invention can communicate with an external terminal 210, a shopping mall server 220, and / or another server 230 via a network or the like.
  • the display 120 may be provided on at least one side or both sides of the door 102 of the refrigerator body according to the present invention.
  • the shopping mall server 220 may directly communicate with the refrigerator 100 or may bypass the terminal 210 to communicate with the refrigerator 100.
  • the server 2300 may be an artificial intelligence server that performs vision recognition on images acquired by the refrigerator 100.
  • the display 120 has a built-in touch pad, and can receive a touch input of a user.
  • a processor provided in the refrigerator 100 and electrically connected to the display 120 can output a control command corresponding to the touch input received via the display 120. [ Then, the display 120 displays information corresponding to the control command transmitted through the processor.
  • a storage room 101 capable of storing food or the like is provided inside the refrigerator body.
  • the storage room 101 may be divided into a freezer compartment and a refrigerating compartment, and each compartment may include a plurality of storage compartments. Further, each of the plurality of storage spaces may be partitioned by a barrier or the like to form a space independent from each other.
  • At least one camera 161 for photographing the interior of the storage room may be provided in the storage room 101.
  • the camera 161 is provided at a first point where both sides of the door meet as shown in Fig. 1, so that a user who approaches the refrigerator can be photographed.
  • at least one camera 161 may be provided in a plurality of storage compartments in the refrigerator.
  • a flashlight or the like may be additionally disposed at a position adjacent to the camera.
  • the flash provides light inside the storage compartment, for example, when the camera 161 photographs an article that is going in or out, or a stored article.
  • the display 120 may display an image of the article in the storage room photographed through the camera 161.
  • the processor (not shown) of the refrigerator may transmit the photographed article image or the displayed article image to an external terminal 210, a shopping mall server 220, and / or a server 230 (not shown) through a communication module ).
  • the server 230 or the terminal 210 communicating with the refrigerator can perform vision recognition of an article image using an artificial intelligence module.
  • An artificial intelligence module performs the role of processing information based on artificial intelligence technology and can include one or more modules that perform at least one of learning information, inference of information, perception of information, and processing of natural language have.
  • the algorithms used by such machine learning techniques may be statistical based algorithms, for example, a decision tree that uses the tree structure type as a prediction model, an artificial tree that mimics the neural network structure and function of the organism Neural networks, genetic programming based on biological evolutionary algorithms, clustering to distribute observed examples to a subset of clusters, Monte Carlo computation of probability values through randomly extracted random numbers, Method (Monter carlo method) or the like.
  • deep learning technology is a technique of performing at least one of learning, judging, and processing information using an artificial neural network algorithm.
  • An artificial neural network can have a structure that links layers and layers, and conveys data between layers and layers. This deep learning technique can learn vast amount of information through artificial neural network using GPU (graphic processing unit) optimized for parallel computing.
  • GPU graphics processing unit
  • CNN Convolutional Neural Network
  • This is a technique of classifying, searching, and object sensing an image by applying various image understanding technologies based on deep learning, and further connecting the image with the analyzed information (or function).
  • the CNN technology it is possible to provide a translation function by analyzing the text included in the image captured by the camera, or to provide a shopping function to purchase the items included in the image captured by the camera have.
  • a contact is illuminated through a camera to perform a telephone connection function or to provide a personalized styling function when a user is photographed.
  • the face image included in the image may be transformed into a 3D model through a facial recognition API to generate virtual faces of various angles.
  • the artificial intelligence module analyzes the history information indicating the performance of a specific operation through the machine learning technology, and updates the existing learned information based on the analysis information . Accordingly, the intelligent module can improve the accuracy of information prediction.
  • the AI module can be understood as the same component as the processor or the control unit of the external server 230 or the external terminal 210 (or the refrigerator 100).
  • an artificial intelligence module (not shown) may be provided independently in the refrigerator. In this case, it is possible to perform vision recognition at the inside of the article without the need to transmit the photographed article image to the external server 230 or the terminal 210 as shown in FIG.
  • FIG. 2 is an exemplary block diagram for explaining a configuration of a refrigerator according to an embodiment of the present invention.
  • the refrigerator 100 may include a controller 180 (hereinafter, referred to as a 'processor') 180, and includes a sensing unit 160 electrically connected to the control unit, A communication unit 130, a memory 150, a power supply unit 110, and an audio output unit 170.
  • the communication unit 130 may include a storage chamber 140 formed so as to store the article in the bowl.
  • FIG. 2 The components shown in FIG. 2 are not essential for implementing the refrigerator 100, so that the refrigerator 100 described herein can have more or less components than the components listed above have.
  • the power supply unit 110 may receive power from the outside and supply power to the components included in the refrigerator 100 under the control of the control unit.
  • a door provided on the front of the refrigerator may be configured to selectively open and close a storage compartment 140 provided in the refrigerator 100, and may be formed in a plurality of doors.
  • the door may be provided with at least one sensor to sense the user's input.
  • the door may form a mutual layer structure with the touch sensor to sense the touch input of the user applied to the door.
  • a sound sensor may be provided to sense a knock input of a user knocking on a door.
  • the storage chamber 140 may include at least one illumination.
  • the illumination may be provided in each of a plurality of storage spaces of the storage room, and may be formed to emit light depending on whether the door is open or closed.
  • the storage chamber 140 may include a storage chamber for storing food and a compressor, a condenser, an expansion valve, an evaporator, and the like, which are configured to discharge cold air according to a predetermined refrigeration cycle in the storage chamber.
  • the storage chamber 140 can cool the food or the like stored in the storage chamber by reducing the temperature of the refrigerator 100 by the discharged cold air.
  • the display unit 120 can receive user input and display information corresponding to the user input, for example, an article image.
  • the display unit 120 may include a display panel (not shown) for displaying an article image.
  • a display panel may be a cathode ray tube (CRT) display panel, a liquid crystal display (LCD) panel, a light emitting diode (LED) panel, an organic light emitting diode (OLED) Panel, a plasma display panel (PDP), and a field emission display (FED) panel.
  • CTR cathode ray tube
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • PDP plasma display panel
  • FED field emission display
  • the display unit 120 may receive a user's touch input, generate an electrical signal corresponding to the received touch input, and provide the generated electrical signal to the controller of the display unit.
  • the display unit 120 may be installed on one side or both sides of the door as shown in FIG. 1 for user's convenience.
  • the sensing unit 160 may include one or more sensors for sensing the information in the refrigerator 100 and the surrounding environment surrounding the refrigerator 100.
  • the refrigerator (100) storage room (140) may include an environmental sensor for detecting the temperature, humidity, and the like, or a human body sensor for detecting a user located in the vicinity of the refrigerator.
  • the sensing unit 160 may include a door opening / closing sensor 162 for sensing the opening and closing of the door, and a camera 161 for photographing the inside of the storage room.
  • the first camera 161a and the second camera 161b may be provided.
  • the first camera 161a may be driven by a camera for capturing an external image of the storage room 140.
  • the second camera 161b may be driven by a camera for capturing an internal image of the storage room 140, that is, a storage article image.
  • the first camera 161a and the second camera 161b may be provided inside the refrigerator.
  • one of the first camera 161a and the second camera 161b may be provided on the inner side of the door and the other may be provided on the outer side of the door.
  • the driving timing of the first camera 161a and the driving timing of the second camera 161b may be different from each other and may be operated according to the driving command transmitted from the controller 180.
  • one or more third cameras may be further provided for capturing an external image of the storage room 140 or a storage article image.
  • the sensing unit 160 may include sensors associated with the various functions of the refrigerator 100, such as sensors associated with automatic door functions.
  • the sensing unit 160 may further include a proximity sensor capable of sensing a user close to the refrigerator 100.
  • the proximity sensor may be configured to sense a nearby user's body.
  • the control unit may control at least one of the doors of the refrigerator 100 to be opened according to the detection result of the proximity sensor (automatic door function).
  • the memory 150 stores data supporting various functions of the refrigerator 100.
  • the memory 150 may store a plurality of application programs (application programs or applications) driven by the refrigerator 100, data for operation of the refrigerator 1, and commands.
  • At least some of these applications may be downloaded from an external server via wireless communication. At least some of these application programs may exist on the refrigerator 100 from the time of shipment for the basic functions of the refrigerator 1 (for example, the temperature management function for each storage area).
  • the memory 150 stores information related to the article image history according to the present invention.
  • one or more article images recorded in the article image history are stored together in the memory 150.
  • the communication unit 130 may include one or more modules for allowing the processor of the refrigerator to wirelessly communicate with an external server and / or terminal.
  • the communication unit 130 may include a Wi-Fi module, a Zigbee module, or the like for accessing a local area network.
  • the sound output unit 152 also outputs an acoustic signal related to a function (e.g., purchase of a door open product) performed in the refrigerator 100.
  • the audio output unit 152 may include a receiver, a speaker, a buzzer, and the like.
  • the sound output unit 152 may convert an electrical signal transmitted from the control unit 180 into an acoustic signal and output the sound signal through a speaker.
  • the controller 180 controls the overall operation of the refrigerator 100.
  • the control unit 180 may process or process signals, data, information, and the like input or output through the above-described components, or may drive an application program stored in the memory 150 to provide or process appropriate information or functions to the user.
  • controller 180 may control at least some of the components illustrated in FIG. 2 to drive an application program stored in the memory 170.
  • the controller 180 may operate at least two of the components included in the refrigerator 100 in combination with each other for driving the application program.
  • the controller 180 can control each connected component.
  • the control unit 100 may control the operation of the camera 161 to photograph the inside of the storage room 140.
  • the operation of the communication unit 130 can be controlled so as to transmit the image of the article obtained through the camera 161 to an external server or terminal so as to recognize the vision using the CNN deep learning technique or the like.
  • the control unit 180 controls to store the photographed article image and the article information obtained through the vision recognition of the article image in a memory to generate an article image history.
  • the control unit 180 controls the operation of the display 120 to display and display the confirmed article information based on the photographed article image and the article image history.
  • the voice recognition unit 181 may be provided in the control unit 180 or independently of the control unit 180.
  • the voice recognition unit 181 can analyze the voice received through the voice receiving unit such as a microphone through a natural language processing algorithm.
  • the speech recognition unit 181 can convert the analyzed speech information into a language that can be processed by a computer.
  • the refrigerator 100 can perform a speech recognition function for controlling the operation of the refrigerator.
  • the term "article” may include articles manufactured or traded by a person or a machine, products produced or hunted by the user, and the like. Such “goods” may be stored in separate containers and stored in a storage compartment.
  • FIG. 3 a method of managing a refrigerator article according to an embodiment of the present invention will be described in detail.
  • a step of registering user information including a face image in association with one or more shopping malls is performed (S10).
  • the user can perform the user registration mode using the screen information output on the display of the refrigerator according to the determined input.
  • the face image of the user to be registered can be directly photographed through the camera of the refrigerator or connected to an application (for example, a gallery application or an SNS application), and the face image can be retrieved and used.
  • an application for example, a gallery application or an SNS application
  • the user name corresponding to the face image may be inputted through the user input or may be automatically numbered.
  • the user input may include various types of information such as information input through a touch input to a display unit of the refrigerator, information recognized through a user's voice, and information transmitted through an external terminal.
  • the control unit of the refrigerator associates the inputted identification information with the information on the selected preferred shopping mall and registers it as the user information.
  • the registered user information is stored in the memory of the refrigerator.
  • execution of the user registration mode is omitted and may be performed from the following step S20.
  • recognition and registration of the user's face by the following step S20 can be performed simultaneously or sequentially.
  • control unit of the refrigerator can output a signal for driving the first camera when the door is opened through the door opening / closing detection sensor.
  • the control unit may detect the face area in the photographed image and perform matching with the face image included in the pre-registered user information.
  • the user information is retrieved to prepare for the creation or update of the article use history.
  • the face image corresponding to the detected face region is classified as a new user.
  • screen information for registering the classified new user may be output to the display of the refrigerator.
  • the inside of the refrigerator storage room is photographed through the second camera, and the image information of the photographed image is recognized to obtain the article information of the article to be shipped (S30).
  • the second camera can continuously photograph at a predetermined interval during closing after opening the refrigerator door, or perform moving picture photographing to grasp the optical flow of the article dispensed from the storage room of the refrigerator.
  • the first still image photographed through the second camera at the time when the opening of the refrigerator door is detected and the second still image photographed through the second camera at the time when the closing of the refrigerator door is detected To recognize the goods that have been shipped.
  • the article information of the goods to be delivered can be provided to an external server and can be confirmed through vision recognition at an external server.
  • the image history related to the stored article history is stored in the refrigerator, the previous image and the currently photographed image may be compared with each other, and the article information of the article produced as the comparison result may be detected from the image history.
  • the controller of the refrigerator associates the article information of the thus-obtained goods with the user's face recognized through the first camera, and stores the article information as the article use history (S40).
  • the controller of the refrigerator associates the article information of the thus-obtained goods with the user's face recognized through the first camera, and stores the article information as the article use history (S40).
  • a user's history of what goods are shipped is stored as a history of use of the goods.
  • information such as the name of the article to be shipped, the expiration date, the number of shipment, and the shipment time may be stored together with the article use history.
  • the article usage history may be updated to add the article information. For example, if the first user further pulls out the second article after the first user removes the first article from the refrigerator, the first user uses the first article and the second article to update the article usage history .
  • the article use history may be updated so that the use frequency of the article information is added. For example, when the first user has used the first article in the refrigerator and the first user has used the first article again, the history of use of the article is updated to indicate that the first article by the first user has been used twice.
  • the control unit of the refrigerator senses that a predetermined user input is received (S50).
  • the predetermined user input may include a predetermined touch input applied through a display of the refrigerator, a preset user motion sensed through a sensor, and a predetermined voice command.
  • a list of purchase recommendation items for each user generated based on the product use history is displayed on the display together with the connection information of the shopping mall (S60).
  • the list of recommendable articles to be purchased may be divided for each user on the basis of the history of use of the articles for all users, thereby providing a recommended article.
  • control unit of the refrigerator may recognize the user who has performed the predetermined user input, and may selectively provide a purchase recommendation item for the recognized user. To this end, it is possible to analyze the voice of the input user, or to analyze the face of the user photographed at the time of user input, so that only the history of use of the goods matching the registered user information can be called.
  • the control unit may further provide a shopping cart icon as connection information of the shopping mall when displaying a list of purchase recommendation items for each user.
  • the user can immediately place some of the displayed purchase recommendation items in the desired shopping mall shopping cart simply by touching the provided shopping cart icon. It should be noted that, even if the images of the shopping cart icon are the same, the shopping malls are connected to different shopping malls according to the shopping mall linked with the user registration.
  • the user's face and the article to be shipped can be photographed at the time of leaving the article in the refrigerator, and the history of the articles to be shipped can be managed for each user.
  • the user's history of using the product it is possible to recommend the purchased item and purchase it immediately using the desired shopping mall. As a result, the convenience of the user and the availability of the purchasing function are further improved.
  • the refrigerator according to the present invention includes a first camera for photographing the outside of the storage room and a second camera for photographing the inside of the storage room.
  • the controller of the refrigerator analyzes the face image photographed through the first camera and obtains matching user information.
  • the control unit recognizes the article image photographed through the second camera to acquire article information of the article to be shipped.
  • FIG. 4A shows a process of classifying a user based on a photographed image when a door of the refrigerator is opened.
  • an external photographing image for recognizing a user is input (402).
  • the control unit detects the face area in the external photographed image through a face detection algorithm such as the HOG algorithm (403).
  • the data for the face region detected using the model learned according to the artificial intelligence algorithm for example, the learned DNN model, is embedded into the high dimensional vector.
  • the embedded vector values are learned 405, for example, through an SVM algorithm to generate a face classifier. After the facial classifier is generated as described above, if door opening is detected, the user is classified using the generated facial classifier (404).
  • FIG. 4B illustrates a process of classifying a class of the article to be shipped based on the picked-up article image when the door of the refrigerator is opened.
  • an internal photographic image for recognizing an article dispatched from the storage room is input (412).
  • the controller generates a difference image between the image captured immediately after the door of the refrigerator is opened and the image imaged immediately after the door is closed, processes the image, and extracts feature points therefrom (step 413).
  • the extracted minutiae include all the characteristics of the DB data of the stored article.
  • a class classifier is created through machine learning based learning, e.g., using a Support Vector Machine (SVM) algorithm, an Adaboost algorithm, and / or a Deep Learning algorithm.
  • SVM Support Vector Machine
  • Adaboost algorithm Adaboost algorithm
  • Deep Learning algorithm e.g., a Deep Learning algorithm.
  • the class of the article is classified through vision recognition using the class classifier thus generated (414).
  • the time of shipment of the classified article and the detailed information of the article can be additionally stored.
  • 5A, 5B, and 5C illustrate specific exemplary processes of registering user information including a face image in association with a desired shopping mall.
  • the control unit performs network communication and displays first screen information for selecting a face image to be registered as user information.
  • FIG. 5A shows an example of the first screen information.
  • one or more icons for example, a mailbox icon and a cloud icon
  • a touch input is applied to a specific icon displayed, a desired face image can be selected and called by accessing a corresponding server through network communication.
  • FIG. 5B shows an example of the second screen information.
  • the second screen information 502 shown in FIG. 5B one or more shopping mall icons are displayed.
  • the selected face image is linked to the connection information of the shopping mall to which the touch input is applied using the first screen information 501, and is registered as the user information.
  • the third screen information 503 indicating that the registration of the user information is completed is displayed on the display of the refrigerator.
  • 6A, 6B, and 6C illustrate a method of recognizing a user using a camera provided inside a door.
  • the camera 161a for recognizing the user's face may be provided inside the refrigerator door as shown in FIG. 6A or 6B. Specifically, when the door is opened, it may be provided on at least one of the inner top (FIG. 6A) and the inner bottom (FIG. 6B). At this time, only when the refrigerator door is opened over a certain range, the user's face can be photographed with an image as shown in FIG. 6C.
  • the control part of the refrigerator transmits a photographing command for photographing the face image of the user to the camera 161a, 6a, 6b).
  • a hinge unit provided at one side of the door may be provided with a sensor for detecting the degree of rotation of the door.
  • the corresponding sensor can transmit the corresponding signal to the control unit to drive the camera.
  • the camera 161b for recognizing the user's face may be provided outside the refrigerator door, for example, on the front side of the door, as shown in FIG. 6D. At this time, even if the door is not opened, a face image as shown in Fig. 6E can be photographed. However, it is meaningful to shoot at least when the user is located in front of the door.
  • the control unit of the refrigerator can output a photographing command to the camera for photographing the face image of the user when the user is close to the refrigerator door and the door open signal is received.
  • the door open signal may refer to a signal transmitted through a touch sensor provided on a door handle or through the door opening / closing sensor described above.
  • the control unit of the refrigerator can output the identification information of the user recognized based on the face image obtained through the camera.
  • FIG. 7A when a user applies a knock-on touch to a display of a refrigerator, a user is photographed through a camera provided on the front of the door. Then, the face region is detected from the photographed image, and the user is recognized through the user classifier generated through learning. As a result, for example, a voice such as "Hello, oo-san" can be output with the identification information of the recognized user.
  • the present invention is not limited thereto, and the identification information of the user may be displayed through the display of the refrigerator, though it is not shown.
  • a graphic object for providing the recommended purchase item is output to the display. For example, as shown in FIG. 7B, a 'food recommendation and shopping cart' icon is output to the graphic object 702.
  • control unit detects the user's usage history recognized in FIG. 7A and displays a list of purchase recommendation articles based on the detected usage history of the articles.
  • FIG. 7C is an illustration of a screen 703 in which a list of recommended purchases for a recognized user is displayed.
  • the recognized user information 710, the goods item information 720 classified into the product name, and the shopping cart icon 730 can be output.
  • the shopping cart icon 730 includes connection information for connecting to the shopping mall linked to the recognized user information 710. [ When a touch is applied to any one of the displayed shopping cart icons 730, matching items are automatically stored in the shopping cart of the associated shopping mall. That is, the shopping basket adding function is executed for the recommended purchasing item.
  • a purchase button may be created in one area of the screen 703, for example, the bottom, if any one of the displayed shopping cart icons 730 is touched. The user can touch the shopping cart icon 730 matching the desired item and then click the purchase button, and the desired article can be immediately purchased through the desired shopping mall.
  • FIG. 8 is an exemplary flowchart illustrating a method of purchasing an article based on an article use history matching with user information in a refrigerator according to an embodiment of the present invention.
  • the control unit of the refrigerator senses that a preset input has been received (S801), and then photographs the outside of the refrigerator to recognize the user's face (S802). Next, the user information matching the recognized user's face, for example, the pre-registered photo image or user name, is output to the display of the refrigerator (S803).
  • each article in the list of recommended purchase articles may be sorted in order based on the frequency of use of the article in accordance with the history of use of the article by the user.
  • the list of purchase recommendation items may be sorted according to the purchase date (the order in which they were purchased) and the estimated purchase date estimated based on the purchase history.
  • FIG. 9A is an example of additional information provided in a list of recommended purchase articles per user
  • FIG. 9B is an example of notification information for inducing purchase of a specific article when the user is close to the user.
  • At least a part of the food information, the expiration date information, and the shipment time information of the shipment article obtained through the vision recognition is included in the list of recommended articles to be output based on the article use history detected based on the recognized user information .
  • the displayed screen 901 displays the recognized user information 910, the article name 920 of the recommended purchase article, and additional information about each article, for example, food information 931, the expiration date information 932, and the usage time information 933 may be further displayed.
  • the food information 931 may include information on the image of food 1, article name, calorie, and the like.
  • the shelf life information 932 may include shelf life information of the food 1 obtained through vision recognition or shelf life information based on the time when the food 1 is first stored in the refrigerator.
  • the usage time information 933 may include the number of times the food 1 is shipped and the time information.
  • a screen 902 displayed on the display shows how much the shelf life A reminder to induce the purchase of the remaining item, for example, food 2, may be output along with the user information 910. [ Thereby, the user does not miss the goods that need to be purchased, and the purchasing power of the user can be improved.
  • the present invention by confirming the user's use history of the user at the time when the user is close to the refrigerator and outputting useful information such as notification information or sale information for inducing the purchase of the article requiring purchase, And the purchasing power of the user can be improved.
  • FIGS. 10A and 10B are an example of how to add another user to the list of displayed purchase recommendation items.
  • the control unit of the refrigerator displays a list 1001 of purchase recommendation items for the first user 1011 on the display.
  • another user's favorite item can be added to the list based on the touch input applied to the display, for example, the touch input applied to the area where the user information is output.
  • the displayed list 1001 displays the purchase recommendation item (s) for the second user 1012 1010) may be added. This allows one person to order other people's preferred items together.
  • FIG. 11 is a diagram for explaining how the history of use of goods generated in the refrigerator is transmitted to an external terminal, and is connected to a shopping mall server through an external terminal.
  • the refrigerator 100 provides a history of use of goods to the external terminal 220 through network communication.
  • the provided product use history may be limited to the use history of the goods matching with the user of the external terminal 220.
  • the external terminal 220 When the external terminal 220 receives the use history of the goods from the refrigerator 100, the external terminal 220 can automatically connect to the online shopping mall that is linked in advance. After the automatic connection, the purchase page can be displayed on the screen of the external terminal 220, rather than the first page of the shopping mall screen. In addition, a recommended purchase item may be stored in the shopping cart based on the use history of the product received from the refrigerator 100 on the displayed purchase page. That is, the shopping basket addition function for the recommended purchase item may be automatically executed. The user can quickly purchase a favorite item based on the refrigerator shipped article remotely via the terminal 220. [
  • the user's face and the article to be dispatched can be photographed, respectively, and the history of the article can be more accurately managed for each user.
  • the preferred shopping mall is linked in advance, so that it is possible to recommend and immediately purchase the purchased item on the basis of the history of use of each user. As a result, the usability of management and purchasing of preferred goods is further improved for each user.
  • the article requiring the purchase is not missed and the purchasing power of the user can be improved .
  • the present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded.
  • the computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, , And may also be implemented in the form of a carrier wave (e.g., transmission over the Internet).
  • the computer may include a control unit 250. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

본 발명에 따른 냉장고의 물품 관리 방법은, 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계; 냉장고 도어의 개방 후, 제1카메라를 통해 냉장고 외부를 촬영하여 사용자 얼굴을 인식하는 단계; 냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출고되는 물품의 물품 정보를 획득하는 단계; 획득된 출고 물품의 물품정보를 상기 인식된 사용자 얼굴과 연계시켜서, 물품 사용 이력으로 저장하는 단계; 및 기설정된 사용자 입력이 수신되면, 물품 사용 이력에 근거하여 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 정보와 함께 디스플레이하는 단계를 포함하여 이루어진다.

Description

냉장고 및 냉장고의 물품 관리 방법
본 발명은 냉장고 및 냉장고의 물품 관리 방법에 관한 것이다.
냉장고는 압축기, 응축기, 팽창밸브, 증발기 등으로 이루어지는 냉동 사이클에 의해 생성된 냉기를 토출하여 고내의 온도를 저하시켜 음식물 등을 냉동시키거나 냉장 보관하는 장치이다.
이처럼 냉장고의 도어가 불투명하게 제작되는 경우, 사용자는 냉장고의 도어를 열지 않고서는 고내에 저장된 음식물을 확인할 수 없다는 문제점이 있다.
이러한 문제점을 해결하기 위해, 정해진 입력이 있는 경우 도어의 일부를 투명하게 전환시켜서 고내에 저장된 음식물 등을 확인할 수 있도록 구현한 예가 있다. 그러나, 이러한 방법은 뒤쪽에 보관된 음식물을 확인하기가 어렵다는 문제가 있다.
또, RFID 태그 등을 통해 보관된 음식물을 확인하기 위해서는 보관된 음식물마다 RFID 태그를 부착해야하는 불편이 있다.
한편, 이와 같이 냉장고에 보관된 음식물이 확인된 후에도, 확인된 음식물에 대한 사용자 선호도를 관리하기 위하여, 사용자가 일일이 선호도 음식물 명칭을 입력하거나 또는 정해진 기준(예, 어른, 아이 등)에 따라 일괄적으로 선호도를 분류해 왔다.
그에 따라, 냉장고내 보관된 음식물의 이력이 효율적으로 관리되지 못하여 사용성이 저하되는 문제가 있었다.
이에, 본 발명의 일 목적은, 냉장고에서 출고되는 물품을 기초로 보다 정확하게 사용자 선호도를 관리하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은, 냉장고에서 물품 출고시에 사용자를 함께 인식하여, 사용자별로 사용 이력을 관리하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은, 사용자별 사용 이력에 기초하여 온라인 구매 물품을 즉시 추천하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은, 냉장고에 근접한 사용자의 사용 이력을 확인하여 특정 물품의 구매를 추천하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
본 발명의 일 실시 예에 따른 냉장고는, 물품을 저장하는 저장실; 상기 저장실의 외부와 내부를 각각 촬영하는 카메라; 얼굴 이미지를 포함한 사용자 정보와 하나 이상의 쇼핑몰이 연계되어 저장되는 메모리; 냉장고 도어가 개폐되는 동안, 상기 카메라를 통해 촬영된 얼굴 이미지에 매칭되는 사용자 정보와 상기 카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 제어부; 및 상기 제어부와 전기적으로 연결된 디스플레이를 포함하며, 상기 제어부는, 상기 냉장고 도어의 개폐를 감지하고, 상기 획득된 출고 물품의 물품정보를 매칭되는 사용자 정보와 연계시켜서 물품 사용 이력으로 저장하고, 기설정된 사용자 입력이 수신된 것에 응답하여, 상기 물품 사용 이력에 근거한 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 연결정보와 함께 상기 디스플레이에 디스플레이하도록 제어할 수 있다.
또한, 일 실시 예에서, 상기 카메라는, 상기 저장실의 외부를 촬영하는 제1카메라와 상기 저장실의 내부를 촬영하는 제2카메라를 포함하고, 상기 제어부는, 상기 제1카메라를 통해 촬영된 얼굴 이미지를 분석하여 매칭되는 사용자 정보를 획득하고, 상기 제2카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 냉장고 도어의 개방이 감지되면, 상기 제1카메라를 통해 얼굴 이미지를 촬영하여 얼굴영역을 검출하고, 상기 검출된 얼굴영역의 데이터를 인공지능 알고리즘에 따라 학습된 모델에 근거하여 분석하여 사용자를 분류하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 냉장고 도어의 개방이 감지되면, 상기 제2카메라를 통해 촬영된 물품 영상에서 특징점을 추출하고, 상기 추출된 특징점을 기반으로 비전인식하여 출고 물품의 클래스를 분류하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 제1입력이 수신되면, 사용자 정보 등록 모드에 진입을 감지하고 네트워크 통신을 통해 사용자 정보로 등록할 얼굴 이미지의 선택하기 위한 제1화면정보를 디스플레이하고, 상기 제1화면정보를 이용하여 등록할 얼굴 이미지를 선택하는 제2입력이 수신되면, 선택된 얼굴 이미지와 연계시킬 쇼핑몰을 선택하기 위한 제2화면정보를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제1카메라는 냉장고 도어의 내측에 위치하며, 상기 제어부는, 상기 냉장고 도어가 개방된 후 상기 도어의 일측에 구비된 힌지부가 일정범위 이상 회전한 것이 감지된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제1카메라는 냉장고 도어의 외측에 위치하며, 상기 제어부는, 냉장고 도어에 사용자가 근접한 것이 감지되고 도어 개방 신호가 수신된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 디스플레이에 터치입력이 가해지면, 상기 제1카메라를 통해 획득된 얼굴 이미지에 기초하여 인식된 사용자의 식별 정보를 출력하고, 상기 식별 정보의 출력에 응답하여, 구매 추천 물품을 제공하기 위한 그래픽객체를 상기 디스플레이에 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 그래픽객체에 가해진 터치입력에 응답하여, 상기 인식된 사용자의 물품 사용 이력에 대응되는 구매 추천 물품의 리스트를 디스플레이하고, 상기 리스트내의 각 물품에 대한 장바구니담기 아이콘을 상기 연계된 쇼핑몰의 연결정보로 디스플레이하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 장바구니담기 아이콘에 터치입력이 가해지면, 해당 구매 추천 물품에 대한 장바구니 담기 기능이 실행되고, 해당 구매 추천 물품에 대한 결제를 수행하기 위한 구매 아이콘이 상기 디스플레이에 출력되는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 구매 추천 물품의 리스트의 각 물품은, 해당 사용자의 물품 사용 이력에 따른 물품 사용 빈도수에 기초하여 순서대로 정렬되는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 구매 추천 물품의 리스트에는 상기 비전 인식을 통해 획득된 출고 물품의 식품정보, 유통기한 정보, 및 출고시간정보 중 적어도 일부가 포함되는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 냉장고는, 사용자의 근접을 감지하는 센서를 더 포함하고, 상기 제어부는, 사용자의 근접이 감지된 것에 응답하여, 상기 카메라를 통해 사용자의 얼굴 이미지를 촬영하고, 촬영된 얼굴 이미지에 매칭되는 사용자의 물품 사용 이력에 근거하여 물품의 구매를 유도하는 알림정보를 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 제1사용자의 구매 추천 물품의 리스트가 디스플레이되는 동안, 상기 디스플레이에 가해진 터치입력에 기초하여 선택된 제2사용자의 구매 추천 물품을 상기 리스트에 추가하여 제공하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
또, 본 발명의 실시 예에 따른 냉장고의 물품 관리 방법에 의하면, 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계; 냉장고 도어의 개방 후, 제1카메라를 통해 냉장고 외부를 촬영하여 사용자 얼굴을 인식하는 단계; 냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출입고되는 물품의 물품 정보를 획득하는 단계; 상기 획득된 출고 물품의 물품정보를 상기 인식된 사용자 얼굴과 연계시켜서, 물품 사용 이력으로 저장하는 단계; 및 기설정된 사용자 입력이 수신되면, 상기 물품 사용 이력에 근거하여 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 정보와 함께 디스플레이하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 냉장고에서 물품의 출고시 사용자의 얼굴과 출고 물품을 각각 촬영하여 출고 물품의 이력을 사용자별로 보다 정확하게 관리할 수 있다. 또한, 사용자 얼굴에 매칭되는 사용자 정보의 등록시, 선호하는 쇼핑몰을 미리 연계시킴으로써, 사용자별 물품 사용 이력에 기초하여 구매 물품 추천 및 즉시 구매가 가능해진다. 그에 따라, 사용자별로 선호 물품의 관리 및 구매의 사용성이 더욱 향상된다. 나아가, 냉장고에 근접한 사용자가 인식되면, 인식된 사용자의 사용 이력을 확인하여 구매가 필요한 물품의 구매를 유도하는 알림 정보를 출력함으로써, 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 냉장고가 단말기, 서버, 및 쇼핑몰 서버 등의 외부 디바이스와 통신하는 것을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시 예에 따른 냉장고의 구성을 설명하기 위한 예시 블록도이다.
도 3은 본 발명의 실시 예에 따른 냉장고 물품 관리 방법을 설명하기 위한 대표 흐름도이다.
도 4a 및 도 4b는 본 발명의 실시 예에 따른 냉장고의 도어 개방 감지시, 촬영된 영상에 기초하여 사용자와 출고 물품의 클래스를 분류하는 과정을 각각 설명하기 위한 도면들이다.
도 5a, 도 5b, 도 5c는 본 발명의 실시 예에 따른 냉장고에서, 얼굴 이미지를 포함한 사용자 정보를 원하는 쇼핑몰과 연계하여 등록하는 과정을 설명하기 위한 개념도들이다.
도 6a, 도 6b, 도 6c는 본 발명의 실시 예에 따른 냉장고에서, 도어의 내측에 구비된 카메라를 이용하여 사용자를 인식하는 것을 설명하기 위한 개념도들이다.
도 6d 및 도 6e는 본 발명의 실시 예에 따른 냉장고에서, 도어의 외측에 구비된 카메라를 이용하여 사용자를 인식하는 것을 설명하기 위한 개념도들이다.
도 7a, 도 7b, 도 7c는 본 발명의 실시 예에 따른 냉장고에서, 인식된 사용자의 물품 사용 이력에 근거하여 구매 추천 물품의 리스트를 제공하는 구체적인 예시를 설명하기 위한 개념도들이다.
도 8은 본 발명의 실시 예에 따른 냉장고에서 사용자 정보에 매칭되는 물품 사용 이력에 근거하여 물품을 구매하는 방법을 설명하기 위한 예시 흐름도이다.
도 9a는 본 발명의 실시 예에 따른 냉장고에서, 사용자별 추천 구매 물품 리스트에 추가 정보가 제공되는 예시이고, 도 9b는 사용자 근접시 특정 물품의 구매를 유도하는 알림 정보가 제공되는 예시이다.
도 10a 및 도 10b는 본 발명의 실시 예에 따른 냉장고에서, 디스플레이된 구매 추천 물품의 리스트에 다른 사용자를 추가하는 것을 설명하기 위한 도면들이다.
도 11은 본 발명의 실시 예에 따른 냉장고에서 생성된 물품 사용 이력을 외부 단말에 전달하여, 외부 단말을 통해 쇼핑몰 서버에 접속하는 것을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 냉장고가 단말기, 서버, 및 쇼핑몰 서버 등의 외부 디바이스와 통신하는 것을 설명하기 위한 개략도이다.
도 1을 참조하면, 본 발명에 따른 냉장고(100)는 네트워크 등을 통해 외부의 단말기(210), 쇼핑몰 서버(220), 및/또는 다른 서버(230)와 통신할 수 있다. 본 발명에 따른 냉장고 본체의 도어(102)의 적어도 일측 또는 양측에는 정보가 출력되는 디스플레이(120)가 구비될 수 있다.
상기 쇼핑몰 서버(220)는 냉장고(100)와 직접 통신할 수도 있고, 단말기(210)를 통해 우회하여 냉장고(100)와 통신할 수도 있다.
또, 상기 서버(2300)는 냉장고(100)에서 획득한 영상에 대한 비전 인식을 수행하는 인공지능 서버일 수 있다.
상기 디스플레이(120)는 터치 패드가 내장되어, 사용자의 터치입력을 수신할 수 있다. 냉장고(100) 내에 구비되고, 디스플레이(120)와 전기적으로 연결된 프로세서는, 디스플레이(120)를 통해 수신된 터치입력에 대응되는 제어명령을 출력할 수 있다. 그러면, 디스플레이(120)는 프로세서를 통해 전달된 제어명령에 대응되는 정보를 디스플레이한다.
냉장고 본체의 내부에는 음식물 등을 저장할 수 있는 저장실(101)이 구비된다. 저장실(101)은, 냉동실과 냉장실로 구분될 수 있으며, 각각 복수의 저장칸을 포함할 수 있다. 또, 복수의 저장칸 각각은 베리어 등에 의해 서로 독립적인 공간을 형성하도록 구획될 수 있다.
저장실(101)의 내부에는 저장실 내부를 촬영하기 위한 카메라(161)가 하나 이상 구비될 수 있다.
카메라(161)는, 도 1에 도시된 바와 같이 도어 양측이 만나는 제1지점에 구비되어, 냉장고에 접근한 사용자 등을 촬영할 수 있다. 또, 카메라(161)는, 도 1에 도시된 바와 같이 냉장고 내의 복수의 저장칸에 하나 이상 구비될 수 있다. 이때, 플래쉬 등이 카메라와 인접한 위치에 추가 배치될 수 있다. 플래쉬는, 예를 들어, 카메라(161)가 고내에 출입고되는 물품 또는 보관된 물품을 촬영하는 경우, 저장실 내부에 빛을 제공한다.
상기 디스플레이(120)에는 카메라(161)를 통해 촬영된 저장실 내부의 물품 영상이 디스플레이될 수 있다.
또, 냉장고의 프로세서(미도시)는, 상기 촬영된 물품 영상 또는 디스플레이된 물품 영상을, 통신모듈(미도시)을 통해 외부의 단말기(210), 쇼핑몰 서버(220), 및/또는 서버(230) 중 어느 하나로 전달할 수 있다.
이때, 냉장고와 통신하는 서버(230) 또는 단말기(210)는 인공지능모듈을 이용하여 물품 영상에 대한 비전 인식을 수행할 수 있다. 인공지능모듈은, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝(deep learning) 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
특히, 비전인식을 위한 딥러닝 기술의 하나로, CNN(Convolutional Neural Network, 합성곱신경망)기술이 있다. 이는, 딥러닝 기반의 다양한 이미지 이해 기술들을 적용하며 이미지를 분류, 검색, 객체 감지하고, 여기서 더 나아가 이미지를 분석한 정보(또는, 기능)와 연결시키는 기술이다.
예를 들어, CNN 기술을 이용한 활용 기능으로, 카메라로 촬영된 영상에 포함된 텍스트를 분석하여 번역기능을 제공하거나, 카메라로 촬영된 영상에 포함된 물품을 온라인 구매할 수 있도록 쇼핑기능을 제공하는 예가 있다. 또, 카메라를 통해 연락처를 비추면, 전화 연결 기능을 수행하거나, 사용자를 촬영하면 개인에 맞춘 스타일링 제공기능을 수행하는 것이 그 예이다. 나아가, 얼굴 인식 API 등을 통해 영상에 포함된 얼굴 이미지를 3D 모델도 변환하여 다양한 각도의 얼굴을 가상으로 생성하는 기능을 수행할 수도 있다.
한편, 인공지능모듈은 특정 동작이 수행되면, 상기 머신 러닝 기술을 통하여, 특정 동작의 수행을 나타내는 이력 정보를 분석하고, 이러한 분석 정보를 바탕으로 기존의 학습된 정보에 대한 업데이트를 수행할 수 있다. 그에 따라 인공지능모듈은 정보 예측의 정확도를 향상시킬 수 있다.
본 명세서에서, 인공지능모듈은, 외부 서버(230)나 외부 단말기(210)(또는, 냉장고(100))의 프로세서 또는 제어부와 동일한 구성요소로 이해될 수 있다.
다른 예에서는 냉장고 내에 인공지능모듈(미도시)이 독립적으로 구비될 수도 있다. 이러한 경우, 도 1처럼 촬영된 물품 영상을 외부의 서버(230) 또는 단말기(210)로 전송할 필요없이 고내 자체에서 비전인식을 수행할 수 있을 것이다.
이하, 도 2는 본 발명의 실시 예에 따른 냉장고의 구성을 설명하기 위한 예시 블록도이다.
도 2를 참조하면, 상기 냉장고(100)는 제어부(이하, '프로세서'와 혼용될 수 있음을 밝혀둔다)(180)를 포함할 수 있고, 제어부와 전기적으로 연결된 센싱부(160), 디스플레이부(120), 통신부(130), 메모리(150), 전원부(110), 음향 출력부(170)를 포함할 수 있다. 또, 전술한 바와 같이, 고내에 물품을 보관할 수 있도록 형성된 저장실(140)을 포함할 수 있다.
한편, 도 2에 도시된 구성요소들은 냉장고(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 냉장고(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중, 전원부(110)는 제어부의 제어 하에, 외부로부터 전원을 인가 받아 냉장고(100)에 포함된 각 구성요소들에 전원을 공급할 수 있다.
한편, 비록 도시되지는 않았지만, 냉장고의 전면에 구비된 도어(door)는, 냉장고(100) 내부에 구비된 저장실(140)을 선택적으로 개폐할 수 있도록 형성되며, 복수 개로 형성될 수 있다.
도어(door)는 적어도 하나의 센서가 구비되어 사용자의 입력을 감지할 수 있도록 형성될 수 있다. 일 예로, 도어는 터치 센서와 상호 레이어 구조를 형성하여 도어에 대해 인가되는 사용자의 터치 입력을 감지할 수 있다. 또는, 음향 센서를 구비하여 도어를 두드리는 사용자의 노크 입력을 감지할 수 있다.
또, 비록 되지는 않았지만, 저장실(140) 내부에는 적어도 하나의 조명을 포함할 수 있다. 상기 조명은, 저장실의 복수의 저장칸 각각의 영역에 구비될 수 있으며, 도어의 오픈 여부에 따라 발광하도록 형성될 수 있다.
저장실(140)는, 음식물이 보관되는 저장실 및 상기 저장실 내부에 기 설정된 냉동 사이클에 따른 냉기를 토출할 수 있도록 형성되는 압축기, 응축기, 팽창밸브, 증발기 등을 포함할 수 있다. 상기 저장실(140)은 상기 토출되는 냉기로 냉장고(100) 내의 온도를 저하시켜 저장실 내에 저장된 음식물 등을 냉동시키거나 냉장 보관할 수 있다.
디스플레이부(120)는 사용자 입력을 수신할 수 있고, 사용자 입력에 대응되는 정보, 예를 들어 물품 영상을 디스플레이할 수 있다. 디스플레이부(120)는 물품 영상을 표시하기 위한 디스플레이 패널(미도시)를 포함할 수 있다. 이러한 디스플레이 패널은, 음극선관(CRT, Cathode Ray Tube) 디스플레이 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다.
또, 디스플레이부(120)는 사용자의 터치입력을 수신하고, 수신된 터치입력에 대응되는 전기적 신호를 생성하여 디스플레이부의 컨트롤러에 제공할 수 있다. 디스플레이부(120)는 사용자 편의를 위해 도 1에 도시된 바와 같이 도어의 일측 또는 양측에 설치될 수 있다.
한편 센싱부(160)는 냉장고(100) 내 정보, 냉장고(100)를 둘러싼 주변 환경을 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 냉장고(100) 저장실(140) 온도, 습도 등의 상태를 감지하는 환경 센서나, 냉장고 주변에 위치한 사용자를 감지할 수 있는 인체 감지 센서 등을 구비할 수 있다.
또, 센싱부(160)는 도어의 열림 및 닫힘을 감지하기 위한 도어 개폐 감지 센서(162), 저장실 내부를 촬영하기 위한 카메라(161)를 포함할 수 있다.
또한, 본 발명에서는 제1카메라(161a)와 제2카메라(161b)를 구비할 수 있다. 여기서, 상기 제1카메라(161a)는 저장실(140)의 외부 이미지를 촬영하기 위한 카메라로 구동할 수 있다. 또, 상기 제2카메라(161b)는 저장실(140)의 내부 이미지, 즉 보관 물품 영상을 촬영하기 위한 카메라로 구동할 수 있다.
제1카메라(161a)와 제2카메라(161b)는 냉장고의 내측에 구비될 수 있다. 또는, 제1카메라(161a)와 제2카메라(161b) 중에서 어느 하나는 도어의 내측에 구비되고 다른 하나는 도어의 외측에 구비될 수도 있다.
또한, 제1카메라(161a)와 제2카메라(161b)의 구동 시점은 서로 다를 수 있으며, 이는 제어부(180)에서 전달된 구동명령에 따라 각각 동작할 수 있다.
또한, 비록 도시되지는 않았지만, 저장실(140)의 외부 이미지 또는 보관 물품 영상을 촬영하기 위한 하나 이상의 제3카메라가 더 마련될 수도 있다.
또한 센싱부(160)는, 상기 냉장고(100)의 다양한 기능과 관련된 센서로서, 자동 도어 기능과 관련된 센서를 포함할 수 있다. 예를 들어, 센싱부(160)는 냉장고(100)에 근접한 사용자를 감지할 수 있는 근접 센서를 더 포함할 수 있다. 이 경우, 상기 근접 센서는 근접한 사용자의 신체를 감지하도록 형성될 수 있다. 그리고 제어부는 상기 근접 센서에 의한 감지 결과에 따라 냉장고(100)의 도어 중 적어도 하나가 개방되도록 제어할 수 있다(자동 도어 기능).
또한, 메모리(150)는 냉장고(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 냉장고(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 냉장고(1)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 냉장고(1)의 기본적인 기능(예를 들어, 각 저장 영역 별 온도 관리 기능)을 위하여 출고 당시부터 냉장고(100)상에 존재할 수 있다.
또, 메모리(150)에는 본 발명에 따른 물품 영상 히스토리와 관련된 정보가 저장된다. 또, 물품 영상 히스토리에 기록된 하나 이상의 물품 영상이 메모리(150)에 함께 저장된다.
통신부(130)는 냉장고의 프로세서가 외부의 서버 및/또는 단말기와 무선통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(130)는 근거리 통신 네트워크에 접속하기 위한 와이파이 모듈, 지그비(Zigbee) 모듈 등을 포함할 수 있다.
음향출력부(152)는 냉장고(100)에서 수행되는 기능(예를 들어, 문열림 물품 구매 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다. 예를 들어, 음향출력부(152)는 제어부(180)로부터 전달된 전기적 신호를 음향신호로 변환하여 스피커(speaker)를 통해 출력할 수 있다.
제어부(180)는 냉장고(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(150)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 2와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 냉장고(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
또한, 제어부(180)는 연결된 각 구성요소들을 제어할 수 있다. 특히, 제어부(100)는 저장실(140) 내부를 촬영하도록 카메라(161)의 동작을 제어할 수 있다. 또, 카메라(161)를 통해 획득된 물품 영상을 CNN 딥러닝 기술 등을 이용하여 비전인식하도록, 외부의 서버 또는 단말로 전송하도록 통신부(130)의 동작을 제어할 수 있다. 또, 제어부(180)는 촬영된 물품 영상과 그 물품 영상의 비전인식을 통해 획득된 물품 정보를 메모리에 저장하여 물품 영상 히스토리를 생성하도록 제어한다. 또, 제어부(180)는 촬영된 물품 영상 및 물품 영상 히스토리에 근거하여 확인된 물품 정보를 연계시켜 디스플레이하도록 디스플레이(120)의 동작을 제어한다.
또한, 제어부(180) 내에 또는 제어부(180)와 독립적으로 음성인식부(181)가 구비될 수 있다. 음성인식부(181)는 마이크 등의 음성 수신부를 통해 수신된 음성을 자연어 처리 알고리즘을 통해 분석할 수 있다.
그리고, 음성인식부(181)는 분석된 음성 정보를 컴퓨터에서 처리 가능한 언어로 변환할 수 있다. 이와 같이 음성인식부(181)가 구비된 경우, 본 발명에 따른 냉장고(100)는 냉장고의 동작을 제어하는 음성 인식 기능을 수행할 수 있다.
한편, 본 명세서에서 사용되는 "물품"이라는 용어는 사람 또는 기계에 의해 제조되어 거래되는 공산품, 사용자가 생산 또는 수렵한 생산품 등을 모두 포함할 수 있다. 이러한 "물품"은 별도의 보관통에 보관되어 고내에 보관될 수 있다.
이하, 도 3을 참조하여, 본 발명의 실시 예에 따른 냉장고 물품 관리 방법에 관하여 보다 구체적으로 살펴보겠다.
도 3을 참조하면, 먼저 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계가 수행된다(S10).
구체적으로, 사용자는 정해진 입력에 따라, 냉장고의 디스플레이에 출력된 화면정보를 이용하여 사용자 등록 모드를 수행할 수 있다. 사용자 등록 모드에서는, 등록할 사용자의 얼굴 이미지를 냉장고의 카메라를 통해 직접 촬영하거나 또는 연동된 애플리케이션(예, 갤러리 애플리케이션, SNS 애플리케이션)에 접속하여 얼굴 이미지를 불러오기하여 사용할 수 있다.
이때, 얼굴 이미지에 대응되는 사용자 이름이 사용자 입력을 통해 입력되거나 또는 자동으로 넘버링될 수 있다. 여기에서, 상기 사용자 입력은 냉장고의 디스플레이부에 대한 터치입력을 통해 입력된 정보나, 사용자 음성을 통해 인식된 정보, 외부 단말기를 통해 전송된 정보 등 다양한 형태를 모두 포함할 수 있다.
이와 같이 얼굴 이미지를 포함한 식별 정보가 입력되면, 추가 단계로 하나 이상의 선호 쇼핑몰이 선택된다. 그러면, 냉장고의 제어부는, 입력된 식별 정보와 선택된 선호 쇼핑몰에 관한 정보를 연계하여 사용자 정보로 등록한다. 등록된 사용자 정보는 냉장고의 메모리에 저장된다.
한편, 일 실시 예에서는, 사용자 등록 모드의 수행이 생략되고 이하의 단계 S20부터 수행될 수도 있다. 이러한 경우, 이하의 단계 S20에 의한 사용자 얼굴의 인식과 등록이 동시에 또는 순차적으로 이루어질 수 있다.
이 후 냉장고 도어의 개방에 따라, 제1카메라를 통해 냉장고의 외부를 촬영하여 사용자 얼굴을 인식하는 과정이 수행될 수 있다(S20).
이를 위해, 냉장고의 제어부는, 도어 개폐 감지 센서를 통해 도어의 개방이 감지되면, 제1카메라를 구동하는 신호를 출력할 수 있다. 그리고, 상기 제어부는, 촬영된 영상에서 얼굴 영역을 검출하여, 기등록된 사용자 정보에 포함된 얼굴 이미지와 매칭을 수행할 수 있다.
매칭 결과, 기등록된 사용자 정보의 얼굴 이미지와 동일한 것으로 파악되면, 사용자 정보를 불러와서 물품 사용 이력을 생성 또는 업데이트할 준비를 수행한다.
매칭 결과, 기등록된 사용자 정보의 얼굴 이미지와 동일한 것이 없는 것으로 판단되면, 검출된 얼굴 영역에 대응되는 얼굴 이미지를 새로운 사용자로 분류한다. 그리고, 이하에 설명되는 출고 물품의 물품 정보가 획득 이후, 분류된 새로운 사용자를 등록하기 위한 화면정보를 냉장고의 디스플레이에 출력할 수 있을 것이다.
한편, 이와 함께 냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출고 물품의 물품 정보를 획득한다(S30).
이를 위해, 제2카메라는 냉장고 도어의 개방 후 폐쇄 동안, 정해진 간격으로 연속 촬영을 수행하거나 또는 동영상 촬영을 수행하여, 냉장고의 저장실로부터 출고되는 물품의 광학 흐름을 파악할 수 있다.
다른 예에서는, 냉장고 도어의 개방이 감지된 시점에 제2카메라를 통해 촬영된 제1스틸이미지와, 냉장고 도어의 개방 후 폐쇄가 감지된 시점에 제2카메라를 통해 촬영된 제2스틸이미지를 비교하여 출고된 물품을 인식할 수도 있다.
출고 물품의 물품정보는 외부 서버에 촬영된 영상을 제공하고, 외부 서버에서의 비전인식을 통해 확인할 수 있다. 또는, 냉장고에 보관 물품 이력과 관련된 영상 히스토리가 저장된 경우라면, 이전 영상과 현재 촬영된 영상을 비교하고, 비교 결과 출고된 물품의 물품 정보를 영상 히스토리로부터 검출할 수도 있다.
다음, 냉장고의 제어부는, 이와 같이 획득된 출고 물품의 물품정보를 제1카메라를 통해 인식된 사용자 얼굴과 연계시켜, 물품 사용 이력으로 저장한다(S40). 다시 말해, 어떤 사용자가 어떤 물품을 출고했는지가 물품 사용 이력으로 저장된다.
상기 물품 사용 이력에는, 사용자 정보 외에, 출고 물품의 명칭, 유통기한, 출고 횟수, 출고 시간 등의 정보가 함께 저장될 수 있다.
동일 사용자에 의해 출고되는 물품이 추가로 인식된 경우, 해당 물품 정보를 추가하도록 물품 사용 이력이 업데이트될 수 있다. 예를 들어, 제1사용자가 제1물품을 냉장고에서 꺼낸 후에, 제1사용자가 제2물품을 추가로 꺼낸 경우, 제1사용자가 제1물품과 제2물품을 사용한 것으로 물품 사용 이력이 업데이트된다.
동일 사용자에 의해 동일한 물품이 반복하여 출고된 것으로 인식된 경우, 해당 물품 정보의 사용 횟수가 추가되도록 물품 사용 이력이 업데이트될 수 있다. 예를 들어, 제1사용자가 제1물품을 냉장고에서 사용한 후, 제1사용자가 제1물품을 또 사용한 경우, 제1사용자에 의한 제1물품을 2회 사용한 것으로 물품 사용 이력이 업데이트된다.
이와 같이 물품 사용 이력이 저장된 이후, 냉장고의 제어부를 기설정된 사용자 입력이 수신되는 것을 감지한다(S50). 여기에서, 상기 기설정된 사용자 입력은 냉장고의 디스플레이를 통해 가해지는 정해진 터치입력이나, 센서를 통해 감지되는 기설정된 사용자 모션 외에, 기설정된 음성명령 등을 포함한다.
이와 같이 기설정된 사용자 입력이 있으면, 물품 사용 이력에 근거하여 생성된 사용자별 구매 추천 물품의 리스트가 연계된 쇼핑몰의 연결정보와 함께 디스플레이에 디스플레이된다(S60).
이때, 구매 추천 물품의 리스트는, 모든 사용자에 대한 물품 사용 이력을 기초로 사용자별로 구분하여 추천 물품을 제공할 수 있다.
또, 다른 예에서는, 냉장고의 제어부가 상기 기설정된 사용자 입력을 수행한 사용자를 인식하고, 인식된 사용자에 대한 구매 추천 물품을 선택적으로 제공할 수도 있다. 이를 위해, 입력된 사용자의 음성을 분석하거나 또는 사용자 입력시 촬영된 사용자의 얼굴을 분석하여, 등록된 사용자 정보에 매칭되는 물품 사용 이력만 호출할 수 있을 것이다.
제어부는, 사용자별 구매 추천 물품의 리스트의 디스플레이시, 쇼핑몰의 연결정보로, 장바구니 아이콘을 추가 제공할 수 있다. 사용자는, 단지 제공된 장바구니 아이콘을 터치하기만 하면, 디스플레이된 구매 추천 물품 중 일부를 원하는 쇼핑몰 장바구니에 즉시 담을 수 있다. 이때, 주의할 점은 장바구니 담기 아이콘의 이미지가 동일하더라도, 사용자 등록시 연계시킨 쇼핑몰에 따라 서로 다른 쇼핑몰로 접속된다는 점이다.
이와 같이, 본 발명에서는 냉장고에서 물품의 출고시 사용자의 얼굴과 출고 물품을 각각 촬영하여 출고되는 물품의 이력을 사용자별로 관리할 수 있다. 또, 사용자별 물품 사용 이력에 기초하여, 구매 물품 추천 및 원하는 쇼핑몰을 이용한 즉시 구매가 가능하다. 그에 따라, 사용자의 편의와 구매 기능 활용성이 더욱 향상된다.
이하에서는, 도 4a 및 도 4b를 참조하여, 냉장고의 도어 개방 감지시 촬영된 영상에 기초하여 사용자와 출고 물품의 클래스를 각각 분류하는 과정을 구체적으로 설명하겠다.
본 발명에 따른 냉장고는, 저장실의 외부를 촬영하는 제1카메라와 저장실의 내부를 촬영하는 제2카메라를 포함한다. 냉장고의 제어부는, 제1카메라를 통해 촬영된 얼굴 이미지를 분석하여 매칭되는 사용자 정보를 획득한다. 또, 제어부는, 제2카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득한다.
도 4a는 냉장고의 도어 개방 감지시 촬영된 영상에 기초하여 사용자를 분류하는 과정을 보인 것이다.
먼저, 센서를 통해 냉장고의 도어 개방이 감지되면(401), 사용자를 인식하기 위한 외부 촬영 영상이 입력된다(402). 제어부는, HOG 알고리즘 등의 얼굴 검출 알고리즘을 통해, 외부 촬영 영상에서 얼굴 영역을 검출한다(403). 그리고, 인공지능 알고리즘에 따라 학습된 모델, 예를 들어 학습된 DNN 모델을 이용하여 검출된 얼굴 영역에 대한 데이터를 고차원의 벡터로 수치화, 즉 임베딩한다. 이와 같이 임베딩된 벡터값은, 예를 들어 SVM 알고리즘을 통해 학습(405)하여, 얼굴 분류기를 생성한다. 이와 같이 얼굴 분류기가 생성된 후, 도어 개방이 감지되면, 생성된 얼굴 분류기를 사용하여 사용자를 분류한다(404).
도 4b는 냉장고의 도어 개방 감지시 촬영된 출고 물품 영상에 기초하여 출고 물품의 클래스를 분류하는 과정을 보인 것이다.
먼저, 센서를 통해 냉장고의 도어 개방이 감지되면(411), 저장실로부터 출고되는 물품을 인식하기 위한 내부 촬영 영상이 입력된다(412). 제어부는, 냉장고의 도어가 열린 즉시 촬영된 영상과, 도어가 닫힌 후 즉시 촬영된 영상에 대한 차영상(difference of images)을 생성하여 영상을 처리하고, 이에 대한 특징점을 추출한다(413). 상기 추출되는 특징점은, 보관된 물품의 DB의 데이터에 대한 모든 특징을 포함한다.
다음, 머신러닝 기반의 학습, 예를 들어 SVM(Support Vector Machine) 알고리즘, 에이다부스트(Adaboost) 알고리즘, 및/또는 딥 러닝(Deep Learning) 알고리즘 사용한 학습(415)을 통해 클래스 분류기를 생성한다. 이와 같이 생성된 클래스 분류기를 이용한 비전 인식을 통해 출고 물품의 클래스를 분류한다(414).
이와 같이 사용자 분류와 출고 물품의 클래스가 분류되면, 이를 연계시켜서 물품 사용 이력으로 저장한다.
아래는, 사용자별 물품 사용 이력의 예시를 보인 것이다. 도시되지 않았지만, 분류된 물품의 출고 시간과 물품의 상세 정보(예, 물품명칭, 물품의 유통기한, 남은 양정보 등)가 추가로 저장될 수 있다.
사용자 출고 식품 Class
Ravel No. 3
Ravel No. 3
Ravel No. 5
Ravel No. 3
이하, 도 5a, 도 5b, 도 5c는 얼굴 이미지를 포함한 사용자 정보를 원하는 쇼핑몰과 연계하여 등록하는 구체적인 예시 과정을 보인 것이다.
먼저, 냉장고에 제1입력이 수신됨에 따라 사용자 정보 등록 모드에 진입한다. 제어부는, 사용자 정보 등록 모드의 진입이 감지되면, 네트워크 통신을 수행하고 사용자 정보로 등록할 얼굴 이미지를 선택하기 위한 제1화면정보를 디스플레이한다.
도 5a는 제1화면정보의 예시를 보인 것이다. 도 5a에 도시된 제1화면정보(501)에는 사용자의 얼굴 이미지를 호출할 수 있는 하나 이상의 아이콘(예, 메일함 아이콘, 클라우드 아이콘)이 디스플레이된다. 디스플레이된 특정 아이콘에 터치입력이 가해지면, 네트워크 통신을 통해 대응되는 서버에 접속하여 원하는 얼굴 이미지를 선택 및 호출할 수 있다.
또, 비록 도시되지는 않았지만, 촬영하기 아이콘이 디스플레이된 경우, 해당 아이콘을 선택하면, 냉장고의 카메라를 통해 사용자의 얼굴을 촬영하여 등록 정보로 이용할 수 있다.
이와 같이 제1화면정보(501)를 이용하여 등록할 얼굴 이미지를 선택하는 제2입력이 수신되면, 제1화면정보(501)를 이용하여 선택된 얼굴 이미지와 연계시킬 쇼핑몰을 선택하기 위한 제2화면정보로 전환된다.
도 5b는 제2화면정보의 예시를 보인 것이다. 도 5b에 도시된 제2화면정보(502)에는 하나 이상의 쇼핑몰 아이콘이 디스플레이된다. 디스플레이된 특정 쇼핑몰 아이콘에 터치입력이 가해지면, 제1화면정보(501)를 이용하여 선택된 얼굴 이미지와 터치입력이 가해진 쇼핑몰의 연결 정보를 연계시켜서 사용자 정보로 등록한다.
이와 같이 얼굴 이미지와 연계될 쇼핑몰이 선택되면, 사용자 정보의 등록이 완료되었음을 알리는 제3화면정보(503)가 냉장고의 디스플레이에 디스플레이된다.
이하에서는, 냉장고에 구비된 카메라의 위치에 따라 사용자를 인식하는 서로 다른 방법을 구체적으로 설명하겠다. 먼저, 도 6a, 도 6b, 도 6c는 도어의 내측에 구비된 카메라를 이용하여 사용자를 인식하는 방법과 관련된다.
본 발명에서 사용자의 얼굴을 인식하기 위한 카메라(161a)는 도 6a 또는 도 6b에 도시된 바와 같이 냉장고 도어의 내측에 구비될 수 있다. 구체적으로, 도어를 열었을 때 안쪽 상단(도 6a) 또는 안쪽 하단(도 6b) 중 적어도 하나에 구비될 수 있다. 이때에는, 냉장고 도어가 일정 범위 이상 오픈된 경우에 한하여 도 6c에 도시된 바와 같은 이미지로 사용자 얼굴을 촬영할 수 있다.
이에, 본 발명에 따른 냉장고의 제어부는, 냉장고 도어가 개방된 후 도어의 일측에 구비된 힌지부가 일정범위 이상 회전한 것이 감지된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 카메라(161a, 도 6a, 6b)에 출력할 수 있다.
이를 위해, 도어의 일측에 구비된 힌지부에는 도어의 회전정도를 감지할 수 있는 센서가 마련될 수 있다. 해당 센서는, 힌지부가 회전하여서 냉장고의 도어가 일정범위(예, 90) 이상 개방된 것으로 감지되면, 이에 대응되는 신호를 제어부에 전달하여 카메라를 구동하게끔 할 수 있다.
또 다른 예로, 본 발명에서 사용자의 얼굴을 인식하기 위한 카메라(161b)는 도 6d에 도시된 바와 같이 냉장고 도어의 외측, 예를 들어 도어의 정면 위(top) 구비될 수 있다. 이때에는, 도어를 개방하지 않더라도 도 6e에 도시된 것과 같은 얼굴 이미지의 촬영이 가능하다. 그러나, 적어도 사용자가 도어 앞에 위치한 경우에 촬영하는 것이 의미가 있다.
이에, 냉장고의 제어부는, 냉장고 도어에 사용자가 근접한 것이 감지되고 도어 개방 신호가 수신되면, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 카메라로 출력할 수 있다. 여기에서, 상기 도어 개방 신호는, 도어의 손잡이에 구비된 접촉 센서나 또는 전술한 도어 개폐 감지 센서를 통해 전달된 신호를 의미할 수 있다.
이하에서는, 도 7a, 도 7b, 도 7c를 참조하여, 인식된 사용자의 물품 사용 이력에 근거하여, 특정인에게 구매 추천 물품의 리스트를 제공하는 구체적인 과정을 설명하겠다.
먼저, 냉장고의 제어부는 디스플레이에 터치입력이 가해지면, 카메라를 통해 획득된 얼굴 이미지에 기초하여 인식된 사용자의 식별 정보를 출력할 수 있다. 예를 들어, 도 7a에서 사용자가 냉장고의 디스플레이에 노크온 터치를 가하면, 도어의 정면에 구비된 카메라를 통해 사용자를 촬영한다. 그리고, 촬영된 이미지에서 얼굴 영역을 검출하고, 학습을 통해 생성된 사용자 분류기를 통해 사용자를 인식한다. 그에 따라, 인식된 사용자의 식별 정보로, 예를 들어"안녕하세요, oo님"과 같은 음성이 출력될 수 있다. 다만, 이에 한정되는 것은 아니며, 도시되지는 않았지만, 냉장고의 디스플레이를 통해 사용자의 식별 정보가 디스플레이될 수도 있다.
이와 같이 인식된 사용자의 식별 정보가 출력되면, 구매 추천 물품을 제공하기 위한 그래픽객체가 디스플레이에 출력된다. 예를 들어, 도 7b에 도시된 바와 같이 '식품 추천 및 장바구니 담기'아이콘이, 상기 그래픽객체(702)로 출력된다.
사용자가 해당 그래픽객체(702)를 터치하면, 제어부는 도 7a에서 인식된 사용자의 물품 사용 이력을 검출하고, 검출된 물품 사용 이력에 기초한 구매 추천 물품의 리스트를 디스플레이한다.
도 7c는 인식된 사용자에 대한 구매 추천 물품의 리스트가 디스플레이된 화면(703) 예시이다. 도시된 화면(703)에는, 인식된 사용자 정보(710)와 물품명으로 분류된 출고 물품 정보(720)와 장바구니 아이콘(730)이 출력될 수 있다. 상기 장바구니 아이콘(730)은 인식된 사용자 정보(710)에 연계된 쇼핑몰에 접속하기 위한 연결정보를 포함한다. 디스플레이된 장바구니 아이콘(730) 중 어느 하나에 터치가 가해지면, 매칭되는 물품이 연계된 쇼핑몰의 장바구니에 자동으로 담겨진다. 즉, 해당 구매 추천 물품에 대하여 장바구니 담기 기능이 실행된다.
또, 비록 도시되지는 않았지만, 디스플레이된 장바구니 아이콘(730) 중 어느 하나에 터치가 가해지면, 화면(703)의 일 영역, 예를 들어 하단에 구매버튼이 생성될 수 있다. 사용자는, 구매를 원하는 물품에 매칭되는 장바구니 아이콘(730)을 터치한 다음, 구매버튼을 누르면, 원하는 물품이 원하는 쇼핑몰을 통해 즉시 구매될 수 있다.
도 8은, 본 발명의 실시 예에 따른 냉장고에서 사용자 정보에 매칭되는 물품 사용 이력에 근거하여 물품을 구매하는 방법을 예시 흐름도이다.
도 8을 참조하면, 본 발명에 따른 냉장고의 제어부가 기설정된 입력이 수신된 것을 감지하고(S801), 이어서 냉장고 외부를 촬영하여 사용자 얼굴을 인식한다(S802). 다음, 인식된 사용자 얼굴에 매칭되는 사용자 정보, 예를 들어 기등록된 사진 이미지나 사용자 이름, 을 냉장고의 디스플레이에 출력한다(S803).
이와 함께 또는 순차적으로, 사용자 정보에 매칭되는 물품 사용 이력에 근거하여, 추천 구매 물품과 구매 아이콘을 디스플레이한다(S804). 이때, 상기 구매 추천 물품의 리스트의 각 물품은, 해당 사용자의 물품 사용 이력에 따른 물품 사용 빈도수에 기초하여 순서대로 정렬될 수 있다. 또 다른 예에서, 상기 구매 추천 물품의 리스트는 구매시기(구매한지 오래된 순서), 구매이력에 기초하여 추정되는 예상구매일에 따라 정렬될 수 있다.
디스플레이된 추천 구매 물품 중 적어도 일부가 선택된 후, 디스플레이된 구매 아이콘에 가해진 터치입력에 근거하여 추천 구매 물품 전체 또는 일부가 즉시 구매된다(S805). 그에 따라, 사용자별로 선호 물품의 관리 및 구매의 편의와 사용성이 더욱 향상될 수 있다.
한편, 도 9a는 사용자별 추천 구매 물품 리스트에 제공되는 추가 정보의 예시이고, 도 9b는 사용자 근접시 특정 물품의 구매를 유도하는 알림 정보의 예시이다.
일 예로, 인식된 사용자 정보에 따라 검출된 물품 사용 이력에 근거하여 출력되는 구매 추천 물품의 리스트에는, 비전 인식을 통해 획득된 출고 물품의 식품정보, 유통기한 정보, 및 출고시간정보 중 적어도 일부가 포함될 수 있다.
예를 들어, 도 9a를 참조하면, 디스플레이된 화면(901)에는, 인식된 사용자 정보(910)와 구매 추천 물품의 물품명(920)과, 각 물품에 대한 추가정보, 예를 들어, 식품정보(931), 유통기한정보(932), 및 사용시간정보(933)이 더 표시될 수 있다.
식품정보(931)는 푸드1에 대한 영상, 물품명, 칼로리 등의 정보가 포함될 수 있다. 유통기한정보(932)는 비전인식을 통해 획득된 푸드1의 유통기한정보 또는 푸드1이 냉장고에 최초 보관된 시점을 기준으로 한 보관기간정보가 포함될 수 있다. 또, 사용시간정보(933)는 푸드1이 출고된 횟수와 시간 정보가 포함될 수 있다.
또 다른 예로, 냉장고에 근접한 사용자의 얼굴 이미지를 촬영하고, 촬영된 얼굴 이미지에 매칭되는 사용자의 물품 사용 이력에 근거하여 물품의 구매를 유도하는 알림정보를 디스플레이에 출력할 수 있다.
예를 들어, 도 9b를 참조하면, 사용자의 근접을 감지하는 센서를 통해 사용자가 근접한 것이 감지된 것에 응답하여, 디스플레이에 디스플레이된 화면(902)에는 물품 사용 이력에 근거하여 파악된 유통기한이 얼마 남지 않은 물품, 예를 들어 푸드2의 구매를 유도하는 알림이 사용자 정보(910)와 함께 출력될 수 있다. 그에 따라, 사용자는 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
또한, 비록 도시되지는 않았지만, 사용자의 근접을 감지하는 센서를 통해 사용자가 근접한 것이 감지된 것에 응답하여, 촬영을 통해 인식된 사용자의 물품 사용 이력을 검출하고, 그에 연계된 쇼핑몰에서 제공하는 구매 추천 물품의 세일정보, 광고정보, 한정판매정보 등을 디스플레이에 출력해줄 수 있다. 그에 따라, 맞춤형 광고효과 및 구매효과를 제공하는 효과도 있다.
이와 같이 본 발명에서는, 사용자가 냉장고에 근접한 시점에 사용자의 물품 사용 이력을 확인하여, 구매가 필요한 물품의 구매를 유도하는 알림 정보나 세일 정보등의 유용한 정보를 출력함으로써, 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
다음, 도 10a 및 도 10b는 디스플레이된 구매 추천 물품의 리스트에 다른 사용자를 추가하는 방법의 예시이다.
먼저, 도 10a를 참조하명, 냉장고의 제어부는, 제1사용자(1011)에 대한 구매 추천 물품의 리스트(1001)를 디스플레이에 디스플레이한다. 이 상태에서, 디스플레이에 가해진 터치입력, 예를 들어 사용자 정보가 출력된 영역에 가해진 터치입력에 기초하여 다른 사용자의 선호 물품을 리스트에 추가할 수 있다.
예를 들어, 터치입력에 기초하여, 도 10b에 도시된 바와 같이 사용자 정보가 제2사용자(1012)로 변경된 경우, 디스플레이된 리스트(1001)에, 제2사용자(1012)에 대한 구매 추천 물품(1010)이 추기될 수 있다. 이를 통해, 한 사람이 다른 사람의 선호 물품을 함께 주문할 수 있다.
다음, 도 11은 냉장고에서 생성된 물품 사용 이력을 외부 단말에 전달하여, 외부 단말을 통해 쇼핑몰 서버에 접속하는 것을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명에 따른 냉장고(100)가 네트워크 통신을 통해 외부 단말기(220)에 물품 사용 이력을 제공한다. 이때, 제공되는 물품 사용 이력은 외부 단말기(220)의 사용자와 매칭되는 물품 사용 이력으로 제한될 수 있다.
외부 단말기(220)는 냉장고(100)로부터 물품 사용 이력이 수신되면, 미리 연계된 온라인 쇼핑몰에 자동 접속할 수 있다. 이와 같은 자동 접속 후, 외부 단말기(220)의 화면에는 접속된 쇼핑몰 화면의 첫 페이지가 아닌, 구매 페이지가 디스플레이될 수 있다. 또한, 디스플레이된 구매 페이지에는 냉장고(100)로부터 수신된 물품 사용 이력에 근거하여 추천된 구매 물품이 장바구니에 담긴 상태일 수 있다. 즉, 추천된 구매 물품에 대한 장바구니 담기 기능이 자동으로 실행된 상태일 수 있다. 사용자는 단말기(220)를 통해, 원격에서도 냉장고 출고 물품에 기반한 선호 물품을 빠르게 구매할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면, 냉장고에서 물품의 출고시 사용자의 얼굴과 출고 물품을 각각 촬영하여 출고 물품의 이력을 사용자별로 보다 정확하게 관리할 수 있다. 또한, 사용자 얼굴에 매칭되는 사용자 정보의 등록시, 선호하는 쇼핑몰을 미리 연계시킴으로써, 사용자별 물품 사용 이력에 기초하여 구매 물품 추천 및 즉시 구매가 가능해진다. 그에 따라, 사용자별로 선호 물품의 관리 및 구매의 사용성이 더욱 향상된다. 나아가, 냉장고에 근접한 사용자가 인식되면, 인식된 사용자의 사용 이력을 확인하여 구매가 필요한 물품의 구매를 유도하는 알림 정보를 출력함으로써, 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 제어부(250)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 물품을 저장하는 저장실;
    상기 저장실의 외부와 내부를 각각 촬영하는 카메라;
    얼굴 이미지를 포함한 사용자 정보와 하나 이상의 쇼핑몰이 연계되어 저장되는 메모리;
    냉장고 도어가 개폐되는 동안, 상기 카메라를 통해 촬영된 얼굴 이미지에 매칭되는 사용자 정보와 상기 카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 제어부; 및
    상기 제어부와 전기적으로 연결된 디스플레이를 포함하며,
    상기 제어부는,
    상기 냉장고 도어의 개폐를 감지하고, 상기 획득된 출고 물품의 물품정보를 매칭되는 사용자 정보와 연계시켜서 물품 사용 이력으로 저장하고,
    기설정된 사용자 입력이 수신된 것에 응답하여, 상기 물품 사용 이력에 근거한 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 연결정보와 함께 상기 디스플레이에 디스플레이하도록 제어하는 것을 특징으로 하는 냉장고.
  2. 제1항에 있어서,
    상기 카메라는, 상기 저장실의 외부를 촬영하는 제1카메라와 상기 저장실의 내부를 촬영하는 제2카메라를 포함하고,
    상기 제어부는,
    상기 제1카메라를 통해 촬영된 얼굴 이미지를 분석하여 매칭되는 사용자 정보를 획득하고, 상기 제2카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 것을 특징으로 하는 냉장고.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 냉장고 도어의 개방이 감지되면, 상기 제1카메라를 통해 얼굴 이미지를 촬영하여 얼굴영역을 검출하고, 상기 검출된 얼굴영역의 데이터를 인공지능 알고리즘에 따라 학습된 모델에 근거하여 분석하여 사용자를 분류하는 것을 특징으로 하는 냉장고.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 냉장고 도어의 개방이 감지되면, 상기 제2카메라를 통해 촬영된 물품 영상에서 특징점을 추출하고, 상기 추출된 특징점을 기반으로 비전인식하여 출고 물품의 클래스를 분류하는 것을 특징으로 하는 냉장고.
  5. 제1항에 있어서,
    상기 제어부는,
    제1입력이 수신되면, 사용자 정보 등록 모드에 진입을 감지하고 네트워크 통신을 통해 사용자 정보로 등록할 얼굴 이미지의 선택하기 위한 제1화면정보를 디스플레이하고,
    상기 제1화면정보를 이용하여 등록할 얼굴 이미지를 선택하는 제2입력이 수신되면, 선택된 얼굴 이미지와 연계시킬 쇼핑몰을 선택하기 위한 제2화면정보를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 냉장고.
  6. 제2항에 있어서,
    상기 제1카메라는 냉장고 도어의 내측에 위치하며,
    상기 제어부는,
    상기 냉장고 도어가 개방된 후 상기 도어의 일측에 구비된 힌지부가 일정범위 이상 회전한 것이 감지된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 하는 냉장고.
  7. 제2항에 있어서,
    상기 제1카메라는 냉장고 도어의 외측에 위치하며,
    상기 제어부는,
    냉장고 도어에 사용자가 근접한 것이 감지되고 도어 개방 신호가 수신된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 하는 냉장고.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 디스플레이에 터치입력이 가해지면, 상기 제1카메라를 통해 획득된 얼굴 이미지에 기초하여 인식된 사용자의 식별 정보를 출력하고,
    상기 식별 정보의 출력에 응답하여, 구매 추천 물품을 제공하기 위한 그래픽객체를 상기 디스플레이에 출력하는 것을 특징으로 하는 냉장고.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 그래픽객체에 가해진 터치입력에 응답하여, 상기 인식된 사용자의 물품 사용 이력에 대응되는 구매 추천 물품의 리스트를 디스플레이하고,
    상기 리스트내의 각 물품에 대한 장바구니담기 아이콘을 상기 연계된 쇼핑몰의 연결정보로 디스플레이하는 것을 특징으로 하는 냉장고.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 장바구니담기 아이콘에 터치입력이 가해지면, 해당 구매 추천 물품에 대한 장바구니 담기 기능이 실행되고, 해당 구매 추천 물품에 대한 결제를 수행하기 위한 구매 아이콘이 상기 디스플레이에 출력되는 것을 특징으로 하는 냉장고.
  11. 제1항에 있어서,
    상기 구매 추천 물품의 리스트의 각 물품은, 해당 사용자의 물품 사용 이력에 따른 물품 사용 빈도수에 기초하여 순서대로 정렬되는 것을 특징으로 하는 냉장고.
  12. 제1항에 있어서,
    상기 구매 추천 물품의 리스트에는 상기 비전 인식을 통해 획득된 출고 물품의 식품정보, 유통기한 정보, 및 출고시간정보 중 적어도 일부가 포함되는 것을 특징으로 하는 냉장고.
  13. 제1항에 있어서,
    사용자의 근접을 감지하는 센서를 더 포함하고,
    상기 제어부는,
    사용자의 근접이 감지된 것에 응답하여, 상기 카메라를 통해 사용자의 얼굴 이미지를 촬영하고, 촬영된 얼굴 이미지에 매칭되는 사용자의 물품 사용 이력에 근거하여 물품의 구매를 유도하는 알림정보를 출력하는 것을 특징으로 하는 냉장고.
  14. 제1항에 있어서,
    상기 제어부는,
    제1사용자의 구매 추천 물품의 리스트가 디스플레이되는 동안, 상기 디스플레이에 가해진 터치입력에 기초하여 선택된 제2사용자의 구매 추천 물품을 상기 리스트에 추가하여 제공하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 냉장고.
  15. 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계;
    냉장고 도어의 개방 후, 제1카메라를 통해 냉장고 외부를 촬영하여 사용자 얼굴을 인식하는 단계
    냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출입고되는 물품의 물품 정보를 획득하는 단계;
    상기 획득된 출고 물품의 물품정보를 상기 인식된 사용자 얼굴과 연계시켜서, 물품 사용 이력으로 저장하는 단계; 및
    기설정된 사용자 입력이 수신되면, 상기 물품 사용 이력에 근거하여 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 정보와 함께 디스플레이하는 단계를 포함하여 이루어지는 것을 특징으로 하는 냉장고의 물품 관리 방법.
PCT/KR2019/004304 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법 WO2019135670A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020197020771A KR102699484B1 (ko) 2019-04-10 냉장고 및 냉장고의 물품 관리 방법
US16/487,644 US11599928B2 (en) 2019-04-10 2019-04-10 Refrigerator and method for managing products in refrigerator
PCT/KR2019/004304 WO2019135670A2 (ko) 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/004304 WO2019135670A2 (ko) 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법

Publications (2)

Publication Number Publication Date
WO2019135670A2 true WO2019135670A2 (ko) 2019-07-11
WO2019135670A3 WO2019135670A3 (ko) 2020-02-27

Family

ID=67144129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004304 WO2019135670A2 (ko) 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법

Country Status (2)

Country Link
US (1) US11599928B2 (ko)
WO (1) WO2019135670A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210254884A1 (en) * 2020-02-13 2021-08-19 Samsung Electronics Co., Ltd. Refrigerator, server, and method for controlling the refrigerator

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039219A1 (ko) * 2015-09-03 2017-03-09 삼성전자주식회사 냉장고
US11138714B2 (en) * 2019-09-04 2021-10-05 International Business Machines Corporation Augmented reality pattern overlays to facilitate waste reduction
US11692769B2 (en) * 2020-11-17 2023-07-04 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance
US11940211B2 (en) * 2022-02-14 2024-03-26 Haier Us Appliance Solutions, Inc. Refrigerator appliance with smart door alarm
US11800068B1 (en) * 2022-04-07 2023-10-24 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for conserving energy at the same

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9353990B2 (en) * 2010-02-23 2016-05-31 Lg Electronics Inc. Refrigerator including a terminal, and method for controlling same
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP6391943B2 (ja) 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
US9972284B2 (en) * 2014-02-12 2018-05-15 Lg Electronics Inc. Refrigerator with interactive display and control method thereof
US9449208B2 (en) * 2014-12-03 2016-09-20 Paypal, Inc. Compartmentalized smart refrigerator with automated item management
US9967109B2 (en) 2015-02-04 2018-05-08 Panasonic Intellectual Property Corporation Of America Information presenting method, server, and information presenting system
JP6584292B2 (ja) * 2015-02-04 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提供方法、サーバおよび情報提供システム
US20160358508A1 (en) * 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
KR102377043B1 (ko) * 2015-09-02 2022-03-22 삼성전자주식회사 냉장고 및 그 제어방법
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
US10431115B2 (en) * 2016-08-18 2019-10-01 Mastercard International Incorporation Systems and methods for using a smart refrigerator to implement accountability measures associated with intake objectives
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
KR102008821B1 (ko) * 2017-05-10 2019-10-22 한국기술교육대학교 산학협력단 식품 관리를 위한 냉장고 및 이를 이용한 식품 관리 시스템
KR102327848B1 (ko) 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
US20200219606A1 (en) * 2017-08-30 2020-07-09 Samsung Electronics Co., Ltd. Refrigerator
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210254884A1 (en) * 2020-02-13 2021-08-19 Samsung Electronics Co., Ltd. Refrigerator, server, and method for controlling the refrigerator
US11920860B2 (en) 2020-02-13 2024-03-05 Samsung Electronics Co., Ltd. Refrigerator, server, and method for controlling the refrigerator

Also Published As

Publication number Publication date
KR20210137592A (ko) 2021-11-18
WO2019135670A3 (ko) 2020-02-27
US11599928B2 (en) 2023-03-07
US20200327601A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
WO2019135670A2 (ko) 냉장고 및 냉장고의 물품 관리 방법
WO2019125094A2 (ko) 냉장고 및 냉장고의 물품 관리 방법
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2017126804A1 (en) Storage apparatus and control method thereof
WO2018212493A1 (en) Refrigerator and method of food management thereof
WO2018135881A1 (en) Vision intelligence management for electronic devices
WO2019139457A2 (ko) 인공 지능 냉장고
WO2019198865A1 (ko) 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
US11455897B1 (en) Drone digital locker builder
CN108353089A (zh) 用于用户可配置的交互区域监视的装置和方法
WO2019146894A1 (ko) 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법
WO2021045271A1 (ko) 로봇
WO2019231130A1 (ko) 전자 장치 및 그의 제어방법
WO2020256172A1 (ko) 카트 로봇
EP3635627A1 (en) System and method for optical tracking
US20180317670A1 (en) Housing and system
WO2019172680A1 (ko) 냉장고 및 그 제어방법
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2019124672A1 (ko) 전자 장치 및 이의 제어 방법
WO2020184855A1 (ko) 응대 방법을 제공하는 전자 장치 및 그의 동작 방법
WO2022131488A1 (ko) 전자 장치 및 그 제어 방법
WO2021049730A1 (ko) 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
WO2017099473A1 (ko) Voc 수집 방법 및 장치
WO2019160251A1 (ko) 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법
WO2018164435A1 (en) Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19736050

Country of ref document: EP

Kind code of ref document: A2