WO2026029348A1 - 냉장고 및 이의 제어 방법 - Google Patents

냉장고 및 이의 제어 방법

Info

Publication number
WO2026029348A1
WO2026029348A1 PCT/KR2025/007277 KR2025007277W WO2026029348A1 WO 2026029348 A1 WO2026029348 A1 WO 2026029348A1 KR 2025007277 W KR2025007277 W KR 2025007277W WO 2026029348 A1 WO2026029348 A1 WO 2026029348A1
Authority
WO
WIPO (PCT)
Prior art keywords
refrigerator
image
information
data
shipped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/007277
Other languages
English (en)
French (fr)
Inventor
김민수
아가르왈하쉬
이진우
황승준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US19/259,750 priority Critical patent/US20260104197A1/en
Publication of WO2026029348A1 publication Critical patent/WO2026029348A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Definitions

  • One or more embodiments of the present disclosure relate to a refrigerator and a control method thereof, and more particularly, to a refrigerator and a control method thereof that manage information about groceries by photographing groceries being stored in and/or shipped from the refrigerator.
  • a refrigerator is a home appliance that has a storage compartment for storing food and a cold air supply device that supplies cold air to the storage compartment, allowing food to be kept fresh for a long time.
  • recent refrigerators feature cameras embedded in the main body, including the storage compartment, to capture images of the interior. Based on the captured images, the refrigerator acquires information about the food currently stored in the refrigerator and provides this information to the user.
  • a refrigerator includes a camera, at least one memory storing instructions, and at least one processor, wherein the at least one processor individually or collectively executes at least one of the instructions to control the camera to photograph an object when the object is received or shipped from the refrigerator, obtain a photographed image of the object received or shipped from the refrigerator, provide a guide for obtaining an additional image based on the obtained photographed image, and when a signal for photographing an object corresponding to the provided guide is detected, obtain an additional image through the camera, and store the photographed image and the additional image as data for the object received or shipped.
  • a method for controlling a refrigerator includes, when an object is received or delivered from the refrigerator, a step of photographing the object; when a photographed image of the object received or delivered from the refrigerator is obtained, a step of providing a guide for obtaining an additional image based on the obtained photographed image; when a signal for photographing the object corresponding to the provided guide is detected, a step of obtaining an additional image; and a step of storing the photographed image and the additional image as data for the object received or delivered.
  • FIG. 1 is a drawing for explaining the operation of a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 3 is a detailed block diagram illustrating a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an operation of obtaining data on an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining an operation of acquiring data on an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining an operation of obtaining data on an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 7 is a drawing for explaining an operation of acquiring an image of an object being put into or taken out of a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 8 is a drawing for explaining a UI (User Interface) that provides a guide for a refrigerator according to at least one embodiment of the present disclosure.
  • UI User Interface
  • FIG. 9 is a drawing for explaining a UI for registering an additional image according to a guide of a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a UI that provides data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a UI that provides data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 12 is a drawing for explaining an operation of extracting features for an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a refrigerator receiving data from various electronic devices according to at least one embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating an operation for managing data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • FIG. 15 is a flowchart illustrating an operation for managing data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • phrases such as "at least one” precedes a list of items modifies the entire list of items and does not modify individual items.
  • phrases such as "A or B,” “at least one of A and B,” “at least one of A or B,” “at least one of A and B,” “A, B, or C,” “at least one of A, B, and C,” and “at least one of A, B, or C” can each include any one of the items listed together with the corresponding phrase, or all possible combinations thereof.
  • a component e.g., a first component
  • another component e.g., a second component
  • the terms “functionally” or “communicatively” it means that the component is connected to the other component directly (e.g., wired), wirelessly, or through a third component.
  • a refrigerator according to one embodiment may include a body.
  • the “body” may include an inner case, an outer case disposed on the outside of the inner case, and an insulating material provided between the inner case and the outer case.
  • the “inner case” may include at least one of a case, a plate, a panel, or a liner forming a storage compartment.
  • the inner case may be formed as a single body, or may be formed by assembling a plurality of plates.
  • the “outer case” may form the outer appearance of the main body, and may be joined to the outer side of the inner case so that insulation is placed between the inner case and the outer case.
  • the insulation can insulate the interior and exterior of a storage room so that the temperature inside the storage room can be maintained at a set temperature without being affected by the external environment.
  • the insulation can include foam insulation.
  • the foam insulation can be formed by injecting and foaming urethane foam, a mixture of polyurethane and a foaming agent, between the inner and outer layers.
  • the insulation may include a vacuum insulation material in addition to the foam insulation, or the insulation may consist solely of the vacuum insulation material instead of the foam insulation.
  • the vacuum insulation material may include a core material and an outer shell material that accommodates the core material and seals the interior under a vacuum or near-vacuum pressure.
  • the insulation material is not limited to the foam insulation or vacuum insulation material described above, and may include various materials that can be used for insulation.
  • a "storage room” may include a space defined by an interior wall.
  • the storage room may further include an interior wall defining a corresponding space.
  • the storage room may store various items, such as food, medicine, and cosmetics, and the storage room may be configured to be open on at least one side for the entry and exit of items.
  • a refrigerator may include one or more storage compartments.
  • the two or more storage compartments may have different purposes and be maintained at different temperatures.
  • each storage compartment may be separated from the others by a partition wall containing insulation.
  • the storage room may be designed to maintain an appropriate temperature range depending on its intended use, and may include a "refrigerator,” a “freezer,” or a “variable temperature room,” which are distinguished by their intended use and/or temperature range.
  • a refrigerator may be maintained at a temperature appropriate for refrigerating items, and a freezer may be maintained at a temperature appropriate for freezing items.
  • “Refrigeration” may mean cooling items to a temperature that does not freeze them, and for example, a refrigerator may be maintained at a temperature ranging from 0 degrees Celsius to +7 degrees Celsius.
  • Freezing may mean cooling items to freeze them or keep them in a frozen state, and for example, a freezer may be maintained at a temperature ranging from -20 degrees Celsius to -1 degree Celsius.
  • a variable temperature room may be used as either a refrigerator or a freezer, at the user's option or not.
  • a storage room may also be called by various other names such as “vegetable room,” “fresh room,” “cooling room,” and “ice room.”
  • the terms “refrigerator,” “freezer,” and “variable temperature room” used hereinafter should be understood to encompass storage rooms having corresponding uses and temperature ranges.
  • the refrigerator may include at least one door configured to open and close an open side of a storage compartment.
  • the door may be configured to open and close one or more storage compartments, or a single door may be configured to open and close multiple storage compartments.
  • the door may be installed on the front of the main body in a pivotal or sliding manner.
  • the "door” may be configured to seal (or cover) the storage compartment when the door is closed.
  • the door may include insulation, similar to the body, to insulate the storage compartment when the door is closed.
  • the door may include a door outer panel forming the front of the door, a door inner panel forming the back of the door and facing the storage compartment, an upper cap, a lower cap, and door insulation provided on the interior of the door components.
  • the door inner panel may be provided with a gasket that seals the storage compartment by contacting the front of the body when the door is closed.
  • the door inner panel may include a dyke that protrudes rearward to accommodate a door basket for storing items.
  • a door may include a door body and a front panel detachably coupled to a front side of the door body and forming a front surface of the door.
  • the door body may include a door outer panel forming a front surface of the door body, a door inner panel forming a rear surface of the door body and facing a storage compartment, an upper cap, a lower cap, and door insulation provided on the interior of the door components.
  • refrigerators can be classified into French door type, side-by-side type, bottom mounted freezer (BMF), top mounted freezer (TMF), or single-door refrigerator.
  • BMF bottom mounted freezer
  • TMF top mounted freezer
  • the refrigerator may be configured to include a cold air supply device configured to supply cold air to the storage compartment.
  • a "cold air supply device” may include a system comprising a machine, mechanism, electronic device and/or a combination of one or more of these that can generate cold air and guide the cold air to cool a storage room.
  • the cold air supply device can generate cold air through a refrigeration cycle that includes the processes of compression, condensation, expansion, and evaporation of a refrigerant.
  • the cold air supply device can include a refrigeration cycle device having a compressor, a condenser, an expansion device, and an evaporator capable of driving the refrigeration cycle.
  • the cold air supply device can include a semiconductor, such as a thermoelectric element. The thermoelectric element can cool a storage compartment by generating heat and cooling through the Peltier effect.
  • the refrigerator may include a machine room in which at least some components belonging to the cold air supply device are arranged.
  • the "machine room” may be designed to be partitioned and insulated from the storage room to prevent heat generated by components placed within the machine room from being transferred to the storage room.
  • the interior of the machine room may be configured to be in communication with the exterior of the main body to dissipate heat from components placed within the machine room.
  • the refrigerator may include a dispenser provided on the door to provide water and/or ice.
  • the dispenser may be provided on the door so that it is accessible to a user without having to open the door.
  • a refrigerator may include an ice-making device configured to produce ice.
  • the ice-making device may include an ice-making tray configured to store water, an ice-separating device configured to separate ice from the ice-making tray, and an ice bucket configured to store ice produced in the ice-making tray.
  • the refrigerator may be configured to include a control unit for controlling the refrigerator.
  • the "control unit” may include at least one memory for storing and/or memorizing a program and/or data related to refrigerator control, and at least one processor for outputting a control signal for controlling a cold air supply device, etc. according to the program and/or data memorized in the memory.
  • At least one memory stores or records various information, data, commands, programs, etc. necessary for the operation of the refrigerator.
  • the memory may store temporary data generated during the generation of control signals related to components included in the refrigerator.
  • the memory may include at least one of volatile memory and non-volatile memory, or a combination thereof.
  • At least one processor controls the overall operation of the refrigerator.
  • the processor can control components of the refrigerator by executing a program stored in memory.
  • the processor may include a separate NPU that performs the operation of an artificial intelligence model.
  • the processor may also include a central processing unit, a graphics processing unit (GPU), etc.
  • the processor may generate a control signal for controlling the operation of the cold air supply unit.
  • the processor may receive temperature information of a storage compartment from a temperature sensor and generate a cooling control signal for controlling the operation of the cold air supply unit based on the temperature information of the storage compartment.
  • the processor may process user input of the user interface and control the operation of the user interface based on programs and/or data stored in the memory.
  • the user interface may be provided using an input interface and an output interface.
  • the processor may receive user input from the user interface. Additionally, the processor may transmit display control signals and image data to the user interface for displaying an image on the user interface in response to the user input.
  • the processor and memory may be provided as a single unit or separately.
  • the processor may include one or more processors.
  • the processor may include a main processor and at least one subprocessor.
  • the memory may include one or more memories.
  • a refrigerator may include at least one processor and at least one memory that control all components included in the refrigerator, and may include multiple processors and multiple memories that individually control the components of the refrigerator.
  • the refrigerator may include at least one processor and at least one memory that control the operation of a cold air supply device based on the output of a temperature sensor.
  • the refrigerator may separately include at least one processor and at least one memory that control the operation of a user interface based on user input.
  • the communication interface can communicate with external devices, such as servers, mobile devices, and other home appliances, via a nearby access point (AP).
  • the AP can connect the local area network (LAN) to which the refrigerator and/or user devices are connected to the wide area network (WAN) to which the server is connected.
  • the refrigerator and/or user devices can then connect to the server via the wide area network (WAN).
  • LAN local area network
  • WAN wide area network
  • the input interface may include, but is not limited to, keys, a touchscreen, a microphone, etc.
  • the input interface may receive user input and transmit the user input to the processor.
  • the output interface may include, but is not limited to, a display, a speaker, etc.
  • the output interface may output various notifications, messages, information, etc. generated by the processor.
  • the refrigerator “provides” a guide may include not only displaying the guide through a display included in the refrigerator, but also transmitting the guide to a user terminal that is in communication with the refrigerator and displaying the guide through a display of the user terminal.
  • a "module” or “part” performs at least one function or operation and may be implemented in hardware or software, or a combination of hardware and software. Furthermore, multiple “modules” or multiple “parts” may be integrated into at least one module and implemented as at least one processor, excluding any “modules” or “parts” that need to be implemented as specific hardware.
  • the term user may refer to a person using an electronic device or a device using an electronic device (e.g., an artificial intelligence electronic device).
  • FIG. 1 is a drawing for explaining the operation of a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) can take pictures of items being received or shipped. For example, when a user places food (10) into the refrigerator (100), the refrigerator can detect the movement of the food (10) and obtain a photographed image of the food (10).
  • a refrigerator (100) can obtain additional images by providing a guide for obtaining additional images when information regarding object classification is not obtained based on the acquired captured images.
  • the refrigerator (100) can store data about the object based on the captured images and the additional images.
  • the term "captured image” may refer to an image obtained by taking a picture of an object.
  • it may refer to an image captured by a refrigerator (100), and may also refer to a captured image obtained from an external device (e.g., a user terminal device, a server device, etc.).
  • an external device e.g., a user terminal device, a server device, etc.
  • additional image may refer to an image acquired by additionally photographing an object.
  • a photographed image may refer to an image automatically captured of an object being stored or shipped from a refrigerator.
  • An additional image may also refer to an image acquired by additionally photographing an object following a photographing guide after acquiring a photographed image.
  • Additional images may include images from various angles sufficient to provide sufficient information about the classification of items being received or shipped from the refrigerator. For example, if the food being received or shipped is identified as a canned beverage, the refrigerator (100) may request additional images of the front, side, and/or side of the canned beverage.
  • the "captured image” of the present disclosure may be a concept encompassing additional images, and may also be expressed as a captured video, an image, an additional captured image, a food image, image data, etc.
  • the refrigerator (100) is illustrated in the shape of a typical household refrigerator, but is not limited thereto, and may be various types of refrigerators, for example, a kimchi refrigerator, a liquor refrigerator, a cosmetics refrigerator, a freezer, etc., but is not limited thereto.
  • FIG. 2 is a block diagram illustrating a configuration of a refrigerator according to at least one embodiment of the present disclosure.
  • a refrigerator (100) may include a camera (110), one or more memories (120, hereinafter referred to as “memory”), and one or more processors (130).
  • the refrigerator (100) may be a device for storing food or medicine at a preset temperature or a lower temperature to prevent them from spoiling or cooling.
  • Items that are stored in or shipped from the refrigerator (100) include items that require storage at a preset temperature or a lower temperature, such as food and cosmetics.
  • storage Items that are stored in or shipped from the refrigerator (100)
  • items that require storage at a preset temperature or a lower temperature such as food and cosmetics.
  • food and cosmetics For convenience of explanation, the following description will mainly focus on food as an example.
  • the camera (110) can capture an object and generate a captured image, wherein the captured image may include both a moving image and a still image.
  • the term "image” in the present disclosure may be a concept that includes both an image output on a display and an image frame captured by the camera (110).
  • the camera (110) can capture images of the storage compartment inside the main body of the refrigerator (100) and the door bin (or door basket, pantry, etc.) area of the door.
  • the camera (110) can be installed in at least one of the upper area, the lower area, and the side area inside the main body to capture images of the inside of the main body and the door bin area of the door.
  • the camera (110) can be installed on the outside of the refrigerator (100) to capture images of the outside of the refrigerator (100). That is, the camera (110) can be implemented not only as a single camera, but also as a plurality of cameras depending on the embodiment.
  • the refrigerator (100) may include a camera (110) in the upper region of the main body to capture images of at least a portion of the storage compartment and the door bin of the door.
  • the camera (110) may be located in another region (e.g., a rear region, a bottom region, a side region, etc.) inside the main body, or may be provided in multiple numbers.
  • the camera (110) can provide images captured by the processor (130) to manage the receipt and delivery of food.
  • the camera (110) may be implemented as a wide-angle camera to capture a wide angle of view, but is not limited thereto.
  • the memory (120) can store an operating system (OS) for controlling the overall operation of the components of the refrigerator (100), instructions related to the components of the refrigerator (100), a computer program including instructions, data on objects, or information on classification of objects.
  • OS operating system
  • the memory (120) can store various configurations for managing the receipt and delivery of food.
  • the memory (120) can store a food database (DB) that stores information about food stored in the refrigerator (100) (e.g., type of food, capacity of food, expiration date of food, storage location of food, etc.).
  • DB food database
  • the memory (120) may, according to one embodiment, store a learned neural network model (e.g., a food classification model, etc.) for acquiring feature information corresponding to food items received or shipped from the refrigerator (100).
  • the memory (120) may store a learned neural network model (e.g., a receipt/delivery recognition model, etc.) for recognizing food items received or shipped from the refrigerator (100).
  • various neural network models, databases (DB), etc. may be stored in the memory (120) of the refrigerator (100) or may be stored in an external device such as a server.
  • the memory (120) may store a learned neural network model for converting photographed images of food items being stored in and out of the refrigerator (100).
  • the memory (120) may store a learned neural network model (e.g., a feature extraction model or a feature matching model) for analyzing features of items being stored in and out of the refrigerator (100) and obtaining information on the classification of items being stored in and out of the refrigerator based on the analyzed features of the items.
  • a learned neural network model e.g., a feature extraction model or a feature matching model
  • the memory (120) may store images taken of the actual interior of the refrigerator (100) or objects being brought in and out.
  • the memory (120) may be implemented in the form of memory embedded in the refrigerator (100) or may be implemented in the form of memory that can be detached and/or attached to the refrigerator (100) depending on the purpose of data storage.
  • data for driving a refrigerator (100) may be stored in a memory embedded in the refrigerator (100), and data for expanding functions of the refrigerator (100) may be stored in a memory that can be detached and/or attached to the refrigerator (100).
  • memory embedded in the refrigerator it may be implemented in the form of volatile memory (e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)), non-volatile memory (e.g., one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g., NAND flash or NOR flash), hard drive, or solid state drive (SSD)).
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM)
  • non-volatile memory e.g., one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g.,
  • memory that can be detached and/or attached to the refrigerator (100)
  • it can be implemented in the form of a memory card (e.g., CF (compact flash), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.), external memory that can be connected to a USB (universal serial bus) port (e.g., USB memory), etc.
  • CF compact flash
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • USB universal serial bus
  • one or more processors (130) may control the overall operation of the refrigerator (100) according to at least one instruction stored in the memory (120). Specifically, one or more processors (130) may be connected to each component of the refrigerator (100) and control the overall operation of the refrigerator (100).
  • one or more processors (130) may be implemented as a digital signal processor (DSP), a microprocessor, or a timing controller (TCON) for processing a digital signal.
  • DSP digital signal processor
  • TCON timing controller
  • processors (130) may include one or more of a central processing unit (CPU), a micro controller unit (MCU), a micro processing unit (MPU), a controller, an application processor (AP), a communication processor (CP), an advanced RISC machine (ARM) processor, or an artificial intelligence (AI) processor, or may be defined by the terms thereof.
  • CPU central processing unit
  • MCU micro controller unit
  • MPU micro processing unit
  • AP application processor
  • CP communication processor
  • ARM advanced RISC machine
  • AI artificial intelligence
  • processors (130) may be implemented as a SoC (System on Chip), an LSI (Large Scale Integration) with a built-in processing algorithm, or may be implemented in the form of an FPGA (Field Programmable Gate Array).
  • SoC System on Chip
  • LSI Large Scale Integration
  • FPGA Field Programmable Gate Array
  • processors (130) may perform various functions by executing computer executable instructions stored in the memory (120).
  • One or more processors (130) may include one or more of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an APU (Accelerated Processing Unit), a MIC (Many Integrated Core), a DSP (Digital Signal Processor), an NPU (Neural Processing Unit), a hardware accelerator, or a machine learning accelerator.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • APU Accelerated Processing Unit
  • MIC Many Integrated Core
  • DSP Digital Signal Processor
  • NPU Neurological Processing Unit
  • a hardware accelerator or a machine learning accelerator.
  • One or more processors (130) may control one or any combination of other components of the electronic device and perform operations or data processing related to communication.
  • One or more processors (130) may execute one or more programs or instructions stored in the memory (120).
  • one or more processors (130) may perform a method according to an embodiment of the present disclosure by executing one or more instructions stored in the memory (120).
  • a method according to an embodiment of the present disclosure includes multiple operations, the multiple operations may be performed by one processor or by multiple processors.
  • One or more processors (130) may be implemented as a single core processor including one core, or may be implemented as one or more multicore processors including multiple cores (e.g., homogeneous multicores or heterogeneous multicores).
  • each of the plurality of cores included in the multi-core processor may include internal processor memory such as cache memory and on-chip memory, and a common cache shared by the plurality of cores may be included in the multi-core processor.
  • Each of the plurality of cores (or some of the plurality of cores) included in the multi-core processor may independently read and execute program instructions for implementing a method according to an embodiment of the present disclosure, or all (or some) of the plurality of cores may be linked to read and execute program instructions for implementing a method according to an embodiment of the present disclosure.
  • one or more processors (130) may control the camera (110) to capture images of objects being stored or shipped into or out of the refrigerator (100).
  • one or more processors (130) acquire a captured image of an object being stored or shipped into the refrigerator (100) they may provide a guide for acquiring additional images based on the acquired captured image.
  • guide may refer to instructions or guidance for capturing images.
  • the guide may include guidance information on the shooting angle, enabling users to obtain information about the classification of items being received or shipped based on the captured images.
  • the guidance information included in the guide may be output as voice (or audio) or displayed as images or text.
  • one or more processors (130) can guide the user to take a photograph of the front of the beverage can to obtain information about the classification of the beverage can (e.g., the brand, type, etc. of the beverage).
  • one or more processors (130) may acquire additional images through the camera (110) when a signal for photographing an object corresponding to a provided guide is detected.
  • one or more processors (130) can detect the change in the position of the object as a signal to capture the object and obtain additional images of the object through the camera (110).
  • the camera (110) may include one or more cameras, and when multiple cameras are included, each camera (110) may capture images of objects being entered or exited from different locations. For example, when one or more processors (130) recognize the entry or exit of an object, they may capture images of the object from different directions through the multiple cameras (110) and register one or more captured images as data regarding the object being entered or exited.
  • one or more processors (130) may store captured images and additional images as data regarding objects being received or shipped. For example, when one or more processors (130) acquire a captured image of a canned beverage, they may register an additional image for obtaining classification information about the canned beverage along with the captured image as data regarding the canned beverage.
  • data on items being stored in and out of the refrigerator may refer to various types of information about items being stored in and out of the refrigerator.
  • data on items being stored in and out of the refrigerator (100) may include various types of data for obtaining information on the classification of items, such as captured images, additional images, generated images, and data on items acquired from external devices.
  • information about the classification of an object may refer to various types of information about the classification of an object (or multiple objects).
  • information about the classification of an object may include at least one of the following: the name of the object, the type of object, the number of objects, information about purchasing ingredients, and information about the arrival or departure time of the object.
  • one or more processors (130) may obtain information on shopping for purchasing food ingredients, etc., as information on classification of items by referring to data on items being received and shipped (e.g., information on a recent purchase list of food ingredients).
  • FIG. 3 is a detailed block diagram illustrating a refrigerator according to at least one embodiment of the present disclosure.
  • a refrigerator (100) may include a camera (110), a memory (120), one or more processors (130), an output device (140), a communication device (150), a microphone (160), and a sensor (170). Parts that overlap with the above description will be omitted or abbreviated.
  • the output device (140) can provide various feedbacks.
  • the output device (140) may include a speaker (141), a display (142), and light emitting diodes (LEDs) (143), as illustrated in FIG. 1 , or may further include other output devices (e.g., a haptic providing device, etc.), and any of the examples of the output device (140) described above may be omitted.
  • this is merely an example and is not limited thereto.
  • a speaker (141) may be installed inside or outside the refrigerator (100) to provide various auditory feedback through audio. For example, if the captured image of food items being stored in the refrigerator is insufficient to obtain food information, one or more processors (130) may output audio such as "Please rotate the food slightly before taking the picture" through the speaker (141).
  • the LED (143) is installed in the storage compartment or inside the door of the refrigerator (100) and can provide various visual feedback through indicators of a specific shape and blinking, etc.
  • the display (142) may be positioned in at least a portion of one or more doors of the refrigerator to provide various visual feedback to the user.
  • the display (142) may display a user registration UI (User Interface) requesting whether to save captured images in data regarding items being brought in and out.
  • the user registration UI may include an area where the user can directly register the brand name and type of the object in the photographed image of the object being stored in and out of the refrigerator (100).
  • the user registration UI may be referred to by various terms such as user DB registration, user database lock, user registration information, etc.
  • the display (142) may display an object classification UI that includes information about object classification. For example, if two orange juices are stored in the refrigerator (100), the display (142) may display a UI that includes information about the product name of the orange juice, the date the orange juices were stored, the expiration date of the orange juice, and the number of orange juices remaining in the storage compartment.
  • the information contained in the object classification UI can be referred to by various terms, such as grocery information, grocery classification information, grocery list, and product information. These are described in detail in Figure 10.
  • the communication device (150) can communicate with an external server and/or an external terminal device.
  • the communication device (150) can receive an image containing food or information about food from an external server to obtain information about food.
  • the communication device (150) can receive images containing groceries or information about groceries, etc., to obtain information about groceries from the user terminal.
  • the operation of performing communication with an external device is described in detail in FIG. 13.
  • the communication device (150) may include wired and/or wireless input and/or output interfaces (or input and/or output terminals) according to various standards.
  • one or more connection interfaces of the communication device (150) may include various interfaces such as HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port, D-SUB (D-subminiature), DVI (Digital Visual Interface), AP-based Wi-Fi (e.g., Wi-Fi, Wireless LAN network), Bluetooth, Zigbee, wired/wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, AES/EBU (Audio Engineering Society/European Broadcasting Union), optical, coaxial, etc.
  • HDMI High Definition Multimedia Interface
  • MHL Mobile High-Definition Link
  • USB Universal Serial Bus
  • DP Display Port
  • Thunderbolt VGA (Video Graphics
  • the sensor (170) can detect the operating status of the refrigerator (100) (e.g., power or temperature) or the external environmental status (e.g., user status) and generate an electrical signal or data value corresponding to the detected status.
  • the sensor (170) can include one or more sensors, and a plurality of sensors can be placed at different locations within the refrigerator (100).
  • one or more processors (130) can measure the temperature of one or more storage compartments of the refrigerator (100) using the sensing values acquired through the sensors (170).
  • one or more processors (130) may recognize that a user is approaching through a sensor (170) and control the camera (110) to be ready. Alternatively, one or more processors (130) may detect that a door is open through a sensor (170) and operate the camera (110).
  • one or more processors (130) may detect a signal for photographing an object corresponding to a guide provided based on the user's movement through a sensor (170). In this case, one or more processors (130) may control the camera (110) to obtain additional images of the object.
  • FIG. 4 is a diagram for explaining an operation of obtaining data on an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • One or more processors (130) can detect objects being entered or exited by a user's actions and obtain information on the classification of objects being entered or exited.
  • processors (130) when one or more processors (130) detect a user's movement of putting groceries (20) into a refrigerator (410), they can control a camera (110) to acquire a photographic image (21) of the groceries (20) being placed.
  • the acquired photographic image can be input into a trained neural network model (e.g., a food classification model) (420).
  • a trained neural network model e.g., a food classification model
  • the photographed image can be input into a learned neural network model (e.g., feature matching model) to compare the photographed image with previously stored data (e.g., data on items being received or shipped) to identify similarity (440).
  • a learned neural network model e.g., feature matching model
  • One or more processors (130) can select data about objects being received or shipped that have a similarity level higher than a preset level with respect to a photographed image among the stored data about objects being received or shipped, and obtain information about object classification based on the data about the selected objects being received or shipped.
  • one or more processors (130) can obtain product classification information such as “product name ABC and tomato juice” by using user DB (Database) Matching and “matching is successful” (451).
  • one or more processors (130) may "fail to match” and fail to obtain product classification information (452).
  • this is merely an example, and the success or failure of the match may be determined by other criteria and/or methods.
  • one or more processors (130) cannot obtain information on object classification based on the data on the selected object being received or shipped, they can provide a guide for obtaining additional images based on the obtained captured images.
  • processors (130) may directly request additional registration from the user in addition to providing guidance for obtaining additional images.
  • the refrigerator (100) may request the user through the speaker (141) or the display (142) whether to store a photographed image in the data for the selected item being received or shipped, and when an input from the user corresponding to the request is received, the refrigerator (100) may proceed with additional registration by storing the photographed image in the data for the selected item being received or shipped.
  • processors (130) Even if one or more processors (130) have obtained information about the classification of an object based on data about the selected object being received or shipped, they may perform an operation to obtain additional images if additional images are required.
  • one or more processors (130) may provide guidance for acquiring additional images if the classification of incoming and outgoing food is incorrectly recognized or if the product matching results are incorrect. (For example, this may apply when information on the classification of objects obtained through a food classification model or feature extraction model does not match the incoming food (20).)
  • one or more processors (130) can acquire additional images via the camera (110) and store the captured images and additional images as data regarding the object being received or shipped.
  • the operations for providing a guide for acquiring additional images and subsequent operations have been described above, so a redundant description thereof will be omitted.
  • One or more processors (130) can analyze the characteristics of objects being stored or shipped from the refrigerator (100) based on captured images. For example, captured images can be input into a feature analysis model to analyze the characteristics of objects being stored or shipped. However, this is not limited to this, and the feature analysis model can be included in various trained neural network models (e.g., feature extraction models).
  • One or more processors (130) can obtain information on the classification of objects being received or shipped based on the characteristics of the analyzed objects and store it in the memory (120).
  • FIG. 5 is a diagram for explaining an operation of acquiring data on an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) can generate a plurality of sample images for generating guide images related to the acquired photographed images.
  • the refrigerator (100) analyzes the features of an image (31) of a canned beverage, and inputs data (31') obtained by analyzing the features of the photographed image (31) into a trained neural network model (500) to generate a plurality of sample images (32-1, 32-2, 32-3, 32-4).
  • a sample image that does not correspond to a captured image can be generated as a guide image based on the similarity between the generated plurality of sample images and the captured image. This will be described in detail in FIG. 6.
  • a plurality of sample images may be generated based on data regarding shooting angles for objects being received or shipped.
  • the refrigerator (100) may obtain the angles at which objects enter or exit the actual refrigerator (100) based on images and angle values, and may generate images at shooting angles different from the obtained shooting angles as a plurality of sample images (32-1, 32-2, 32-3, 32-4).
  • a sample image (32-1) with a shooting angle different from the shooting angle of the captured image (e.g., (34,20,50) etc.) can be generated.
  • the first number in the shooting angle represents the "Pan angle” by which the camera rotates left or right
  • '15' in the shooting angle (15, 0, 50) could mean that the camera rotated 15 degrees to the right from the origin.
  • the second number in the shooting angle represents the "tilt angle", that is, the camera rotates up and down, and a '0' in a shooting angle of (15, 0, 50) could mean that the camera is not rotated in the vertical direction.
  • the third number in the shooting angle indicates the "zoom level," which is how far the camera zooms in or out.
  • "50” could mean that the captured image is zoomed in by about 50%.
  • FIG. 6 is a diagram for explaining an operation of obtaining data on an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • a sample image (32-3) having a high similarity to data (31') obtained by analyzing the features of a photographed image (31) of a canned beverage can be removed from an additional photographing View Point. That is, based on the similarity between the photographed image and the plurality of sample images, a sample image that does not correspond to the photographed image (e.g., a sample image having a low similarity to data (31')) can be generated as a guide image.
  • one or more processors (130) may analyze an image of an actual canned beverage and, if the shooting angle of the captured image is (15, 0, 50), remove a sample image (32-3) having a shooting angle of (15, 0, 50) from among a plurality of sample images from the guide image.
  • One or more processors (130) may generate sample images (32-1, 32-2, 32-4) that do not have a shooting angle of (15, 0, 50) as guide images (33-1, 33-2, 33-4).
  • the refrigerator (100) can compare the numerical values of the shooting angles of the plurality of sample images (32-1, 32-2, 32-3, 32-4) to identify the similarity between the data (31') obtained by analyzing the characteristics of the plurality of sample images (32-1, 32-2, 32-3, 32-4) and the shooting images.
  • the shooting angle of data (31') obtained by analyzing the features of the shooting image is (15, 0, 50)
  • the sample image closest to "Pan angle 15, Tilt angle 0, Zoom level 50%" among the sample images can be identified as having a high similarity and removed from the guide image.
  • FIG. 7 is a drawing for explaining an operation of acquiring an image of an object being put into or taken out of a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) may distinguish categories of objects and request additional photos of required areas for each category of objects being brought in and out.
  • the refrigerator (100) may request additional image capture of the front (41-1), side (41-2), and back (41-3) as photos of the required area in the canned beverage category.
  • the refrigerator (100) may provide a guide in the form of a sound (e.g., voice) and/or image, such as “Please additionally photograph the side (41-2) and back (41-3).”
  • a sound e.g., voice
  • image such as “Please additionally photograph the side (41-2) and back (41-3).”
  • the refrigerator (100) may provide guidance in the form of voice and/or images, such as, "Please also take an additional image of the bottom.”
  • the refrigerator (100) can identify that the incoming food item is an orange based solely on a photographed image taken in a specific direction. If the refrigerator (100) can obtain information about the classification of incoming and outgoing items solely from the photographed image, it may not request additional photography from the user.
  • the refrigerator (100) may have images of areas requiring photography set in advance for each category of objects. However, this is not limited thereto, and the refrigerator (100) may analyze the characteristics of objects in real time while photographing objects being brought in and out, and provide a guide requesting images of the required areas.
  • FIG. 8 is a drawing for explaining a UI that provides a guide for a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) can generate guide images (53-1, 53-2, 53-3, 53-4) based on the acquired captured images.
  • the user can register additional captured images corresponding to each guide image by clicking the capture button (801).
  • the registration progress of images requiring additional capture is 45% (806)
  • registration information regarding the progress can be provided to the user through the UI.
  • the refrigerator (100) can provide feedback (802) to the user that the photograph was taken properly according to the guide.
  • the refrigerator (100) can also use the guide image as a captured image (51-3) through user input, such as dragging. Similar to the feedback (802) indicating that the image was captured according to the guide, the refrigerator (100) can provide feedback (804) indicating that the guide image has been captured.
  • the refrigerator (100) can provide the user with feedback (805) requesting re-shooting along with feedback that the shot image (51-4) was not shot well according to the guide image (53-4) based on the identification of the similarity with which it corresponds.
  • the refrigerator (100) corresponds to the guide image (53-2), if there is an image that has not yet been captured (51-2), it can provide feedback (803) to the user that the image has not yet been captured.
  • FIG. 9 is a drawing for explaining a UI for registering an additional image according to a guide of a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) may provide guidance to the user, such as "Turn the food slightly and take a picture" (901). For example, guidance may be provided, such as a specific angle at which the food should be rotated.
  • the user can click the shooting button (902) to take additional shots and register additional images (61-1, 61-2, 61-4).
  • the refrigerator (100) can provide the user with guide images (63-1, 63-2, 63-2, 63-4) for additional shots until the additional registration is sufficient to obtain information about the classification of objects.
  • the refrigerator (100) can provide a UI to the user regarding the registration progress, taking into account the degree to which information on the classification of objects is sufficient and the degree of additional captured images.
  • the refrigerator (100) can display information that the registration progress is 75% (903), for example, through a circular progress bar.
  • the refrigerator (100) can easily provide users with various information related to image capture and/or progress using a progress bar.
  • this is not limited to this, and the method of providing information on registration progress can be varied.
  • the UI providing a guide for the refrigerator described in FIGS. 8 and 9 may be displayed on the display (142) of the refrigerator (100).
  • the refrigerator (100) may transmit information providing a guide for the refrigerator (100) to an external device to display the information on the display of the external device.
  • FIG. 10 is a diagram illustrating a UI that provides data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) when the refrigerator (100) acquires photographed images and additional images (71-1, 71-2, 71-3, 71-4) by the user, the refrigerator (100) can store the acquired images as data on objects being brought in and out and provide the user with information on object classification.
  • information regarding the classification of an item may include information regarding the product name of the item, the name of the food item, and the entry date ([Brand Name], [Food/Ingredient Name], [Entered date]).
  • this is not limited to this, and may include various other information, such as the time of shipment of the food item, the number of food items, or shopping information for the food item.
  • the refrigerator (100) can obtain information (142') about the classification of the items, such as the product name "AA”, the product type “Coffee”, and the date of receipt "Today", based on the photographed images and additional images (71-1, 71-2, 71-3, 71-4), and display the information on the display (142).
  • information (142') about the classification of the items such as the product name "AA”, the product type “Coffee”, and the date of receipt "Today"
  • the refrigerator (100) can obtain information (142') about the classification of the items, such as the product name "AA”, the product type “Coffee”, and the date of receipt "Today”, based on the photographed images and additional images (71-1, 71-2, 71-3, 71-4), and display the information on the display (142).
  • the refrigerator (100) if the refrigerator (100) identifies a groceries with a product name of "AA" and a product type of "Coffee” as having been shipped, the information regarding the shipped groceries may be deleted from the UI displaying information regarding the product classification. However, if two or more identical groceries have been shipped, the information regarding the product classification may not be deleted, but rather the number of groceries remaining in the refrigerator (100) may be updated and displayed.
  • information on object classification may also be provided in the form of audio through a speaker (141).
  • the information on object classification may include at least one of the following: object name, object type, number of objects, and information on the time of receipt or shipment of objects, but is not limited thereto.
  • FIG. 11 is a diagram for explaining a UI that provides data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) may display a list of captured images on the display (142) and provide them to the user in the form of a function that shows the list of captured images along with the inventory history or usage history.
  • the user may directly register similar captured images as information about a specific food product by utilizing the function that shows the inventory history or usage history.
  • the user can select the images (142-1) taken at AM 01:40 and AM 01:39 and register the selected images as image data for "AA Coffee".
  • the refrigerator (100) may automatically identify similar images (142-1) and display a UI requesting the user to register them in the food DB.
  • the refrigerator (100) may also display a UI including notification information on objects being brought in and out.
  • the refrigerator (100) may analyze the receiving or shipping pattern of the received or shipped items based on information about the received or shipped items, and output notification information about the received or shipped items based on the analyzed receiving or shipping pattern through the speaker (141) and/or display (142).
  • notification information for items being received or shipped may refer to various notification information related to the items being received or shipped.
  • notification information for items being received or shipped may include repurchase notifications for the item, notifications for similar items, consumption notifications for the item, and recipe notifications for the item.
  • this is not limited to this, and may also include various information useful to the user based on the pattern of items being received or shipped.
  • the UI providing data on items being brought in and out as described in FIGS. 10 and 11 may be displayed on the display (142) of the refrigerator (100).
  • the present invention is not limited thereto, and the refrigerator (100) may transmit data on items being brought in and out to an external device and display the data on items being brought in and out on the display of the external device.
  • FIG. 12 is a drawing for explaining an operation of extracting features for an object being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) can input a photographed image into a learned neural network model (e.g., an image transformation model) and extract features of an object based on the output image.
  • a learned neural network model e.g., an image transformation model
  • the refrigerator (100) can input (1210) the captured image into an image conversion model and output (1220) the converted image as an image having a preset level of quality (e.g., a level of specifications supported by the refrigerator camera).
  • the refrigerator (100) can extract (1230) the features of the object based on the converted image.
  • the "quality" of the image may include the image quality, brightness, features, etc. of the image. Accordingly, the refrigerator (100) may convert a high-quality image into a low-quality image, and then extract feature information about the object based on the converted low-quality image.
  • FIG. 13 is a diagram illustrating an example of a refrigerator receiving data from various electronic devices according to at least one embodiment of the present disclosure.
  • the refrigerator (100) can communicate with various external devices, such as a user terminal device and a server device, through a communication device (150).
  • the refrigerator (100) can receive an image captured by a user terminal device (200) and use the received image as a captured image.
  • the refrigerator (100) can communicate directly with a user terminal device (200) through a communication device (150), but this is only one embodiment, and it is of course possible to communicate with an external user terminal device through a server.
  • the refrigerator (100) may use the received image in a form converted into an image with low quality.
  • the refrigerator (100) may receive data about objects from the server device (300).
  • the refrigerator (100) may receive information about food images and product names of affiliated businesses from the server device (300). Accordingly, the refrigerator (100) may automatically register information about food items in the user food database based on the information received from the server device (300).
  • FIG. 14 is a flowchart illustrating an operation for managing data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) can capture an image by taking a picture of the object (S1410).
  • the refrigerator (100) can capture an image of the object by detecting the movement of the object being put into or taken out.
  • the refrigerator (100) When the refrigerator (100) acquires a photographic image of an object being stored or shipped into the refrigerator, it can provide a guide for acquiring additional images based on the acquired photographic image (S1420). Since an embodiment of a method for providing a guide based on the acquired photographic image has been described above, a redundant description will be omitted.
  • the refrigerator (100) can acquire additional images (S1430).
  • the refrigerator (100) can detect the movement of objects entering or leaving the refrigerator and perform additional photography.
  • the refrigerator (100) can register the images acquired through the additional photography as additional images.
  • the refrigerator (100) can store captured images and additional images as data for items being received or shipped (S1440).
  • the operation of the refrigerator (100) storing captured images and additional images as data for items being received or shipped may be included in the operation of registering additional images.
  • the refrigerator (100) can analyze the characteristics of objects based on data about objects being put in and out of the refrigerator (100), and obtain information about object classification based on the analyzed characteristics of the objects.
  • FIG. 15 is a flowchart illustrating an operation for managing data on objects being stored in or shipped from a refrigerator according to at least one embodiment of the present disclosure.
  • the refrigerator (100) fails to obtain information on the classification of an object, it can identify similarity by comparing the captured image with data (e.g., previously stored data) regarding objects being received or shipped (S1510).
  • the refrigerator (100) can identify similarity by comparing various characteristic information, such as the shape and angle of the object included in the image.
  • the refrigerator (100) can select data regarding incoming or outgoing objects whose similarity with the photographed image is above a preset level among data regarding incoming or outgoing objects (S1520).
  • the refrigerator (100) can select data regarding incoming or outgoing objects with a high similarity level and identify the selected data as data regarding objects actually being incoming or outgoing.
  • the refrigerator (100) can obtain information on classification of items based on data on selected items to be received or shipped (S1530).
  • the user can conveniently manage the food items stored in the refrigerator (100). Ultimately, this can improve the user experience.
  • one or more processors (130) are controlled to process input data according to predefined operation rules or artificial intelligence models stored in the memory (120).
  • the predefined operation rules or artificial intelligence models may be characterized as having been created through learning.
  • created through learning means that a predefined set of behavioral rules and/or an artificial intelligence model with desired characteristics is created by applying a learning algorithm to a large number of learning data. This learning may be performed on the device itself, where the artificial intelligence according to the present disclosure is implemented, or through a separate server/system.
  • An artificial intelligence model (e.g., a first object detection network and a second object detection network) may be composed of multiple neural network layers. At least one layer has at least one weight value and performs its operation through the operation result of a previous layer and at least one defined operation.
  • Examples of neural networks include a convolutional neural network (CNN), a deep neural network (DNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, and a transformer, and the neural networks in the present disclosure are not limited to the above-described examples unless otherwise specified.
  • a learning algorithm is a method for training a target device using a large amount of learning data, enabling the target device to make decisions or predictions on its own.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning. Unless otherwise specified, the learning algorithms in this disclosure are not limited to the aforementioned examples.
  • control method described in FIGS. 14 and 15 can be performed by devices having various configurations, such as those of FIGS. 2 and 3 described above, but is not necessarily limited thereto, and can also be performed by devices having various configurations.
  • Various embodiments of the present disclosure may be implemented as software stored in a machine-readable storage media that can be installed or connected to a smartphone, a user terminal device, or other various electronic devices (e.g., a computer).
  • a non-transitory readable storage medium may be provided in which software is stored for performing the steps of: when an object is received or shipped from a refrigerator, taking a picture of the object; when an image of the object being received or shipped from the refrigerator is obtained, providing a guide for obtaining an additional image based on the obtained image; when a signal for taking a picture of an object corresponding to the provided guide is detected, taking an additional image; and storing the taken image and the additional image as data for the object being received or shipped.
  • a device equipped with such a non-transitory readable medium can perform various operations, such as tag identification, confirmation of importance for each of multiple frames, and creation of an edited video, corresponding to the user actions described in the various embodiments described above.
  • non-transitory readable storage media 'non-transitory' means that the storage medium does not contain only signals and is tangible, but does not distinguish between whether data is stored semi-permanently or temporarily on the storage medium.
  • a program for performing the method according to the various embodiments described above may be distributed online through an application store.
  • at least a portion of the computer program product may be temporarily stored or temporarily generated on a storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • Each component e.g., a module or a program
  • some components e.g., a module or a program
  • operations performed by a module, program or other component may be executed sequentially, in parallel, iteratively or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고 및 이의 제어 방법이 제공된다. 본 냉장고는 카메라, 인스트럭션들이 저장된 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함하며, 적어도 하나의 프로세서는 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써, 냉장고에 사물이 입고 또는 출고되면, 사물을 촬영하도록 상기 카메라를 제어하고, 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공하고, 제공된 가이드에 대응되는 사물을 촬영하기 위한 신호가 감지되면, 카메라를 통해 추가 이미지를 획득하고, 촬영 이미지 및 추가 이미지를 입고 또는 출고되는 사물에 대한 데이터로 저장한다.

Description

냉장고 및 이의 제어 방법
본 개시의 하나 이상의 실시예는 냉장고 및 그 제어 방법에 관한 것으로, 보다 상세하게는, 냉장고에 입고 및/또는 출고되는 식료품을 촬영하여 식료품에 대한 정보를 관리하는 냉장고 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치들이 일상 생활에서 사용되고 있다. 이러한 전자 장치들 중에는 신경망 모델을 이용한 스마트 냉장고 등이 있을 수 있다.
일반적으로 냉장고는 식료품을 저장하는 저장실과, 저장실에 냉기를 공급하는 냉기 공급 장치를 구비하여 식료품을 장기간 신선하게 보관할 수 있는 가전 기기이다.
특히, 근래의 냉장고는 저장실을 포함하는 본체에 카메라를 구비하여 본체 내부를 촬영할 수 있다. 그리고, 냉장고는 촬영된 영상에 기초하여 현재 냉장고에 저장된 식료품에 대한 정보를 획득하고, 획득된 식료품에 대한 정보를 사용자에게 제공하고 있다.
본 개시의 적어도 하나의 실시 예에 따르면, 냉장고는, 카메라, 인스트럭션들이 저장된 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는 상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써, 상기 냉장고에 사물이 입고 또는 출고되면, 상기 사물을 촬영하도록 상기 카메라를 제어하고, 상기 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 상기 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공하고, 제공된 상기 가이드에 대응되는 사물을 촬영하기 위한 신호가 감지되면, 상기 카메라를 통해 추가 이미지를 획득하고, 상기 촬영 이미지 및 상기 추가 이미지를 상기 입고 또는 출고되는 사물에 대한 데이터로 저장한다.
또한, 본 개시의 적어도 하나의 실시 예에 따르면, 냉장고의 제어 방법은, 상기 냉장고에 사물이 입고 또는 출고되면, 상기 사물을 촬영하는 단계, 상기 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 상기 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공하는 단계, 제공된 상기 가이드에 대응되는 상기 사물을 촬영하기 위한 신호가 감지되면, 추가 이미지를 획득하는 단계 및 상기 촬영 이미지 및 상기 추가 이미지를 상기 입고 또는 출고되는 사물에 대한 데이터로 저장하는 단계를 포함한다.
본 개시의 실시 예들의 상술 하거나 다른 측면, 특징, 이익들은 첨부 도면을 참조한 아래의 설명으로부터 더욱 명백해질 것이다.
도 1은 본 개시의 적어도 일 실시 예에 따른 냉장고의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 적어도 일 실시 예에 따른 냉장고의 구성을 도시한 블록도이다.
도 3은 본 개시의 적어도 일 실시 예에 따른 냉장고를 설명하기 위한 상세 블록도이다.
도 4는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 획득하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 획득하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 획득하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 이미지를 획득하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 적어도 일 실시 예에 따른 냉장고의 가이드를 제공하는 UI(User Interface)를 설명하기 위한 도면이다.
도 9는 본 개시의 적어도 일 실시 예에 따른 냉장고의 가이드에 따라 추가 이미지를 등록하는 UI를 설명하기 위한 도면이다.
도 10은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 제공하는 UI를 설명하기 위한 도면이다.
도 11은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 제공하는 UI를 설명하기 위한 도면이다.
도 12는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 특징을 추출하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 적어도 일 실시 예에 따른 냉장고가 다양한 전자 장치로부터 데이터를 수신하는 예를 설명하기 위한 도면이다.
도 14는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 관리하는 동작을 설명하기 위한 흐름도이다.
도 15는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 관리하는 동작을 설명하기 위한 흐름도이다.
본 개시(Disclosure)의 다양한 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 다양한 실시 예들 및 이에 사용된 용어들은 본 개시에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 개시에서, "적어도 하나"와 같은 문구가 나열된 항목들 앞에 올 때, 이 문구는 전체 항목을 수식하며, 개별 항목들을 수식하지 않는다. 또한, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A와 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
"제1", "제2", "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결되는 것을 의미한다.
"포함하다" 또는 "가지다"등의 용어는 본 개시에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
어떤 구성요소가 다른 구성요소와 "연결", "결합", "지지" 또는 "접촉"되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다.
어떤 구성요소가 다른 구성요소 "상에" 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우뿐 아니라 어떤 구성요소 및 다른 구성요소사이에 또 다른 구성요소가 존재하는 경우도 포함한다.
일 실시 예에 따른 냉장고는 본체를 포함할 수 있다.
"본체"는 내상과, 내상의 외측에 배치되는 외상과, 내상과 외상의 사이에 마련되는 단열재를 포함할 수 있다.
"내상"은 저장실을 형성하는 케이스(case), 플레이트(plate), 패널(panel) 또는 라이너(liner) 중 적어도 하나를 포함할 수 있다. 내상은 하나의 몸체로 형성될 수도 있으며 또는 복수의 플레이트들이 조립되어 형성될 수 있다. "외상"은 본체의 외관을 형성할 수 있으며, 내상과 외상의 사이에 단열재가 배치되도록 내상의 외측에 결합될 수 있다.
"단열재"는 저장실 내부의 온도가 저장실 외부 환경에 의해 영향을 받지 않고 설정된 적정 온도로 유지될 수 있도록 저장실 내부와 저장실 외부를 단열할 수 있다. 일 실시예에 따르면 단열재는 발포 단열재를 포함할 수 있다. 내상과 외상의 사이에 폴리우레탄과 발포제가 혼합된 우레탄폼을 주입 및 발포시킴으로써 발포 단열재를 성형할 수 있다.
일 실시예에 따르면 단열재는 발포 단열재 이외에 추가로 진공 단열재를 포함하거나, 단열재는 발포 단열재 대신 진공 단열재만으로 구성될 수도 있다. 진공 단열재는 심재와, 심재를 수용하고 내부를 진공 또는 진공에 가까운 압력으로 밀봉하는 외피재를 포함할 수 있다. 다만, 단열재는 상기한 발포 단열재 또는 진공 단열재에 한정되는 것은 아니고 단열을 위해 사용될 수 있는 다양한 소재를 포함할 수 있다.
"저장실"은 내상에 의해 한정되는 공간을 포함할 수 있다. 저장실은 저장실에 대응되는 공간을 한정하는 내상을 더 포함할 수 있다. 저장실에는 식품, 약품, 화장품 등 다양한 물품이 저장될 수 있으며, 저장실은 물품을 출납하기 위해 적어도 일측이 개방되도록 형성될 수 있다.
냉장고는 한 개 또는 그 이상의 저장실을 포함할 수 있다. 냉장고에 2 개 이상의 저장실이 형성될 때 2개 이상의 저장실은 서로 다른 용도를 가질 수 있으며 서로 다른 온도로 유지될 수 있다. 이를 위해 각각의 저장실은 단열재를 포함하는 격벽에 의해 서로 구획될 수 있다.
저장실은 용도에 따라 적정한 온도 범위에서 유지되도록 마련될 수 있으며, 그 용도 및/또는 온도 범위에 따라 구분되는 "냉장실", "냉동실"또는 "변온실"을 포함할 수 있다. 냉장실은 물품을 냉장 보관하기에 적정한 온도로 유지될 수 있고, 냉동실은 물품을 냉동 보관하기에 적정한 온도로 유지될 수 있다. "냉장"은 물품을 얼지 않는 한도에서 차갑게 냉각하는 것을 의미할 수 있으며, 일례로 냉장실은 섭씨 0도에서 섭씨 영상 7도 범위에서 유지될 수 있다. "냉동"은 물품을 얼리거나 언 상태로 유지되도록 냉각하는 것을 의미할 수 있으며, 일례로 냉동실은 섭씨 영하 20도 내지 섭씨 영하 1도 범위에서 유지될 수 있다. 변온실은 사용자의 선택 또는 이와 무관하게 냉장실 또는 냉동실 중 어느 하나로 사용될 수 있다.
저장실은 "냉장실", "냉동실" 및 "변온실" 등의 명칭 이외에도 "야채실", "신선실", "쿨링실" 및 "제빙실" 등 다양한 명칭으로 불릴 수 있으며, 이하에서 사용되는 "냉장실", "냉동실" 및 "변온실" 등의 용어는 각각 대응되는 용도 및 온도 범위를 갖는 저장실을 포괄하는 의미로 이해되어야 할 것이다.
일 실시예에 따르면 냉장고는 저장실의 개방된 일측을 개폐하도록 구성되는 적어도 하나의 도어를 포함할 수 있다. 도어는 한 개 또는 그 이상의 저장실 각각을 개폐하도록 구비되거나, 도어 하나가 복수의 저장실을 개폐하도록 구비될 수 있다. 도어는 본체의 전면에 회전 또는 슬라이딩 가능하게 설치될 수 있다.
"도어"는 도어가 닫힐 시에 저장실을 밀폐하도록(또는 덮도록) 구성될 수 있다. 도어는 도어가 닫힐 시에 저장실을 단열하도록 본체와 마찬가지로 단열재를 포함할 수 있다.
일 실시예에 따르면 도어는 도어의 전면을 형성하는 도어 외판과, 도어의 후면을 형성하고 저장실을 마주보는 도어 내판과, 상부 캡과, 하부 캡 및 도어의 구성요소들의 내부에 마련되는 도어 단열재를 포함할 수 있다.
도어 내판의 테두리에는 도어가 닫혔을 때 본체의 전면에 밀착됨으로써 저장실을 밀폐하는 가스켓이 마련될 수 있다. 도어 내판은 물품을 보관할 수 있는 도어 바스켓이 장착되도록 후방으로 돌출되는 다이크(dyke)를 포함할 수 있다.
일 실시예에 따르면 도어는 도어 바디와, 도어 바디의 전측에 분리 가능하게 결합되고 도어의 전면을 형성하는 전방 패널을 포함할 수 있다. 도어 바디는 도어 바디의 전면을 형성하는 도어 외판, 도어 바디의 후면을 형성하고 저장실을 마주보는 도어 내판, 상부 캡, 하부 캡 및 도어의 구성요소들의 내부에 마련되는 도어 단열재를 포함할 수 있다.
냉장고는 도어 및 저장실의 배치에 따라 프렌치 도어 타입(French Door Type), 사이드 바이 사이드 타입(Side-by-side Type), BMF(Bottom Mounted Freezer), TMF(Top Mounted Freezer) 또는 1도어 냉장고 등으로 구별될 수 있다.
일 실시예에 따르면 냉장고는 저장실에 냉기를 공급하도록 마련되는 냉기 공급 장치를 포함하도록 구성될 수 있다.
"냉기 공급 장치"는 냉기를 생성하고 냉기를 안내하여 저장실을 냉각할 수 있는 기계, 기구, 전자 장치 및/또는 이들중 하나 이상을 조합한 시스템을 포함할 수 있다.
일 실시예에 따르면 냉기 공급 장치는 냉매의 압축, 응축, 팽창 및 증발 과정을 포함하는 냉동 사이클을 통해 냉기를 생성할 수 있다. 이를 위해 냉기 공급 장치는 냉동 사이클을 구동시킬 수 있는 압축기, 응축기, 팽창 장치 및 증발기를 갖는 냉동 사이클 장치를 포함할 수 있다. 일 실시예에 따르면 냉기 공급 장치는 열전 소자와 같은 반도체를 포함할 수 있다. 열전 소자는 펠티어 효과를 통한 발열 및 냉각 작용으로 저장실을 냉각할 수 있다.
일 실시예에 따르면 냉장고는 냉기 공급 장치에 속한 적어도 일부 부품들이 배치되도록 마련되는 기계실을 포함할 수 있다.
"기계실"은 기계실에 배치되는 부품에서 발생되는 열이 저장실에 전달되는 것을 방지하기 위해 저장실과 구획 및 단열되도록 마련될 수 있다. 기계실 내부에 배치된 부품을 방열하도록 기계실 내부는 본체의 외부와 연통되도록 구성될 수 있다.
일 실시예에 따르면 냉장고는 물 및/또는 얼음을 제공하도록 도어에 마련되는 디스펜서를 포함할 수 있다. 디스펜서는 사용자가 도어를 개방하지 않고 접근 가능하도록 도어에 마련될 수 있다.
일 실시예에 따르면 냉장고는 얼음을 생성하도록 마련되는 제빙 장치를 포함할 수 있다. 제빙 장치는 물을 저수하는 제빙 트레이와, 제빙 트레이로부터 얼음을 분리시키는 이빙 장치와, 제빙 트레이에서 생성된 얼음을 저장하는 아이스 버킷을 포함할 수 있다.
일 실시예에 따르면 냉장고는 냉장고를 제어하기 위한 제어부를 포함하도록 구성될 수 있다.
"제어부"는 냉장고 제어와 관련된 프로그램 및/또는 데이터를 저장 및/또는 기억하는 적어도 하나의 메모리와, 메모리에 기억된 프로그램 및/또는 데이터에 따라 냉기 공급 장치 등을 제어하기 위한 제어 신호를 출력하는 적어도 하나의 프로세서를 포함할 수 있다.
적어도 하나의 메모리(이하, "메모리"로 지칭한다.)는 냉장고의 동작에 필요한 다양한 정보, 데이터, 명령어, 프로그램 등을 저장 또는 기록한다. 메모리는 냉장고에 포함된 구성들과 관련된 제어 신호를 생성하는 중에 발생하는 임시 데이터를 기억할 수 있다. 메모리는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
적어도 하나의 프로세서(이하, "프로세서"로 지칭한다.)는 냉장고 전반의 동작을 제어한다. 프로세서는 메모리에 저장된 프로그램을 실행하여, 냉장고의 구성 요소들을 제어할 수 있다. 프로세서는 인공지능 모델의 동작을 수행하는 별도의 NPU를 포함할 수 있다. 또한 프로세서는 중앙 처리부, 그래픽 전용 프로세서(GPU) 등을 포함할 수 있다. 프로세서는 냉기 공급 방치의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 예를 들어, 프로세서는 온도 센서로부터 저장실의 온도 정보를 수신하고, 저장실의 온도 정보에 기초하여 냉기 공급 장치의 동작을 제어하기 위한 냉각 제어 신호를 생성할 수 있다.
또한, 프로세서는 메모리에 저장된 프로그램 및/또는 데이터에 따라 사용자 인터페이스의 사용자 입력을 처리하고, 사용자 인터페이스의 동작을 제어할 수 있다. 사용자 인터페이스는 입력 인터페이스와 출력 인터페이스를 이용하여 제공될 수 있다. 프로세서는 사용자 인터페이스로부터 사용자 입력을 수신할 수 있다. 또한, 프로세서는 사용자 입력에 응답하여 사용자 인터페이스에 영상을 표시하기 위한 표시 제어 신호 및 영상 데이터를 사용자 인터페이스에 전달할 수 있다.
프로세서와 메모리는 일체로 마련되거나 또는 별도로 마련될 수 있다. 프로세서는 하나 이상의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서와 적어도 하나의 서브 프로세서를 포함할 수 있다. 메모리는 하나 이상의 메모리를 포함할 수 있다.
일 실시예에 따르면, 냉장고는 냉장고에 포함된 구성들을 모두 제어하는 적어도 하나의 프로세서 및 적어도 하나의 메모리를 포함하고 냉장고의 구성들을 개별 제어하는 복수의 프로세서들과 복수의 메모리들을 포함할 수 있다. 예를 들어, 냉장고는 온도센서의 출력에 따라 냉기 공급 장치의 동작을 제어하는 적어도 하나의 프로세서 및 적어도 하나의 메모리를 포함할 수 있다. 또한, 냉장고는 사용자 입력에 따라 사용자 인터페이스의 동작을 제어하는 적어도 하나의 프로세서와 적어도 하나의 메모리를 별도로 구비할 수 있다.
통신 인터페이스는 주변의 접속 중계기(AP: Access Point)를 통해 서버, 모바일 장치, 다른 가전 기기 등의 외부 장치와 통신할 수 있다. 접속 중계기(AP)는 냉장고 및/또는 사용자 기기가 연결된 지역 네트워크(LAN)를 서버가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. 냉장고 및/또는 사용자 기기는 광역 네트워크(WAN)를 통해 서버에 연결될 수 있다.
예를 들어, 입력 인터페이스는 키, 터치스크린, 마이크로폰 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 입력 인터페이스는 사용자 입력을 수신하여 사용자 입력을 프로세서로 전달할 수 있다.
예를 들어, 출력 인터페이스는 디스플레이, 스피커 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 출력 인터페이스는 프로세서에서 생성된 다양한 알림, 메시지, 정보 등을 출력할 수 있다.
본 개시에서 냉장고가 가이드(또는 가이드 정보)를 "제공(provide)"하는 의미는 냉장고에 포함된 디스플레이를 통해 가이드를 표시하는 것뿐만 아니라, 냉장고와 통신 연결된 사용자 단말에게 가이드를 전송하여 사용자 단말의 디스플레이를 통해 가이드를 표시하는 것을 포함할 수 있다.
"및/또는"이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예에 따른 냉장고를 구체적으로 설명한다.
도 1은 본 개시의 적어도 일 실시 예에 따른 냉장고의 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 냉장고(100)는 입고 또는 출고되는 사물에 대한 촬영을 수행할 수 있다. 예를 들어, 사용자가 냉장고(100)에 식료품(10)을 넣는 경우, 냉장고는 식료품(10)의 움직임을 감지하여 식료품(10)에 대한 촬영 이미지를 획득할 수 있다.
일 실시예에 따른 냉장고(100)는 획득한 촬영 이미지에 기초하여 사물 분류에 대한 정보를 획득하지 못한 경우 추가 이미지를 획득하기 위한 가이드를 제공하여 추가 이미지를 획득할 수 있다. 냉장고(100)는 촬영 이미지 및 추가 이미지에 기초하여 사물에 대한 데이터로 저장할 수 있다.
여기서 "촬영 이미지"는 사물에 대해 촬영을 진행하여 획득한 이미지를 의미할 수 있다. 예를 들어, 냉장고(100)에 의해 촬영된 이미지를 의미할 수 있고, 외부 장치(예로, 사용자 단말 장치, 서버 장치 등)로부터 획득한 촬영 이미지를 의미할 수도 있다.
여기서 "추가 이미지"는 사물에 대해 추가로 촬영을 진행하여 획득한 이미지를 의미할 수 있다. 예를 들어, 촬영 이미지는 냉장고에 입고 또는 출고되는 사물에 대하여 자동으로 촬영하여 획득한 이미지를 의미할 수 있고, 추가 이미지는 촬영 이미지를 획득한 후에 촬영 가이드에 따라 추가로 촬영을 진행하여 획득한 이미지를 의미할 수도 있다.
추가 이미지는 냉장고에 입고 또는 출고되는 사물 분류에 대한 정보를 충분히 확보할 수 있을 정도로 다양한 촬영 각도의 이미지를 포함할 수도 있다. 예를 들면, 입고 또는 출고 되는 식료품이 캔 음료로 식별된 경우, 냉장고(100)는 캔 음료의 앞면, 측면 및/또는 옆면에 대한 이미지를 추가로 요청할 수 있다.
본 개시의 "촬영 이미지"는 추가 이미지를 포괄하는 개념일 수 있으며, 다르게는 촬영 영상, 이미지, 추가 촬영 이미지, 식료품 이미지, 이미지 데이터 등으로 표현할 수도 있다.
도 1에서, 냉장고(100)는 일반적인 가정용 냉장고의 형상으로 도시되었으나, 이에 한정되는 것은 아니며, 다양한 종류의 냉장고, 예를 들어, 김치 냉장고, 주류 냉장고, 화장품 냉장고, 냉동고 등일 수 있으나, 이에 한정 되는 것은 아니다.
도 2는 본 개시의 적어도 일 실시 예에 따른 냉장고의 구성을 도시한 블록도이다.
도 2를 참조하면, 냉장고(100)는 카메라(110), 하나 이상의 메모리(120, 이하, "메모리"로 지칭한다.) 및 하나 이상의 프로세서(130)를 포함할 수 있다. 냉장고(100)는 식료품이나 약품 따위를 차게 하거나 부패하지 않도록 기설정된 온도 또는 그보다 낮은 온도에서 보관하기 위한 장치일 수 있다.
냉장고(100)에 입고 또는 출고(이하, 간략하게 "입출고"라고 함)되는 사물은 식료품, 화장품 등 기설정된 온도 또는 그보다 낮은 온도에서 보관이 필요한 사물을 포함하며, 설명의 편의상, 이하에서는 주로 식료품을 예시로 하여 후술한다.
카메라(110)는 사물을 촬상하고 촬상 영상을 생성할 수 있으며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함할 수 있다. 본 개시의 "이미지"는 디스플레이 상에 출력되는 이미지 및 카메라(110)에 의해 촬영되는 이미지 프레임을 모두 포함하는 개념일 수 있다.
특히, 카메라(110)는 냉장고(100)의 본체 내부의 저장실 및 도어의 도어빈(또는 도어 바스켓, 팬트리 등) 영역을 촬영할 수 있다. 카메라(110)는 본체 내부 및 도어의 도어빈 영역을 촬영하기 위하여 본체 내부의 상단 영역, 하단 영역, 측면 영역 중 적어도 하나에 구비될 수 있다. 또한, 카메라(110)는 냉장고(100)의 외부에 구비되어 냉장고(100)의 외부를 촬영할 수 있다. 즉, 카메라(110)는 하나의 카메라로 구현될 수 있을 뿐만 아니라, 실시예에 따라 복수의 카메라로 구현될 수 있음은 물론이다.
냉장고(100)는 저장실의 적어도 일부 및 도어의 도어빈을 촬영하기 위하여 본체의 상단 영역에 카메라(110)를 포함할 수 있다. 다만 이에 한정되는 것은 아니며, 카메라(110)는 본체 내부의 다른 영역(예를 들어, 후면 영역, 하단 영역, 측면 영역 등)에 위치하거나, 복수개 구비될 수도 있다.
또한, 카메라(110)는 식료품의 입출고를 관리하기 위하여 프로세서(130)로 촬영된 이미지를 제공할 수 있다.
또한, 카메라(110)는 넓은 화각을 촬영하기 위하여 광각 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니다.
메모리(120)는 냉장고(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 냉장고(100)의 구성요소와 관련된 인스트럭션, 인스트럭션들을 포함하는 컴퓨터 프로그램, 사물에 대한 데이터 또는 사물 분류에 대한 정보를 저장할 수 있다.
특히, 메모리(120)는 식료품의 입출고를 관리하기 위한 다양한 구성을 저장할 수 있다. 또한, 메모리(120)는 냉장고(100)에 저장된 식료품에 대한 정보(예로, 식료품의 유형, 식료품의 용량, 식료품의 유통기한, 식료품의 저장 위치 등)를 저장하는 식료품 데이터베이스(DB)를 저장할 수 있다.
또한, 메모리(120)는 일 실시예에 따라, 냉장고(100)에 입고 또는 출고된 식료품에 대응되는 특징 정보를 획득하기 위한 학습된 신경망 모델(예로, 식품 분류 모델 등)을 저장할 수 있다. 또는 이에 더하여, 메모리(120)는 냉장고(100)에 입고 또는 출고된 식료품을 인식하기 위한 학습된 신경망 모델(예로, 입출고 인식 모델 등)을 저장할 수 있다.
다만, 이에 한정되는 것은 아니며, 다양한 신경망 모델, 데이터 베이스(DB) 등은 냉장고(100)의 메모리(120)에 저장될 수도 있고, 서버 등 외부 장치에 저장될 수도 있다.
메모리(120)는 냉장고(100)에 입출고되는 식료품에 대한 촬영 이미지를 변환하기 위한 학습된 신경망 모델을 저장할 수 있다. 또는 이에 더하여, 메모리(120)는 냉장고(100)에 입출고되는 사물에 대한 특징을 분석하고 분석한 사물의 특징에 기초하여 입출고되는 사물 분류에 대한 정보를 획득하기 위한 학습된 신경망 모델(예로, 특징 추출 모델 또는 특징 매칭 모델)을 저장할 수 있다.
또는 이에 더하여, 메모리(120)는 냉장고(100) 실제 내부나 입출고되는 사물을 촬영한 이미지를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 냉장고(100)에 임베디드된 메모리 형태로 구현되고 또는 냉장고(100)에 탈착 및/또는 부착이 가능한 메모리 형태로 구현될 수도 있다.
예를 들어, 냉장고(100)의 구동을 위한 데이터는 냉장고(100)에 임베디드된 메모리에 저장되고, 냉장고(100)의 확장 기능을 위한 데이터는 냉장고(100)에 탈착 및/또는 부착이 가능한 메모리에 저장될 수 있다.
냉장고(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 등과 같은 형태로 구현될 수 있다.
냉장고(100)에 탈착 및/또는 부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB(universal serial bus) 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
실시 예에 따라 하나 이상의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션에 따라 냉장고(100)의 동작을 전반적으로 제어할 수 있다. 구체적으로, 하나 이상의 프로세서(130)는 냉장고(100)의 각 구성과 연결되어 냉장고(100)의 동작을 전반적으로 제어할 수 있다.
실시 예에 따라, 하나 이상의 프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Timing controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 하나의 이상의 프로세서(130)는 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM(advanced RISC machine) 프로세서, AI(Artificial Intelligence) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다.
또한, 하나 이상의 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 하나 이상의 프로세서(130)는 메모리(120)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
하나 이상의 프로세서(130)는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다.
하나 이상의 프로세서(130)는 전자 장치의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서(130)는 메모리(120)에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 메모리(120)에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다.
예를 들어, 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 제 3 동작이 수행될 때, 제 1 동작, 제 2 동작, 및 제 3 동작 모두 제 1 프로세서에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 제 1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제 3 동작은 제 2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
하나 이상의 프로세서(130)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다.
하나 이상의 프로세서(130)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다.
멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 일 실시예에 따라, 하나 이상의 프로세서(130)는 냉장고(100)에 사물이 입고 또는 출고되면, 입출고되는 사물을 촬영하도록 카메라(110)를 제어할 수 있다. 하나 이상의 프로세서(130)는 냉장고(100)에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공할 수 있다.
여기서 "가이드"는 이미지 촬영에 대한 안내나 지침을 의미할 수 있다. 예를 들어, 가이드는 촬영 이미지에 기초하여 입고 또는 출고되는 사물 분류에 대한 정보를 획득할 수 있도록 촬영 각도에 대한 안내 정보를 포함할 수 있다. 가이드에 포함된 안내 정보는 음성(또는 오디오)으로 출력되거나 이미지 또는 텍스트로 표시될 수도 있다.
냉장고(100)에 입출고 되는 음료수 캔의 측면이 촬영된 경우, 하나 이상의 프로세서(130)는 음료수 캔의 분류에 대한 정보(예를 들어, 음료수의 상표, 종류 등)를 획득하기 위해 음료수 캔의 앞면을 촬영 하도록 사용자에게 가이드를 제공할 수 있다.
본 개시의 일 실시 예에 따라, 하나 이상의 프로세서(130)는 제공된 가이드에 대응되는 사물을 촬영하기 위한 신호가 감지되면, 카메라(110)를 통해 추가 이미지를 획득할 수 있다.
예를 들면, 사용자가 가이드 요청에 따라 카메라(110)에 사물이 보이도록 사물의 위치를 조정하면(또는 사물의 정면과 같은 요청된 위치), 하나 이상의 프로세서(130)는 사물의 위치 변화를 사물을 촬영하기 위한 신호로 감지하여 카메라(110)를 통해 사물에 대한 추가 이미지를 획득할 수 있다.
카메라(110)는 하나 이상의 카메라를 포함할 수 있고, 복수의 카메라를 포함하는 경우, 각 카메라(110)는 서로 다른 위치에서 입출고되는 사물을 촬영할 수도 있다. 예를 들어, 하나 이상의 프로세서(130)는 사물의 입출고를 인식하면, 복수의 카메라(110)를 통해 서로 다른 방향에서 사물을 촬영하고, 하나 이상의 촬영 이미지를 입출고되는 사물에 대한 데이터로 등록할 수 있다.
본 개시의 일 실시 예에 따라, 하나 이상의 프로세서(130)는 촬영 이미지 및 추가 이미지를 입고 또는 출고되는 사물에 대한 데이터로 저장할 수 있다. 예를 들면, 하나 이상의 프로세서(130)는 캔 음료를 촬영한 촬영 이미지를 획득하면, 캔 음료에 대한 분류 정보를 획득하기 위한 추가 이미지를 촬영 이미지와 함께 해당 캔 음료에 대한 데이터로 등록할 수 있다.
여기서, "입출고되는 사물에 대한 데이터"는 냉장고에 입출고되는 사물에 대한 다양한 정보를 의미할 수 있다. 예를 들어, 입출고되는 사물에 대한 데이터는 냉장고(100)에 입출고 되는 사물에 대한 촬영 이미지, 추가 이미지, 생성 이미지 및 외부 장치로부터 획득한 사물에 대한 데이터 등 사물 분류에 대한 정보를 획득하기 위한 다양한 유형의 데이터를 포함할 수 있다.
여기서 "사물(또는 복수의 사물들) 분류에 대한 정보"는 사물(또는 복수의 사물들)의 분류에 대한 다양한 정보를 의미할 수 있다. 예를 들어, 사물 분류에 대한 정보는 사물의 이름, 사물의 종류, 사물의 개수, 식재료 구매를 위한 정보 및 사물의 입고 또는 출고 시간에 대한 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 하나 이상의 프로세서(130)는 입출고되는 사물에 대한 데이터(예를 들어, 최근 식재료의 구매 목록 정보)를 참고하여 식재료 구매를 위한 쇼핑 등의 정보를 사물 분류에 대한 정보로 획득할 수도 있다.
도 3은 본 개시의 적어도 일 실시 예에 따른 냉장고를 설명하기 위한 상세 블록도이다.
도 3을 참조하면 본 개시의 일 실시 예에 따른 냉장고(100)는 카메라(110), 메모리(120), 하나 이상의 프로세서(130), 출력 장치(140), 통신 장치(150), 마이크(160) 및 센서(170)를 포함할 수 있다. 이하 상술한 설명과 중복되는 부분은 생략 내지 축약하여 설명한다.
출력 장치(140)는 다양한 피드백을 제공할 수 있다. 특히, 출력 장치(140)는 도 1에 도시된 바와 같이, 스피커(141), 디스플레이(142), LED(Light Emitting Diodes)(143) 등을 구비할 수 있으고, 또는 다른 출력 장치(예로, 햅틱 제공 장치 등)를 더욱 포함할 수 있고, 위에서 설명한 출력 장치(140)의 예들 중 어느 하나는 생략될 수 있다. 다만 이는 일 실시예에 불과할 뿐, 이에 한정되는 것은 아니다.
이때, 스피커(141)는 냉장고(100)의 내부 또는 외부에 구비되어 오디오를 통해 다양한 청각적 피드백을 제공할 수 있다. 예를 들면, 냉장고에 입고되는 식료품에 대한 촬영 이미지가 식료품 정보를 획득하기에 불충분한 경우, 하나 이상의 프로세서(130)는 스피커(141)를 통해 "식품을 조금 돌려서 촬영하세요"와 같은 오디오를 출력할 수 있다.
LED(143)는 냉장고(100) 내부의 저장실 또는 도어 내부에 구비되어 특정 형상의 인디케이터 및 깜빡임 등을 통해 다양한 시각적 피드백을 제공할 수 있다.
디스플레이(142)는 냉장고의 하나 이상의 도어중 적어도 일부 영역에 위치하여 사용자에게 다양한 시각적 피드백을 제공할 수 있다. 특히, 디스플레이(142)는 입출고되는 사물에 대한 데이터에 촬영 이미지를 저장할지 여부를 요청하는 하는 사용자 등록 UI(User Interface)를 표시할 수 있다.
사용자 등록 UI는 냉장고(100)에 입출고되는 사물에 대한 촬영 이미지에 대하여 사용자가 직접 사물의 상표명, 종류를 등록하는 영역을 포함할 수 있다. 사용자 등록 UI는 사용자 DB 등록, 사용자 데이터베이스(Database) 록, 사용자 등록 정보 등과 같은 다양할 용어로 불릴 수 있다.
디스플레이(142)는 사물 분류에 대한 정보를 포함하는 사물 분류 UI를 표시할 수 있다. 예를 들면, 냉장고(100)에 오렌지 주스 2개가 입고된 경우 디스플레이(142)는 오렌지 주스의 상품명, 오렌지 주스가 입고된 날짜, 오렌지 주스의 유통기한, 저장실 내에 잔존하는 오렌지 주스의 개수의 정보를 포함한 UI를 표시할 수 있다.
사물 분류 UI에 포함된 정보는 식료품 정보, 식료품 분류 정보, 식료품 리스트, 상품 정보 등과 같은 다양한 용어로 불릴 수 있다. 이에 대해서는 도 10에서 상세히 설명하기로 한다.
통신 장치(150)는 외부 서버 및/또는 외부 단말 장치와 통신을 수행할 수 있다. 특히, 통신 장치(150)는 식료품에 대한 정보를 획득하기 위해, 식료품을 포함하는 영상이나 식료품에 대한 정보를 외부 서버로부터 수신할 수 있다.
또한, 통신 장치(150)는 사용자 단말로부터 식료품에 대한 정보를 획득하기 위해, 식료품을 포함하는 영상이나 식료품에 대한 정보를 등을 수신할 수 있다. 외부 장치와 통신을 수행하는 동작에 대해서는 도 13에서 상세히 설명하도록 한다.
통신 장치(150)는 다양한 규격에 따른 유선 및/또는 무선의 입력 및/또는 출력 인터페이스(또는, 입력 및/또는 출력 단자)를 포함할 수 있다. 예를 들어, 통신 장치(150)의 하나 이상의 연결 인터페이스는 HDMI(High Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), AP 기반의 Wi-Fi(예를 들어, 와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, AES/EBU(Audio Engineering Society/European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 다양한 인터페이스를 포함할 수 있다.
마이크(160)는 오디오 신호를 획득하여 전기 신호로 변환하고, 냉장고(100)의 내부 또는 외부에 구비될 수 있다. 특히, 마이크(160)는 사용자 음성을 포함하는 오디오 신호를 수신할 수 있다. 사용자 음성에는 입고 또는 출고에 대한 정보 및 사물 분류에 대한 정보(예로, 식료품의 유형, 식료품의 유통 기한 등)에 대한 정보를 포함할 수 있다.
센서(170)는 냉장고(100)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서(170)은 하나 이상의 센서를 포함할 수 있으며, 복수의 센서는 냉장고(100)내의 다른 위치에 배치될 수 있다. 특히, 하나 이상의 프로세서(130)는 센서(170)를 통해 획득한 센싱값을 통해 냉장고(100)의 하나 이상의 저장실의 온도를 각각 측정할 수 있다.
또는 이에 더하여, 하나 이상의 프로세서(130)는 센서(170)를 통해 사용자가 접근함을 인식하고, 카메라(110)가 준비상태가 되도록 제어할 수 있다. 또는 이에 더하여, 하나 이상의 프로세서(130)는 센서(170)를 통해 도어의 열림을 감지하고, 카메라(110)를 구동시킬 수 있다.
예를 들어, 하나 이상의 프로세서(130)는 센서(170)를 통해 사용자의 움직임을 기초로 제공된 가이드에 대응되는 사물을 촬영하기 위한 신호로 감지할 수 있다. 이 경우, 하나 이상의 프로세서(130)는 카메라(110)를 제어하여 사물에 대한 추가 이미지를 획득할 수 있다.
도 4는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 획득하는 동작을 설명하기 위한 도면이다.
하나 이상의 프로세서(130)는 사용자의 동작에 의해 입출고되는 사물을 감지하여 입출고되는 사물 분류에 대한 정보를 획득할 수 있다.
예를 들어, 하나 이상의 프로세서(130)는 사용자의 식료품(20)을 냉장고에 넣는 움직임을 감지하면(410), 카메라(110)를 제어하여 입고되는 식료품(20)에 대한 촬영 이미지(21)를 획득할 수 있다. 획득한 촬영 이미지를 학습된 신경망 모델(예로, 식품 분류 모델)에 입력할 수 있다(420).
식품 분류 모델의 결과가 기존의 식품 분류의 대상이 아닌 것으로 인식되거나 결과가 식품(20)으로 인식되지 않은 것으로 나타난 경우(430), 촬영 이미지를 학습된 신경망 모델(예로, 특징 매칭 모델)에 입력하여, 기 저장된 데이터(예로, 입고 또는 출고되는 사물에 대한 데이터)와 촬영 이미지를 비교하여 유사도를 식별할 수 있다(440).
하나 이상의 프로세서(130)는 입고 또는 출고되는 사물에 대한 기 저장된 데이터 중 촬영 이미지와 관련하여 유사도가 기 설정된 수준 이상인 입고 또는 출고되는 사물에 대한 데이터를 선택하여 선택된 상기 입고 또는 출고되는 사물에 대한 데이터에 기초하여 사물 분류에 대한 정보를 획득할 수 있다.
예를 들어, 유사도가 기 설정된 수준 이상인 입고 또는 출고되는 사물에 대한 데이터가 있는 경우, 하나 이상의 프로세서(130)는 사용자 DB(Database) Matching을 이용하여"매칭 성공"하면 "상품명 ABC 및 토마토 주스"라는 상품 분류 정보를 획득할 수 있다(451).
반면, 유사도가 기 설정된 수준 이상인 입고 또는 출고되는 사물에 대한 데이터가 없는 경우, 하나 이상의 프로세서(130)는 "매칭 실패"하여 상품 분류 정보를 획득하지 못할 수 있다(452). 다만, 이는 일 실시예에 불과할 뿐, 다른 기준 및/또는 방법에 의해 매칭 성공 여부가 결정될 수 있음은 물론이다.
하나 이상의 프로세서(130)는 선택된 상기 입고 또는 출고되는 사물에 대한 데이터에 기초하여 사물 분류에 대한 정보를 획득하지 못하면, 획득한 상기 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공할 수 있다.
하나 이상의 프로세서(130)는 선택된 상기 입고 또는 출고되는 사물에 대한 데이터에 기초하여 사물 분류에 대한 정보를 획득하지 못한 경우 추가 이미지 획득을 위한 가이드 제공 외에 사용자에게 직접 추가 등록을 요청할 수도 있다.
구체적으로, 냉장고(100)는 선택된 상기 입고 또는 출고되는 사물에 대한 데이터에 촬영 이미지를 저장할지 여부를 스피커(141) 또는 디스플레이(142)를 통해 사용자에게 요청하고, 요청에 대응되는 사용자의 입력이 수신되면, 선택된 상기 입고 또는 출고되는 사물에 대한 데이터에 촬영 이미지를 저장하여 추가 등록을 진행할 수도 있다.
하나 이상의 프로세서(130)는 선택된 상기 입고 또는 출고되는 사물에 대한 데이터에 기초하여 사물 분류에 대한 정보를 획득한 경우라도, 추가 이미지가 필요한 경우 추가 이미지를 획득하기 위한 동작을 수행할 수 있다.
예를 들어, 하나 이상의 프로세서(130)는 입출고되는 식품의 분류를 잘못 인식하거나 상품 매칭 결과가 잘못된 경우 추가 이미지를 획득하기 위한 가이드를 제공할 수도 있다. (예를 들어, 식품 분류 모델 또는 특징 추출 모델을 통해 얻은 사물 분류에 대한 정보가 입고된 식품(20)과 일치하지 않는 경우가 이에 해당할 수 있다.)
하나 이상의 프로세서(130)는 가이드에 대응되는 상기 사물을 촬영하기 위한 신호가 감지되면, 카메라(110)를 통해 추가 이미지를 획득하고, 촬영 이미지 및 추가 이미지를 입고 또는 출고되는 사물에 대한 데이터로 저장할 수 있다. 추가 이미지를 획득하기 위한 가이드를 제공하는 동작과 그 후속 동작들은 상술한 바 있으므로 중복 설명은 생략한다.
하나 이상의 프로세서(130)는 촬영 이미지에 기초하여 냉장고(100)에 입고 또는 출고되는 사물의 특징을 분석할 수 있다. 예를 들면, 특징 분석 모델에 촬영 이미지를 입력하여 입출고되는 사물의 특징을 분석할 수 있다. 다만, 이에 한정되는 것은 아니며, 특징 분석 모델은 다양한 학습된 신경망 모델(예로, 특징 추출 모델)에 포함될 수 있다.
하나 이상의 프로세서(130)는 분석한 사물의 특징에 기초하여 입고 또는 출고되는 사물의 분류에 대한 정보를 획득하고 메모리(120)에 저장할 수 있다.
도 5는 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 획득하는 동작을 설명하기 위한 도면이다.
일 실시예에 따르면, 냉장고(100)는 획득한 촬영 이미지에 관련된 가이드 이미지를 생성하기 위한 복수의 샘플 이미지를 생성할 수 있다. 도 5를 참조하면, 냉장고(100)는 캔음료를 촬영한 이미지(31)의 특징을 분석하고, 촬영 이미지(31)의 특징을 분석한 데이터(31')를 학습된 신경망 모델(500)에 입력하여 복수의 샘플 이미지(32-1, 32-2, 32-3, 32-4)를 생성할 수 있다.
일 실시 예에 따르면, 생성된 복수의 샘플 이미지와 촬영 이미지의 유사도에 기초하여 촬영 이미지에 대응되지 않는 샘플 이미지를 가이드 이미지로 생성할 수 있다. 이에 대한 설명은 도 6에서 상세하게 설명하기로 한다.
일 실시예에 따르면, 복수의 샘플 이미지는 입고 또는 출고되는 사물에 대한 촬영 각도에 대한 데이터에 기초로 생성될 수 있다. 냉장고(100)는 실제 냉장고(100)에서 사물이 들어가고 또는 나가는 각도를 이미지와 각도 값을 기초로 얻어내고, 얻어낸 촬영 각도와 상이한 촬영 각도의 이미지를 복수의 샘플 이미지(32-1, 32-2, 32-3, 32-4)로 생성할 수 있다.
예를 들어, 캔 음료를 촬영한 이미지의 촬영 각도가 (15,0,50)일 때, 촬영 이미지의 촬영 각도와 상이한 촬영 각도(예로, (34,20,50) 등)의 샘플 이미지(32-1)를 생성할 수 있다.
여기서, 촬영 각도의 첫 번째 숫자는, 카메라가 좌 또는 우로 회전하는 "팬(Pan) 각도"를 나타내고, 촬영 각도 (15, 0, 50)에서 '15'는 카메라가 원점에서 오른쪽으로 15도 회전했다는 것을 의미할 수 있다.
촬영 각도의 두 번째 숫자는, 카메라가 위아래로 회전하는 "틸트(Tilt) 각도"를 나타내고, 촬영 각도 (15, 0, 50)에서 '0'은 카메라가 수직 방향으로 회전하지 않았다는 것을 의미할 수 있다.
촬영 각도의 세 번째 숫자는. 카메라가 확대 또는 축소되는 정도인 "줌(Zoom) 수준"을 나타내고, 촬영 각도(15, 0, 50)에서 '50'은 촬영된 이미지가 50% 정도 확대된 것을 의미할 수 있다.
도 6은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 획득하는 동작을 설명하기 위한 도면이다.
일 실시예에 따르면, 복수의 샘플 이미지(32-1, 32-2, 32-3, 32-4) 중에 캔 음료의 촬영 이미지(31)의 특징을 분석하여 얻어진 데이터(31')와 유사도가 높은 샘플 이미지(32-3)은 추가 촬영 View Point에서 제거될 수 있다. 즉, 촬영 이미지와 복수의 샘플 이미지의 유사도에 기초하여, 촬영 이미지에 대응되지 않는(예를 들어, 데이터(31')과 낮은 유사도를 갖는 샘플 이미지) 샘플 이미지를 가이드 이미지로 생성할 수 있다.
예를 들면, 하나 이상의 프로세서(130)는 실제 캔 음료를 촬영한 이미지를 분석하여 촬영 이미지의 촬영 각도가 (15, 0, 50)인 경우, 복수의 샘플 이미지 중 (15, 0, 50)의 촬영 각도를 가지는 샘플 이미지(32-3)를 가이드 이미지에서 제거할 수 있다. 하나 이상의 프로세서(130)는 (15, 0, 50)의 촬영 각도를 가지지 않는 샘플 이미지들(32-1, 32-2, 32-4)을 가이드 이미지(33-1, 33-2, 33-4)로 생성할 수 있다.
냉장고(100)는 복수의 샘플 이미지(32-1, 32-2, 32-3, 32-4)와 촬영 이미지의 특징을 분석하여 얻어진 데이터(31')간의 유사도를 식별하기 위해 복수의 샘플 이미지(32-1, 32-2, 32-3, 32-4)의 촬영 각도의 수치를 각각 비교할 수 있다.
예를 들어, 촬영 이미지의 특징을 분석하여 얻어진 데이터(31')의 촬영 각도가 (15, 0, 50)인 경우, 샘플 이미지 중 "팬(Pan) 각도 15, 틸트(Tilt) 각도 0, 줌(Zoom) 수준 50%"에 가장 근접한 샘플 이미지를 유사도가 높은 것으로 식별하여 가이드 이미지에서 제거할 수 있다.
도 7은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 이미지를 획득하는 동작을 설명하기 위한 도면이다.
일 실시예에 따르면, 냉장고(100)는 사물의 카테고리를 구분하고, 입출고되는 사물의 카테고리 별로 필요한 영역의 사진을 추가 요청할 수도 있다.
예를 들어, 냉장고(100)는 입출고되는 사물을 캔 음료(40)로 감지한 경우, 캔 음료의 카테고리에서 필요한 영역의 사진으로 정면(41-1), 측면(41-2) 및 후면(41-3)의 추가 이미지 촬영을 요청할 수 있다.
예를 들어, 사용자가 냉장고(100)에 캔 음료를 넣는 동작을 수행하여 캔 음료의 앞면(41-1)이 촬영된 경우, 냉장고(100)는 "측면(41-2), 뒷면(41-3)도 추가로 촬영해주세요"와 같은 소리(예를 들어, 음성) 및/또는 이미지의 형태로 가이드를 제공할 수 있다.
다만, 이에 한정되는 것은 아니며, 사물의 카테고리에 따라 밑면 등 다양한 면의 추가 이미지를 요청할 수도 있다. 예를 들어, 사용자가 밑면에 유통 기한이 기재되어 있는 초콜릿을 냉장고(100)에 넣는 경우에는, 냉장고(100)는 "밑면도 추가로 촬영해주세요"와 같은 음성 및/또는 이미지의 형태로 가이드를 제공할 수도 있다.
또 다른 실시예로, 사용자가 "오렌지"를 냉장고(100)에 넣는 경우에는, 냉장고(100)는 특정 한 방향에 대한 촬영 이미지만으로 입고되는 식료품이 오렌지라는 것을 식별할 수 있다. 냉장고(100)는 촬영 이미지만으로 입출고되는 사물 분류에 대한 정보를 획득할 수 있는 경우, 사용자에게 추가 촬영을 요청하지 않을 수 있다.
냉장고(100)는 상술한 바와 같이 사물의 카테고리 별로 촬영이 필요한 영역의 이미지가 기 설정되어 있을 수 있다. 다만, 이에 한정되는 것은 아니며 냉장고(100)는 입출고되는 사물을 촬영하는 실시간으로 사물의 특징을 분석하여 필요한 영역의 이미지를 요청하는 가이드를 제공할 수도 있다.
도 8은 본 개시의 적어도 일 실시 예에 따른 냉장고의 가이드를 제공하는 UI를 설명하기 위한 도면이다.
일 실시 예에 따르면, 냉장고(100)는 획득한 촬영 이미지에 기초하여 가이드 이미지(53-1, 53-2, 53-3, 53-4)를 생성할 수 있다. 사용자는 촬영 버튼(801)을 클릭하여 각 가이드 이미지에 대응하는 추가적인 촬영 이미지를 등록할 수 있다. 추가 촬영이 필요한 이미지의 등록 진행률이 45%(806)인 경우, 진행률에 대한 등록 정보를 사용자에게 UI로 제공할 수 있다.
냉장고(100)는 가이드 이미지(53-1)와 대응되는 촬영 이미지(51-1)의 유사도가 기 설정된 수준 이상인 것으로 식별하면, 가이드 대로 잘 촬영되었다는 피드백(802)을 사용자에게 제공할 수 있다.
냉장고(100)는 실제로 촬영한 이미지 외에도, 드래그와 같은 사용자의 입력을 통해 가이드 이미지를 촬영 이미지(51-3)로 이용할 수도 있다. 냉장고(100)는 가이드대로 잘 촬영되었다는 피드백(802)과 유사하게, 가이드 이미지가 촬영이 된 것으로 간주하는 피드백(804)을 제공할 수 있다.
반면, 냉장고(100)는 촬영 이미지(51-4)가 가이드 이미지(53-4)와 대응된 유사도의 식별에 기초하여, 가이드 대로 잘 촬영되지 않았다는 피드백과 함께 재촬영을 요구하는 피드백(805)을 사용자에게 제공할 수 있다.
냉장고(100)는 가이드 이미지(53-2)와 대응하였을 때, 아직 촬영되지 않은 이미지가 있는 경우(51-2), 아직 촬영되지 않았다는 피드백(803)을 사용자에게 제공할 수 있다.
그러나, 이는 일 실시예에 불과할 뿐, 다른 방법에 의해 추가 촬영 이미지를 등록하고 그에 따른 진행률을 표시할 수 있음은 물론이다. 다른 방법에 의한 표시 방법의 예는 도 9에서 상세하게 설명하기로 한다.
도 9는 본 개시의 적어도 일 실시 예에 따른 냉장고의 가이드에 따라 추가 이미지를 등록하는 UI를 설명하기 위한 도면이다.
도 9를 참조하면, 냉장고(100)는 촬영 이미지를 기초로 사물 분류에 대한 정보를 획득하기에 불충분한 경우, 냉장고(100)는 사용자에게 "식품을 조금씩 돌리며 촬영하세요"(901)와 같은 가이드를 제공할 수 있다. 예를 들어, 식품을 돌려야 할 특정 각도와 같은 가이드를 제공할 수 있다.
사용자는 촬영 버튼(902)을 클릭하여 추가 촬영을 진행하고 추가 이미지들(61-1, 61-2, 61-4)을 등록할 수 있다. 냉장고(100)는 사용자에게 사물 분류에 대한 정보를 획득하기에 충분한 정도로 추가 등록이 진행될 때까지 사용자에게 추가 촬영을 위한 가이드 이미지(63-1, 63-2, 63-2, 63-4)를 제공할 수 있다.
냉장고(100)는 사물 분류에 대한 정보를 획득하기에 충분한 정도와 추가 촬영된 이미지의 정도를 고려하여 등록 진행률에 대한 UI를 사용자에게 제공할 수 있다.
예를 들어, 추가 촬영을 위한 가이드 이미지가 4개이고, 각 가이드 이미지에 대응하여 4개의 가이드 이미지 중 촬영으로 등록된 이미지가 3개인 경우, 냉장고(100)는 등록 진행률이 75%(903)라는 정보를, 예를 들어, 원형 프로그레스 바(Progress Bar)를 통해 표시할 수 있다.
이상과 같이, 냉장고(100)는 프로그레스 바를 이용하여 이미지 촬영 및/또는 진행률과 관련된 다양한 정보를 사용자가 알기 쉽게 제공할 수 있다. 다만, 이에 한정되는 것은 아니며 등록 진행률에 대한 정보를 제공하는 방식은 다양하게 변형될 수 있다.
도 8 및 도 9에서 설명한 냉장고의 가이드를 제공하는 UI는 냉장고(100)의 디스플레이(142)에 표시할 수 있다. 다만, 이에 한정되는 것은 아니며, 냉장고(100)는 냉장고(100)의 가이드를 제공하는 정보를 외부 장치로 전송하여 외부 장치의 디스플레이에 정보를 표시하게 할 수도 있다.
도 10은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 제공하는 UI를 설명하기 위한 도면이다.
일 실시예에 따르면, 냉장고(100)는 사용자에 의해 촬영 이미지 및 추가 이미지(71-1, 71-2, 71-3, 71-4)들을 획득한 경우 획득한 이미지들을 기초로 입출고 되는 사물에 대한 데이터로 저장하고 사용자에게 사물 분류에 대한 정보를 제공할 수 있다.
도 10을 참조하면, 사물 분류에 대한 정보는 사물의 상품명, 식료품의 이름 및 입고 시기([Brand Name], [Food/Ingredient Name], [Entered date])에 대한 정보를 포함할 수 있다. 다만 이에 한정되는 것은 아니며, 식료품의 출고 시기, 식료품의 개수 또는 식료품의 쇼핑 정보 등 다양한 정보를 포함할 수도 있다.
예를 들어, 냉장고(100)는 촬영 이미지 및 추가 이미지(71-1, 71-2, 71-3, 71-4)들을 기초로 입출고된 사물의 상품명 "AA", 상품 종류 "Coffee", 입고된 날짜 "Today"라는 사물 분류에 대한 정보(142')를 획득하여 디스플레이(142)에 표시할 수 있다.
또 다른 실시 예로, 냉장고(100)는 상품명이 "AA"이고, 상품 종류가 "Coffee"인 식료품이 출고된 것으로 식별한 경우 사물 분류에 대한 정보를 표시하는 UI에서 출고된 식료품에 대한 정보를 삭제할 수 있다. 다만, 동일한 식료품이 2 이상 입고된 경우에는, 사물 분류에 대한 정보를 삭제하지 않고 냉장고(100)에 남아 있는 식료품의 개수를 업데이트하여 표시할 수도 있다.
다만, 이는 일 실시예에 불과할 뿐, 스피커(141)를 통해 오디오의 형태로 사물 분류에 대한 정보를 제공할 수도 있다. 여기서 사물 분류에 대한 정보는 사물의 이름, 사물의 종류, 사물의 개수 및 사물의 입고 또는 출고 시간에 대한 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 11은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 제공하는 UI 설명하기 위한 도면이다.
일 실시예에 따르면, 냉장고(100)는 촬영 이미지의 리스트를 입출고 이력 또는 사용 이력과 함께 보여주는 기능의 형태로 디스플레이(142)에 표시하여 사용자에게 제공할 수 있다. 사용자는 입출고 이력 또는 사용 이력과 함께 보여주는 기능을 이용하여 유사한 촬영 이미지들을 특정 식료품에 대한 정보로 직접 등록할 수 있다.
예를 들면, AM 01:40 및 AM 01:39에 촬영된 이미지들(142-1)이 "AA Coffee"인 경우 사용자는 AM 01:40 및 AM 01:39에 촬영된 이미지들(142-1)을 선택하여, 선택된 이미지를 "AA Coffee"에 대한 이미지 데이터로 등록할 수 있다.
다만, 이는 일 실시예에 불과할 뿐, 냉장고(100)가 자동으로 유사한 이미지들(142-1)을 식별하여 사용자에게 식품 DB에 등록할지 여부를 요청하는 UI를 표시할 수도 있다.
도 10에는 사물 분류에 대한 정보를 제공하는 UI만 도시하였으나, 이에 한정되는 것은 아니며, 냉장고(100)는 입출고되는 사물에 대한 알림 정보를 포함하는 UI를 표시할 수도 있다.
예를 들어, 냉장고(100)는 입고 또는 출고되는 사물에 대한 정보에 기초하여, 입고 또는 출고되는 사물에 대한 입고 또는 출고 패턴을 분석하고, 분석된 상기 입고 또는 출고 패턴에 기초하여 입고 또는 출고되는 사물에 대한 알림 정보를 스피커(141) 및/또는 디스플레이(142)를 통해 출력할 수도 있다.
여기서, "입고 또는 출고되는 사물에 대한 알림 정보"는 입출고되는 사물과 관련된 다양한 알림 정보를 의미할 수 있다. 예를 들어, 입고 또는 출고되는 사물에 대한 알림 정보는 사물에 대한 재구매 알림, 사물과 유사한 사물에 대한 알림, 사물에 대한 소비 알림 및 사물에 대한 레시피 알림 정보를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며 입고 또는 출고되는 사물 패턴에 기초하여 사용자에게 유용한 다양한 정보를 포함할 수도 있다.
도 10 및 도 11에서 설명한 입출고되는 사물에 대한 데이터를 제공하는 UI는 냉장고(100)의 디스플레이(142)에서 표시될 수 있다. 다만 이에 한정되는 것은 아니며, 냉장고(100)는 입출고되는 사물에 대한 데이터를 외부 장치로 전송하여 외부 장치의 디스플레이에 입출고되는 사물에 대한 데이터를 표시하게 할 수 있다.
도 12은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 특징을 추출하는 동작을 설명하기 위한 도면이다.
일 실시 예에 따르면, 냉장고(100)는 촬영 이미지를 학습된 신경망 모델(예로, 이미지 변환 모델)에 입력하여 출력된 이미지를 기초로 사물에 대한 특징을 추출할 수 있다.
예를 들면, 촬영 이미지가 외부 장치로부터 획득한 이미지인 경우, 이미지의 품질이 기 설정된 수준 이상이면, 냉장고(100)는 촬영 이미지를 이미지 변환 모델에 입력(1210)하여 기 설정된 수준의 품질(예로, 냉장고 카메라에서 지원하는 사양의 수준)을 가지는 이미지로 변환한 이미지로 출력(1220)할 수 있다. 냉장고(100)는 변환된 이미지를 기초로 사물의 특징을 추출(1230)할 수 있다. 외부 장치로부터 촬영 이미지를 획득을 설명하는 예에 대해서는 도 13에서 상세히 설명하기로 한다.
여기서 이미지의 "품질"은 이미지의 화질, 밝기, 특징 등을 포함할 수 있다. 따라서 냉장고(100)는 고화질의 이미지를 저화질의 이미지로 변환한 다음, 변환된 저화질의 이미지를 기초로 사물에 대한 특징 정보를 추출할 수도 있다.
도 13은 본 개시의 적어도 일 실시 예에 따른 냉장고가 다양한 전자 장치로부터 데이터를 수신하는 예를 설명하기 위한 도면이다.
일 실시예에 따르면, 냉장고(100)는 통신 장치(150)를 통해 사용자 단말 장치, 서버 장치 등 다양한 외부 장치와 통신을 수행할 수 있다. 예를 들면, 냉장고(100)는 사용자 단말 장치(200)에서 촬영한 이미지를 수신하여 수신된 이미지를 촬영 이미지로 이용할 수 있다.
냉장고(100)는 통신 장치(150)를 통해 사용자 단말 장치(200)와 직접 통신을 수행할 수 있으나, 이는 일 실시예에 불과할 뿐, 서버를 통해 외부의 사용자 단말과 통신을 수행할 수 있음은 물론이다.
다만, 도 12에서 설명한 바와 같이 수신된 이미지가 기 설정된 수준의 품질 이상으로 식별된 경우, 냉장고(100)는 수신한 이미지를 저화질의 품질을 갖는 이미지로 변환한 형태로 이용할 수도 있다.
또 다른 실시예로, 냉장고(100)는 서버 장치(300)로부터 사물에 대한 데이터를 수신할 수 있다. 예를 들면, 냉장고(100)는 서버 장치(300)로부터 제휴를 맺은 업체의 식료품 이미지와 상품명에 대한 정보를 수신할 수 있다. 따라서, 냉장고(100)는 서버 장치(300)로부터 수신 받은 정보에 기초하여 식료품에 대한 정보를 자동으로 사용자 식품 DB에 등록할 수 있다.
도 14은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 관리하는 동작을 설명하기 위한 흐름도이다.
냉장고(100)는 냉장고(100)에 사물이 입고 또는 출고되면, 사물을 촬영하여 촬영 이미지를 획득할 수 있다(S1410). 냉장고(100)는 사물이 입출고되는 움직임을 감지하여 사물을 촬영할 수 있다.
냉장고(100)는 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공할 수 있다(S1420). 획득한 촬영 이미지에 기초하여 가이드를 제공하는 방법과 관련한 실시 예에 대해서는 상술한 바 있으므로 중복 설명은 생략한다.
냉장고(100)는 제공된 가이드에 대응되는 사물을 촬영하기 위한 신호가 감지되면, 추가 이미지를 획득할 수 있다(S1430). 냉장고(100)는 사물이 입출고되는 움직임을 감지하여 추가 촬영을 진행할 수 있다. 냉장고(100)는 추가 촬영으로 획득한 이미지를 추가 이미지로 등록할 수 있다.
냉장고(100)는 촬영 이미지 및 추가 이미지를 입고 또는 출고되는 사물에 대한 데이터로 저장할 수 있다(S1440). 냉장고(100)가 촬영 이미지 및 추가 이미지를 입출고되는 사물에 대한 데이터로 저장하는 동작은 추가 이미지로 등록하는 동작에 포함될 수 있다.
냉장고(100)는 냉장고(100)에 입출고되는 사물에 대한 데이터에 기초하여 사물의 특징을 분석하고, 분석된 사물의 특징을 기초로 사물 분류에 대한 정보를 획득할 수 있다.
도 15은 본 개시의 적어도 일 실시 예에 따른 냉장고에 입고 또는 출고되는 사물에 대한 데이터를 관리하는 동작을 설명하기 위한 흐름도이다.
냉장고(100)는 사물 분류에 대한 정보를 획득하지 못하면, 입고 또는 출고되는 사물에 대한 데이터(예를 들어, 기 저장된 데이터)와 상기 촬영 이미지를 비교하여 유사도를 식별할 수 있다(S1510). 냉장고(100)는 이미지에 포함된 사물의 형태, 각도 등 다양한 특징 정보를 비교하여 유사도를 식별할 수 있다.
냉장고(100)는 입고 또는 출고되는 사물에 대한 데이터 중 촬영 이미지와의 유사도가 기 설정된 수준 이상인 입고 또는 출고되는 사물에 대한 데이터를 선택할 수 있다(S1520). 냉장고(100)는 유사도 수준이 높은 입출고 사물에 대한 데이터를 선택하여 선택된 데이터를 실제로 입출고되는 사물에 대한 데이터로 식별할 수 있다.
냉장고(100)는 선택된 입고 또는 출고되는 사물에 대한 데이터에 기초하여 사물 분류에 대한 정보를 획득할 수 있다(S1530).
상술한 바와 같이 냉장고(100)에 입출고되는 사물 분류에 대한 정보를 획득함으로써 사용자는 냉장고(100)에 저장되는 식료품을 편리하게 관리할 수 있게 된다. 궁극적으로는, 사용자의 경험을 향상시킬 수 있다.
앞서 설명한 다양한 실시예들의 흐름도들의 순서는 적어도 하나의 실시예에 불과할 뿐, 흐름도의 각 단계의 순서가 변경될 수 있으며, 흐름도의 순서가 동시에 수행될 수 있음은 물론이다.
본 개시의 일 실시예에 따른, 하나 이상의 프로세서(130)는, 메모리(120)에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 할 수 있다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 및/또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델(예로, 제1 오브젝트 감지 네트워크 및 제2 오브젝트 감지 네트워크)은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)를 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기를 훈련시켜 소정의 대상 기기 스스로 결정을 내리고, 또는 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
도 14 및 도 15에서 설명한 제어 방법은 상술한 도 2 및 도 3 등 다양한 구성을 가지는 장치에 의해 수행될 수 있으나 반드시 이에 한정되는 것은 아니며, 다양한 구성을 가지는 장치에 의해 수행될 수도 있다.
이상에서 설명한 다양한 실시 예들은 실시 예 단독으로 구현될 수도 있으며, 적어도 하나의 실시 예들이 전체적으로 또는 부분적으로 서로 조합되어 하나의 장치에 함께 구현될 수도 있다.
본 개시의 다양한 실시예들은 스마트폰이나 사용자 단말 장치 및 기타 다양한 전자 장치(예: 컴퓨터)에 탑재 또는 연결될 수 있는 저장 매체(machine-readable storage media)에 저장되는 소프트웨어로 구현될 수도 있다.
구체적으로는, 냉장고에 사물이 입고 또는 출고되면, 사물을 촬영하는 단계, 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 획득한 상기 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공하는 단계, 제공된 가이드에 대응되는 사물을 촬영하기 위한 신호가 감지되면, 추가 이미지를 획득하는 단계 및 촬영 이미지 및 추가 이미지를 입고 또는 출고되는 사물에 대한 데이터로 저장하는 단계를 수행하기 위한 소프트웨어가 저장된 비일시적 판독 가능 저장 매체가 제공될 수 있다.
이러한 비일시적 판독 가능 매체가 탑재된 장치는 상술한 다양한 실시 예들에서 설명한 사용자 동작에 대응되는 태그 식별, 복수의 프레임 별 중요도 확인, 편집 영상 생성 등 다양한 동작을 수행할 수 있다.
비일시적(non-transitory) 판독 가능 저장 매체에서 '비일시적'이란 저장 매체가 신호(signal)만을 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또는 상술한 다양한 실시예들에 따른 방법을 수행하기 위한 프로그램이 어플리케이션 스토어를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 냉장고에 있어서,
    카메라;
    인스트럭션들이 저장된 적어도 하나의 메모리; 및
    적어도 하나의 프로세서;를 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 냉장고에 사물이 입고 또는 출고되면, 상기 사물을 촬영하도록 상기 카메라를 제어하고,
    상기 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 상기 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공하고,
    제공된 상기 가이드에 대응되는 사물을 촬영하기 위한 신호가 감지되면, 상기 카메라를 통해 추가 이미지를 획득하고,
    상기 촬영 이미지 및 상기 추가 이미지를 상기 입고 또는 출고되는 사물에 대한 데이터로 저장하는, 냉장고.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 획득한 촬영 이미지를 학습된 신경망 모델에 입력하고,
    상기 학습된 신경망 모델을 통해 사물 분류에 대한 적어도 하나의 정보를 획득하지 못하거나 추가 이미지가 필요한 경우로 식별되면, 상기 추가 이미지를 획득하기 위한 가이드를 제공하고,
    상기 사물 분류에 대한 정보는,
    상기 사물의 이름, 상기 사물의 종류, 상기 사물의 개수 및 상기 사물이 입고 또는 출고되는 시기에 대한 정보 중 적어도 하나를 포함하고,
    상기 추가 이미지가 필요하다고 식별하는 경우는,
    상기 학습된 신경망 모델을 통해 획득한 상기 사물 분류에 대한 정보가 사용자에 의하여 상기 입고 또는 출고되는 사물에 대응되지 않는다고 식별되는 경우를 포함하는, 냉장고.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 사물 분류에 대한 정보를 획득하지 못하면, 상기 사물에 대한 기 저장된 데이터와 상기 획득한 촬영 이미지와 유사도를 식별하고,
    상기 사물에 대한 기 저장된 데이터 중 상기 유사도가 기 설정된 수준 이상인 상기 사물에 대한 적어도 하나의 데이터를 식별하고,
    상기 식별된 적어도 하나의 데이터에 기초하여 상기 사물 분류에 대한 정보를 획득하는, 냉장고.
  4. 제2항에 있어서,
    스피커; 및
    디스플레이;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 사물 분류에 대한 정보를 획득하지 못하면, 상기 사물에 대한 기 저장된 데이터와 상기 획득한 촬영 이미지의 유사도를 비교하고,
    상기 사물에 대한 기 저장된 데이터 중 상기 유사도가 기 설정된 수준 이상인 상기 사물에 대한 적어도 하나의 데이터를 식별하고,
    식별된 상기 사물에 대한 상기 적어도 하나의 데이터에 상기 촬영 이미지를 저장할지 여부를 상기 적어도 하나의 스피커 또는 상기 디스플레이를 통해 사용자에게 요청하고,
    사용자의 입력이 수신되면, 상기 사물에 대한 상기 식별된 적어도 하나의 데이터에 상기 촬영 이미지를 저장하는, 냉장고.
  5. 제2항에 있어서,
    스피커; 및
    디스플레이;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 촬영 이미지를 기 저장된 데이터에 저장할지 여부를 상기 적어도 하나의 스피커 또는 상기 디스플레이를 통해 사용자에게 요청하고,
    사용자의 입력이 수신되면, 상기 촬영 이미지를 상기 적어도 하나의 데이터에 저장하는, 냉장고.
  6. 제1항에 있어서,
    스피커; 및
    디스플레이;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    획득한 상기 촬영 이미지를 학습된 신경망 모델에 입력하고,
    학습된 상기 신경망 모델을 통해 사물 분류에 대한 정보를 획득하면 상기 사물 분류에 대한 정보를 상기 적어도 하나의 메모리에 저장하고,
    상기 사물 분류에 대한 정보를 상기 적어도 하나의 스피커 또는 디스플레이를 통해 출력하며,
    상기 사물 분류에 대한 정보는,
    상기 사물의 이름, 상기 사물의 종류, 상기 사물의 개수 및 상기 사물의 입고 또는 출고 시간에 대한 정보 중 적어도 하나를 포함하는, 냉장고.
  7. 제1항에 있어서,
    상기 가이드는 적어도 하나의 가이드 이미지를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 획득한 촬영 이미지에 기초하여 상기 적어도 하나의 가이드 이미지를 생성하기 위한 복수의 샘플 이미지를 생성하고,
    상기 획득한 촬영 이미지와 상기 복수의 샘플 이미지 중 각각의 이미지의 유사도에 기초하여, 상기 획득한 촬영 이미지에 대응되지 않는 샘플 이미지를 상기 적어도 하나의 가이드 이미지로 생성하며,
    상기 복수의 샘플 이미지 중 각각의 이미지는,
    상기 입고 또는 출고되는 사물에 대한 촬영 각도에 대한 데이터에 기초하여 생성되는, 냉장고.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 획득한 촬영 이미지에 기초하여 상기 냉장고에 입고 또는 출고되는 사물의 특징을 분석하고,
    분석한 상기 사물의 특징에 기초하여 상기 입고 또는 출고되는 사물 분류에 대한 정보를 획득하고,
    획득한 상기 입고 또는 출고되는 사물 분류에 대한 정보를 상기 적어도 하나의 메모리에 저장하는, 냉장고.
  9. 제1항에 있어서,
    외부 장치와 통신을 수행하도록 구성된 통신 장치;를 더 포함하고
    상기 획득한 촬영 이미지는,
    상기 카메라를 통해 획득한 이미지 또는 통신 장치를 통해 상기 외부 장치로부터 획득한 이미지 중 적어도 하나에 기초하고,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 외부 장치로부터 획득한 이미지의 품질이 기 설정된 수준 이상이면, 상기 이미지를 상기 기 설정된 수준의 품질의 이미지로 변환하는, 냉장고.
  10. 제1항에 있어서,
    스피커; 및
    디스플레이;를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 인스트럭션들 중 적어도 하나의 인스트럭션을 개별적 또는 집합적으로 실행함으로써,
    상기 입고 또는 출고되는 사물에 대한 정보에 기초하여, 상기 입고 또는 출고되는 사물에 대한 입고 또는 출고 패턴을 분석하고,
    분석된 상기 입고 또는 출고 패턴에 기초하여 상기 입고 또는 출고되는 사물에 대한 알림 정보를 상기 적어도 하나의 스피커 또는 상기 디스플레이를 통해 출력하고,
    상기 사물에 대한 알림 정보는,
    상기 사물에 대한 재구매 정보, 상기 사물과 유사한 사물에 대한 정보, 상기 사물에 대한 소비 정보 또는 상기 사물에 대한 레시피 정보 중 적어도 하나를 포함하는, 냉장고.
  11. 냉장고의 제어 방법에 있어서,
    상기 냉장고에 사물이 입고 또는 출고되면, 상기 사물을 촬영하는 단계;
    상기 냉장고에 입고 또는 출고되는 사물에 대한 촬영 이미지를 획득하면, 상기 획득한 촬영 이미지에 기초하여 추가 이미지를 획득하기 위한 가이드를 제공하는 단계;
    제공된 상기 가이드에 대응되는 상기 사물을 촬영하기 위한 신호가 감지되면, 추가 이미지를 획득하는 단계; 및
    상기 촬영 이미지 및 상기 추가 이미지를 상기 입고 또는 출고되는 사물에 대한 데이터로 저장하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 사물을 촬영하기 위한 가이드를 제공하는 단계는,
    획득한 상기 촬영 이미지를 학습된 신경망 모델에 입력하는 단계; 및
    상기 학습된 신경망 모델을 통해 사물 분류에 대한 적어도 하나의 정보를 획득하지 못하거나 추가 이미지가 필요한 경우로 식별되면, 상기 추가 이미지를 촬영하기 위한 가이드를 제공하는 단계;를 포함하고,
    상기 사물 분류에 대한 정보는,
    상기 사물의 이름, 상기 사물의 종류, 상기 사물의 개수 및 상기 사물이 입고 또는 출고되는 시기에 대한 정보 중 적어도 하나를 포함하고,
    상기 추가 이미지가 필요하다고 식별하는 경우는,
    상기 학습된 신경망 모델을 통해 획득한 상기 사물 분류에 대한 정보가 사용자에 의하여 상기 입고 또는 출고되는 사물에 대응되지 않는다고 식별되는 경우를 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 사물 분류에 대한 정보를 획득하지 못하면, 상기 사물에 대한 기 저장된 데이터와 상기 획득한 촬영 이미지를 비교하여 유사도를 식별하는 단계;
    상기 사물에 대한 기 저장된 데이터 중 상기 유사도가 기 설정된 수준 이상인 상기 사물에 대한 적어도 하나의 데이터를 식별하는 단계; 및
    식별된 상기 사물에 대한 상기 적어도 하나의 데이터에 기초하여 상기 사물 분류에 대한 정보를 획득하는 단계;를 더 포함하는, 제어 방법.
  14. 제12항에 있어서,
    상기 사물 분류에 대한 정보를 획득하지 못하면, 상기 사물에 대한 기 저장된 데이터와 상기 촬영 이미지의 유사도를 비교하는 단계;
    상기 사물에 대한 기 저장된 데이터 중 상기 유사도가 기 설정된 수준 이상인 상기 사물에 대한 적어도 하나의 데이터를 식별하는 단계;
    식별된 상기 입고 또는 출고되는 사물에 대한 상기 적어도 하나의 데이터에 상기 촬영 이미지를 저장할지 여부를 사용자에게 요청하는 단계; 및
    사용자의 입력이 수신되면, 상기 사물에 대한 상기 식별된 적어도 하나의 데이터에 상기 촬영 이미지를 저장하는 단계;를 더 포함하는, 제어 방법.
  15. 제12항에 있어서,
    상기 촬영 이미지를 기 저장된 데이터에 저장할지 여부를 상기 적어도 하나의 스피커 또는 상기 디스플레이를 통해 사용자에게 요청하는 단계; 및
    사용자의 입력이 수신되면, 상기 촬영 이미지를 상기 적어도 하나의 데이터에 저장하는 단계;를 더 포함하는, 제어 방법.
PCT/KR2025/007277 2024-07-30 2025-05-28 냉장고 및 이의 제어 방법 Pending WO2026029348A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US19/259,750 US20260104197A1 (en) 2024-07-30 2025-07-03 Refrigerator and controlling method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020240100774A KR20260018218A (ko) 2024-07-30 2024-07-30 냉장고 및 이의 제어 방법
KR10-2024-0100774 2024-07-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/259,750 Continuation US20260104197A1 (en) 2024-07-30 2025-07-03 Refrigerator and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2026029348A1 true WO2026029348A1 (ko) 2026-02-05

Family

ID=98655534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/007277 Pending WO2026029348A1 (ko) 2024-07-30 2025-05-28 냉장고 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US20260104197A1 (ko)
KR (1) KR20260018218A (ko)
WO (1) WO2026029348A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020340A (zh) * 2017-08-22 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理的方法、装置和客户端
CN111444880A (zh) * 2020-04-10 2020-07-24 海信集团有限公司 一种食材识别方法及冰箱
US20210180857A1 (en) * 2019-12-13 2021-06-17 Viking Range, Llc Refrigeration appliance system including object identification
US20230308611A1 (en) * 2022-03-28 2023-09-28 Haier Us Appliance Solutions, Inc. Multi-camera vision system in a refrigerator appliance
CN117628780A (zh) * 2022-08-15 2024-03-01 青岛海尔电冰箱有限公司 制冷设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020340A (zh) * 2017-08-22 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理的方法、装置和客户端
US20210180857A1 (en) * 2019-12-13 2021-06-17 Viking Range, Llc Refrigeration appliance system including object identification
CN111444880A (zh) * 2020-04-10 2020-07-24 海信集团有限公司 一种食材识别方法及冰箱
US20230308611A1 (en) * 2022-03-28 2023-09-28 Haier Us Appliance Solutions, Inc. Multi-camera vision system in a refrigerator appliance
CN117628780A (zh) * 2022-08-15 2024-03-01 青岛海尔电冰箱有限公司 制冷设备

Also Published As

Publication number Publication date
US20260104197A1 (en) 2026-04-16
KR20260018218A (ko) 2026-02-09

Similar Documents

Publication Publication Date Title
WO2019240432A1 (en) Refrigerator, server and method of controlling thereof
WO2018212493A1 (en) Refrigerator and method of food management thereof
WO2017126804A1 (en) Storage apparatus and control method thereof
WO2020060090A1 (en) Method and system for providing information related to state of object in refrigerator
WO2020085665A1 (en) Method and system for providing information about objects in refrigerator
WO2020067633A1 (en) Electronic device and method of obtaining emotion information
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2019198865A1 (ko) 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
WO2019177344A1 (en) Electronic apparatus and controlling method thereof
WO2020141788A1 (en) Home appliance and control method thereof
EP3698258A1 (en) Electronic apparatus and controlling method thereof
WO2021206413A1 (en) Device, method, and computer program for performing actions on iot devices
WO2016022008A1 (en) Method and apparatus for environmental profile generation
WO2017119663A1 (en) Electronic device and method for controlling the same
WO2019172680A1 (ko) 냉장고 및 그 제어방법
WO2019045481A1 (ko) 냉장고 및 그 제어 방법
WO2020116983A1 (en) Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
WO2020141809A1 (ko) 가전 기기 및 그 제어 방법
EP3387821A1 (en) Electronic device and method for controlling the same
WO2024154875A1 (ko) 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법
WO2020141700A1 (ko) 전자 장치 및 그 제어 방법
WO2026029348A1 (ko) 냉장고 및 이의 제어 방법
WO2021071249A1 (en) Electronic apparatus and control method thereof
WO2021251615A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2024043602A1 (ko) 이미지로부터 텍스트를 획득하는 방법 및 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25848551

Country of ref document: EP

Kind code of ref document: A1